买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉小哆智能科技(北京)有限公司申请的专利基于骨骼的语义增强预训练手语理解框架的方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121600602B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610120862.0，技术领域涉及：G06V40/20；该发明授权基于骨骼的语义增强预训练手语理解框架的方法及系统是由魏晨浩;袁海杰设计研发完成，并于2026-01-29向国家知识产权局提交的专利申请。

本基于骨骼的语义增强预训练手语理解框架的方法及系统在说明书摘要公布了：本申请提供一种基于骨骼的语义增强预训练手语理解框架的方法及系统，涉及手语识别技术领域，其中，该方法包括：获取手语视频数据及其配对的骨骼序列与文本数据；从手语视频数据中提取骨骼关键点序列并建模形成骨骼特征，同时对文本进行分词处理；在预训练阶段将骨骼特征与分词文本输入融合网络，生成双向增强特征，经双层次语义对齐得到全局与局部相似度；基于相似度计算对比损失并通过平衡参数协调权重获得层级损失；执行匹配任务与语言建模任务得到相应损失，将三类损失加权组合为预训练总损失并调整参数完成训练；最后在微调阶段结合具体任务类型优化部分参数，实现对手语语义的增强理解。本申请提升了手语理解的准确性。

本发明授权基于骨骼的语义增强预训练手语理解框架的方法及系统在权利要求书中公布了：1.一种基于骨骼的语义增强预训练手语理解框架的方法，其特征在于，包括： 获取手语视频数据、骨骼序列以及与骨骼序列配对的文本数据； 从所述手语视频数据中提取骨骼关键点序列，采用空间-时间图卷积网络对所述骨骼关键点序列进行建模，以形成骨骼特征，并对所述文本数据进行分词处理； 在预训练阶段，将所述骨骼特征与分词后的文本数据输入到手语感知早期融合网络中，通过交叉注意力机制，生成文本指导的视觉特征和视觉指导的文本特征，并对所述视觉特征和所述文本特征进行双层次语义对齐，以确定全局相似度和局部相似度，其中，所述手语感知早期融合网络包括多层结构的手语编码器和多层结构的文本编码器，从手语编码器最后一层输出的增强视觉特征中提取第一类令牌，从文本编码器最后一层输出的增强文本特征中提取第二类令牌；将所述第一类令牌和所述第二类令牌分别通过对应的投影头映射到共享语义空间，采用点积计算所述第一类令牌和所述第二类令牌在所述共享语义空间中映射后对应特征的相似度，得到全局相似度；基于手语编码器最后一层输出的增强视觉特征和文本编码器最后一层输出的增强文本特征，生成局部相似度； 基于所述全局相似度和所述局部相似度，确定对应的全局对比损失与局部对比损失，通过预设的平衡参数协调所述全局对比损失与所述局部对比损失的权重，得到层级损失； 基于所述层级损失，执行手语与文本的匹配任务和语言建模任务，分别获得匹配损失和语言建模损失，将所述层级损失、所述匹配损失以及所述语言建模损失进行加权组合，得到预训练总损失，根据所述预训练总损失，协同调整模型参数，以完成语义增强的预训练过程； 在微调阶段，基于调整后的模型参数，结合目标任务类型，微调语义增强预训练手语理解框架的部分参数，以实现对手语语义的增强理解； 所述基于手语编码器最后一层输出的增强视觉特征和文本编码器最后一层输出的增强文本特征，生成局部相似度，包括： 将手语编码器最后一层输出的增强文本特征和文本编码器最后一层输出的增强视觉特征输入至预设的聚合器，从所述文本编码器最后一层输出的增强文本特征中提取多个词令牌，从所述手语编码器最后一层输出的增强视觉特征中提取多个视觉特征令牌； 确定各词令牌的聚类索引； 基于所述聚类索引，将属于同一聚类结果范围内的词令牌的特征向量进行合并，生成语义聚类结果； 计算每个视觉特征令牌与所有语义聚类结果的余弦相似度，并选取每个视觉特征令牌对应的最大余弦相似度； 对所有视觉特征令牌对应的最大余弦相似度进行加权求和，得到局部相似度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人小哆智能科技(北京)有限公司，其通讯地址为：100080 北京市海淀区西北旺东路10号院23号楼三层346室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。