内蒙古工业大学李雷孝获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉内蒙古工业大学申请的专利一种不同感知源下的多模态学习方法、装置、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121280735B 。
龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511451103.4,技术领域涉及:G06V10/42;该发明授权一种不同感知源下的多模态学习方法、装置、设备及介质是由李雷孝;周欣颖;林浩;万剑雄;马志强设计研发完成,并于2025-10-11向国家知识产权局提交的专利申请。
本一种不同感知源下的多模态学习方法、装置、设备及介质在说明书摘要公布了:本发明公开了一种不同感知源下的多模态学习方法、装置、设备及介质,涉及机器学习技术领域,本发明利用可学习的温度参数调整不同模态的语义能量分数,并利用语义能量权重分数对交互特征进行加权,此过程通过能量分数动态评估各模态的语义质量,抑制噪声模态、突出关键信息,并引入温度调节与动态门控机制,以消除模态间的质量差异和语义不对称性,实现自适应特征融合;而后根据置信度比率得到梯度调节因子,根据余弦相似度生成方向一致性调节因子,此过程从基于置信度比率得到的梯度调节因子所表征的梯度分数感知,余弦相似度生成的方向一致性调节因子所表征的梯度方向对齐两个维度调节模态梯度,从而最终提升多模态学习的整体性能。
本发明授权一种不同感知源下的多模态学习方法、装置、设备及介质在权利要求书中公布了:1.一种不同感知源下的多模态学习方法,其特征在于,包括以下步骤: 获取不同感知源的感知数据,并进行感知数据的模态特征提取,获得不同模态特征;其中,不同模态特征包括音频模态特征与视觉模态特征; 将不同模态特征进行语义空间对齐,捕捉不同模态间的互补信息,得到不同模态的交互特征;计算不同模态的交互特征的信息表达强度,获得不同模态的语义能量分数;利用可学习的温度参数调整不同模态的语义能量分数,以控制能量敏感度,得到不同模态的语义能量权重分数,并利用语义能量权重分数对交互特征进行加权,得到不同模态的权重交互特征;根据不同模态的权重交互特征,获取不同模态的交互特征的权重,并基于该权重对不同模态的交互特征进行加权,得到融合特征; 其中,可学习的温度参数为退火温度,所述退火温度在模拟退火算法中对应于系统能量函数的临界点,并在学习中采用余弦退火的方式逐渐减小; 分别计算不同模态特征单独预测的感知结果及融合特征预测的感知结果的置信度,并将单独预测的置信度与融合预测的置信度的比值作为置信度比率;根据置信度比率,通过一个双曲正切函数与温度参数计算得到梯度调节因子;获取不同模态梯度向量之间的余弦相似度,生成方向一致性调节因子;根据梯度调节因子及方向一致性调节因子,调节融合特征中的模态梯度,得到最终特征,完成多模态学习。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人内蒙古工业大学,其通讯地址为:010051 内蒙古自治区呼和浩特市新城区爱民街49号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励