哈尔滨工业大学江俊君获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学申请的专利基于逆扩散模型的多模态图像融合方法及系统、设备及可读存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120070202B 。
龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510124896.2,技术领域涉及:G06T5/50;该发明授权基于逆扩散模型的多模态图像融合方法及系统、设备及可读存储介质是由江俊君;梁鹏伟;王晨扬;马清;刘贤明;马佳义设计研发完成,并于2025-01-27向国家知识产权局提交的专利申请。
本基于逆扩散模型的多模态图像融合方法及系统、设备及可读存储介质在说明书摘要公布了:本发明涉及一种逆扩散模型的多模态图像融合方法,包括以下步骤:步骤一、利用逆扩散技术,将可见光图像逆转至噪声潜在空间,然后利用逆转后的可见光图像特征,引导红外图像进行逆转;步骤二、通过扩散模型中的逆过程进行引导,将可见光的外观属性的注入红外特征,其特征可生成具有可见光风格的红外图像;步骤三、设计特定的融合规则,用于去噪过程中的注意层融合逆转的可见光和红外特征,保留模型的文本交互能力,支持语言驱动的融合控制。本发明无需额外训练或微调,即可直接生成高质量的融合图像。得到的融合图像与基础模型高度兼容,有效解决了数据域间的差异问题,并显著提升了下游机器感知任务的表现。本发明显著降低了训练成本,为跨域任务提供了高效且创新的解决方案。
本发明授权基于逆扩散模型的多模态图像融合方法及系统、设备及可读存储介质在权利要求书中公布了:1.一种逆扩散模型的多模态图像融合方法,其特征在于,包括以下步骤: 步骤一、遵循扩散模型的框架,所述的扩散模型包括一个T步的前向过程和一个T步的逆向过程;前向过程逐步将一幅干净的图像转化为白高斯噪声;可表示为: 1;其中,代表在时间t时的图像,指代与时间步骤t相关的超参数,是一个标准的正态分布; 其扩散模型中的逆向过程表示为: 2;公式2中,是关于的超参数, 预测, 表示指向的方向, 是扩散模型的网络模型,在t步时,生成可见特征、和的表达方式如下: ,,3; 在公式3中,扩散模型的网络模型在输入的情况下预测得到噪声;和在预测得到噪声时生成的; 步骤二、为将可见光特征融入红外图像;根据公式2和公式3,可定义可见光风格的红外的更新步骤如下: , 在公式4中表示权重因子,即为视觉提示;视觉提示在每个时间步骤中引导噪声红外图像朝向可见方向是至关重要的;根据公式2和公式3,公式4中的也可以表达为: 5;6;公式4可以重写为: 7; 步骤三、为保持可见外观,使用可见特征作为融合图像的基础组成部分;融合图像的迭代生成过程可以表达为: 8;引入定制的融合规则来注入类似可见光的红外信息,具体为:融合规则适用于去噪网络中的自注意力层,可定义为: 9; 和代表两个超参数,需满足约束条件; 为确保融合图像主要保留可见光内容,在迭代过程中保持查询向量不变,利用自注意力层中的保留红外图像的视觉特性,在去噪的早期步骤中注入红外信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学,其通讯地址为:150010 黑龙江省哈尔滨市西大直街92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励