买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利基于Transformer的模态间联合编码方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115937641B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211335121.2，技术领域涉及：G06V10/80；该发明授权基于Transformer的模态间联合编码方法、装置及设备是由刘绍辉;米亚纯;郭富博;姜峰设计研发完成，并于2022-10-28向国家知识产权局提交的专利申请。

本基于Transformer的模态间联合编码方法、装置及设备在说明书摘要公布了：本发明公开了一种基于Transformer的模态间联合编码方法、装置及设备，涉及多模态融合技术领域，解决的技术问题为“如何对模态间信息进行融合，以实现更好的情感分类效果”，方法包括：获取包含多模态信息的待分析视频；提取待分析视频的文本特征、音频特征、视频画面特征；基于全连接层和LSTM层，将所述文本特征、音频特征以及视频画面特征统一为相同的维度；基于Transformer模型，对所述文本特征、音频特征以及视频画面特征进行多模态注意力联合编码；基于多层感知机分类模型，对表征特征进行处理并加权，得到所述待分析视频的分类结果；该方法对于不同的模态能够采用Transformer模型同时进行联合的注意力编码，实现了更好的分类效果。

本发明授权基于Transformer的模态间联合编码方法、装置及设备在权利要求书中公布了：1.一种基于Transformer的模态间联合编码方法，其特征在于，包括： 获取包含多模态信息的待分析视频； 提取所述待分析视频的文本特征； 提取所述待分析视频的音频特征； 提取所述待分析视频的视频画面特征； 基于全连接层和LSTM层，将所述文本特征、音频特征以及视频画面特征统一为相同的维度； 基于Transformer模型，对所述文本特征、音频特征以及视频画面特征进行多模态注意力联合编码，得到文本表征特征、音频表征特征以及视频画面表征特征； 基于多层感知机分类模型，对所述文本表征特征、音频表征特征以及视频画面表征特征进行加权，得到所述待分析视频的分类结果； 进行多模态注意力联合编码过程中，将所述文本模态作为主模态，对音频模态和视频画面模态进行调制编码； 所述Transformer模型包括三个联合编码单元，每个所述联合编码单元包括依次连接的多头注意力模块Multi-Head、第一残差连接标准化模块、前馈模块Feed-Forward、第二残差连接标准化模块、软注意力模块soft-attention以及第三残差连接标准化模块； 基于Transformer模型，对所述文本特征、音频特征以及视频画面特征进行多模态注意力联合编码，得到文本表征特征、音频表征特征以及视频画面表征特征，包括： 将所述文本特征输入第一联合编码单元，得到文本表征特征； 将所述文本特征和音频特征输入至第二联合编码单元，得到音频表征特征； 将所述文本特征和视频画面特征输入至第三联合编码单元，得到视频画面表征特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。