买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东交通大学申请的专利文本优先的多模态情感分析方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121808715B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610285087.4，技术领域涉及：G06F18/25；该发明授权文本优先的多模态情感分析方法与系统是由陈家驹;邬昌兴;朱志亮;杨亚连设计研发完成，并于2026-03-10向国家知识产权局提交的专利申请。

本文本优先的多模态情感分析方法与系统在说明书摘要公布了：本发明提出一种文本优先的多模态情感分析方法与系统，该方法分别构建文本、视频与音频的私有专家网络，用于捕获各模态独特的情感表达特征，同时引入共享专家网络以建模跨模态的通用情感语义，从而实现多模态信息的协同建模，然后以文本模态为主导启动情感分析过程，首先基于文本信息给出初步判断，再根据置信度情况，按需逐步引入视频和音频信息进行增量式补充进行情感分类预测，实现与人类认知一致的按需解码策略，得到最终的情感类别。本发明通过模拟人类“按需整合”多源信息的认知过程，在减少了推理时间与资源消耗的同时，使模型决策过程更加自然、可解释，也更贴近实际应用中不同模态信息不均衡、不等价的特点。

本发明授权文本优先的多模态情感分析方法与系统在权利要求书中公布了：1.一种文本优先的多模态情感分析方法，其特征在于，所述方法包括如下步骤： 步骤1、给定实例，提取实例的文本、视频与音频的初步语义表示； 步骤2、为文本、视频与音频的模态分别构建私有专家网络，通过私有专家网络生成文本、视频与音频的初步语义表示中相应模态的私有情感特征向量； 利用共享专家网络生成文本、视频与音频的初步语义表示中相应模态的通用情感特征向量； 步骤3、将私有情感特征向量与通用情感特征向量的文本模态部分进行融合，生成单一文本的最终情感特征向量； 步骤4、以文本模态为主导启动情感分析过程，利用单一文本的最终情感特征向量进行情感分类预测，得到情感类别，并计算情感类别的置信度； 步骤5、根据情感类别的置信度，按需逐步引入视频和音频对应的私有情感特征向量以及通用情感特征向量进行增量式补充，再进行情感分类预测，以实现与人类认知一致的按需解码策略，得到最终情感类别，具体包括如下步骤： 将基于文本预测的情感类别记为第一情感类别； 给定置信度阈值，并将置信度阈值与第一情感类别的置信度进行比较；若第一情感类别的置信度小于或等于置信度阈值，则判定第一情感类别可信度高，无需引入其它模态的信息，并将第一情感类别作为最终情感类别； 若第一情感类别的置信度大于置信度阈值，则判定第一情感类别可信度低，需要从输入视频中提取更多的情感信息用于更准确的预测；将视频的通用情感特征向量和私有情感特征向量通过第二LSTM单元计算得到融合文本和视频信息的最终情感特征的向量，再进行情感分类预测，得到第二情感类别，并计算第二情感类别的置信度，对应存在如下关系式： ； 其中，为单一文本的最终情感特征向量，为用于计算概率分布的熵的函数，为用于融合文本和视频信息的第二LSTM单元，为融合文本和视频信息的最终情感特征的向量，为经过输入门过滤后的有效视频信息，为利用文本和视频信息的分类网络，为视频的通用情感特征向量，为视频的私有情感特征向量，为第二情感类别，为第二情感类别的置信度； 并再次将第二情感类别的置信度与置信度阈值进行比较，若第二情感类别的置信度小于或等于置信度阈值，则判定第二情感类别可信度高，无需引入其它模态的信息，并将第二情感类别作为最终情感类别； 若第二情感类别的置信度大于置信度阈值，则判定第二情感类别可信度低，需要从输入音频中提取更多的情感信息用于更准确的预测；将音频的通用情感特征向量和私有情感特征向量通过第三LSTM单元计算得到三种模态信息的最终情感特征的向量，再进行情感分类预测，得到第三情感类别，并将第三情感类别作为最终情感类别，对应存在如下关系式： ； 其中，为融合三种模态信息的最终情感特征的向量，为用于融合三种模态信息的第三LSTM单元，为经过输入门过滤后的有效音频信息，为音频的通用情感特征向量，为音频的私有情感特征向量； 私有专家网络和共享专家网络的训练过程具体包括如下步骤： 构建三个用于辅助训练的分类网络，分别以各模态的通用情感特征与私有情感特征为输入，计算情感类别的预测结果，对应的过程存在如下关系式： ； 其中，、和分别为对应于文本、视频和音频的用于辅助训练的分类网络，、和分别为仅文本、仅视频和仅音频的情感类别预测结果，为文本的私有情感特征向量，为文本的通用情感特征向量，为视频的私有情感特征向量，为视频的通用情感特征向量； 根据情感类别的预测结果和真实类别，定义第一多任务学习代价，对应的过程存在如下关系式： ； 其中，为人工标注的训练集，为输入实例的真实情感类别，CE为计算两个离散概率分布交叉熵的函数，为第一多任务学习代价； 根据各模态的通用情感特征与私有情感特征构建定义正交正则化项，对应的过程存在如下关系式： ； 其中，为向量的转置，为向量的内积，为正交正则化项； 根据第一多任务学习代价和正交正则化项，定义共享-私有专家联合训练阶段的第一总代价，对应的过程存在如下关系式： 其中，为对应于正交正则化项的权重，为第一总代价； 通过最小化第一总代价直至收敛，以对私有专家网络和共享专家网络中参数的优化，实现共享-私有专家的联合训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东交通大学，其通讯地址为：330000 江西省南昌市经济技术开发区双港东大街808号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。