买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中山大学申请的专利多模态数据异常识别方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118379755B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410594787.2，技术领域涉及：G06V30/413；该发明授权多模态数据异常识别方法、装置、电子设备及存储介质是由陈亮;张辉哲;朱裕昌;郑子彬设计研发完成，并于2024-05-14向国家知识产权局提交的专利申请。

本多模态数据异常识别方法、装置、电子设备及存储介质在说明书摘要公布了：本发明公开了一种多模态数据异常识别方法、装置、电子设备及存储介质，用于解决现有异常检测相关方法中存在的通用性不强、主要针对单一类型数据、单一规则以及单一场景的技术问题。方法包括：首先获取多模态数据集；接着根据多模态数据集，构建图像‑文本预训练集以及图像‑文本微调数据集；然后基于多模态嵌入对齐，根据图像‑文本预训练集进行模型预训练，根据图像‑文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型；最后将待识别数据输入至多模态异常检测模型进行异常识别，获得异常识别结果。

本发明授权多模态数据异常识别方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种多模态数据异常识别方法，其特征在于，包括： 获取多模态数据集； 根据所述多模态数据集，构建图像-文本预训练集以及图像-文本微调数据集； 基于多模态嵌入对齐，根据所述图像-文本预训练集进行模型预训练，根据所述图像-文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型； 将待识别数据输入至所述多模态异常检测模型进行异常识别，获得异常识别结果； 其中，所述多模态数据集包括异常文本数据以及异常图像数据；通过对所述异常文本数据以及所述异常图像数据进行图像文本关联，生成多个图像文本数据对，接着生成每一个所述图像文本数据对各自对应的描述文本； 所述多模态嵌入对齐的处理流程，包括： 从当前处理阶段所采用的数据集中提取所述异常文本数据以及所述描述文本，并将所述异常文本数据以及所述描述文本以向量形式映射至嵌入空间，生成文本嵌入表示； 从当前处理阶段所采用的数据集中提取所述异常图像数据，并将所述异常图像数据输入至视觉编码器进行向量转换，生成图像嵌入表示； 构建所述文本嵌入表示对应的语义图，以及所述图像嵌入表示对应的视觉图，并对所述语义图以及所述视觉图进行数据关联，构建多模态异构图，所述多模态异构图包括多个节点； 引入带有跨模态注意力机制的图神经网络，基于所述图神经网络的消息传递机制，在迭代更新过程中，所述多模态异构图中每个目标节点接收来自邻居节点的消息； 针对不同模态消息设置不同权重，基于权重配比设置，将从所述邻居节点接收的不同模态消息与所述目标节点自身的嵌入进行差异化聚合，以更新节点自身嵌入，生成所述文本嵌入表示对应的文本对齐表示，以及所述图像嵌入表示对应的图像对齐表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。