买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于非对称双编码器的图文检索方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116738037B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310351857.7，技术领域涉及：G06F16/9535；该发明授权一种基于非对称双编码器的图文检索方法与系统是由张宇;米思娅;熊伟;柳昊良设计研发完成，并于2023-04-04向国家知识产权局提交的专利申请。

本一种基于非对称双编码器的图文检索方法与系统在说明书摘要公布了：本发明公开了一种基于非对称双编码器的图文检索方法及系统，分别使用双编码器和跨模态编码器对图或和文进行编码，通过计算图或和文编码后特征的余弦相似度获取相似分数，对相似分数进行排序，选取分数最高的图文作为输出，实现图文检索，一方面，非对称双编码器保留了交叉注意机制，实现了与跨模态编码器一样的高检索性能；另一方面，非对称双编码器独立编码查询和候选特征，这使模型能够克服批量大小限制并挖掘更多信息示例，其中批量大小能够明显地影响编码器的学习，有效地解决纯双编码器模型带来的精度降低以及纯跨模态编码器带来的计算效率过低的问题。

本发明授权一种基于非对称双编码器的图文检索方法与系统在权利要求书中公布了：1.一种基于非对称双编码器的图文检索方法，其特征在于：分别使用双编码器和跨模态编码器对图或和文进行编码，通过计算图或和文编码后特征的余弦相似度获取相似分数，对相似分数进行排序，选取分数最高的图文作为输出，实现图文检索；具体包括如下步骤： S1：对于训练样本数量为的图文数据集，随机采样个样本作为一个批次，第个图文样本对中，表示第个图像，表示第个文本； S2：对图像及文本进行数据增强，并将输入的文本以空格为间隔分为个单词，并进一步被编码为个词嵌入；将输入的图片分为个区域，并进一步进行编码，得到图像编码； S3：使用双编码器对步骤S2获得的词嵌入和图像编码进行特征提取，得到双编码文本特征及双编码图像特征，所述双编码文本特征为：所述双编码图像特征为：； S4：使用跨模态编码器对步骤S2获得的词嵌入和图像编码进行特征提取，得到跨模态编码文本特征和跨模态编码图像特征，所述跨模态编码文本特征为：； 所述跨模态编码图像特征为：； S5：对步骤S3获得的双编码文本特征和步骤S4获得的跨模态编码文本特征进行聚合得到最终双编码文本特征和跨模态编码文本特征；对步骤S3获得的双编码图像特征和步骤S4获得的跨模态编码图像特征进行聚合得到最终双编码图像特征和跨模态编码图像特征； S6：使用折页损失函数计算一个批次数据的损失，并通过最小化损失函数更新模型参数，进行模型训练，直至损失收敛，获得最优模型，否则返回步骤S1； S7：将图像输入最优跨模态编码器模型中，得到跨模态编码图像特征，待匹配文本输入到最优双编码器模型中得到双编码文本特征，计算图文编码后特征的余弦相似度获取相似分数，对相似分数进行排序，选取分数最高的图文作为输出，实现图文检索。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。