买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安邮电大学申请的专利一种基于异构哈希网络的跨模态语音与人脸关联方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118918924B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411097705.X，技术领域涉及：G10L25/54；该发明授权一种基于异构哈希网络的跨模态语音与人脸关联方法是由梁彦霞;张欢欢;刘欣;姜静;王富平;贾彤;王欢;许逸康设计研发完成，并于2024-08-12向国家知识产权局提交的专利申请。

本一种基于异构哈希网络的跨模态语音与人脸关联方法在说明书摘要公布了：本发明属于通信技术领域，公开了一种基于异构哈希网络的跨模态语音与人脸关联方法，具体技术方案为：提出了一种基于哈希学习的跨模态深度残差对齐网络，网络将输入特征映射为固定长度的哈希码，有效降低了特征维度以及内存的使用，同时哈希化使得计算效率大大提升，集成残差结构的深层网络使得特征表示能力更强，具有很好的泛化性，通过最小化损失函数能够使得相同身份的语音和人脸特征在哈希空间中汉明距离更近，不同身份的语音和人脸特征距离更远，以此达到语音和人脸的特征对齐，完成跨模态的匹配、验证和检索任务，本发明的模型在跨模态匹配、检索、验证任务中的准确率与现有方法相比有明显的提升。

本发明授权一种基于异构哈希网络的跨模态语音与人脸关联方法在权利要求书中公布了：1.一种基于异构哈希网络的跨模态语音与人脸关联方法，其特征在于，具体步骤如下： 步骤一、构建数据集：使用经过预处理的数据集对网络进行训练以及测试； 步骤二、加载数据集：添加一个采样器，在训练过程中接收样本，每次迭代包含多个不同身份的样本，每个身份含有固定数量的实例，网络训练过程中，在每次迭代时，数据以一个元组的形式呈现，具体表达如下： ; 其中，表示语音片段，表示人脸图像，为标签，若，表示与属于同一个人；若，则认定与属于不同身份的人，batch表示网络每次迭代的元组数量； 步骤三、建立语音特征提取网络：使用在VoxCeleb2数据集上预训练的ECAPA-TDNN模型作为语音特征提取网络，针对语音片段，首先提取语音的梅尔频谱特征并归一化后作为ECAPA-TDNN模型的输入来提取特征，输出最终的语音特征； 步骤四、构建人脸特征提取网络：使用在VGGFace2数据集上预训练的Inception-V1网络作为人脸特征提取网络，人脸图片通过Inception-V1网络输出一个512维的向量作为最终的人脸特征； 步骤五、构建跨模态特征对齐网络：具体的跨模态特征对齐网络表达式如下： ; 在特征提取阶段得到的语音特征、人脸特征作为该网络的输入，跨模态特征对齐网络自动将语音特征、人脸特征输入进对应的特征对齐子网络，使用多个全连接层来实现特征对齐，除最后一层的全连接层外，每一个全连接层之后紧跟一个批归一化层，批归一化表示如下： ; 其中，表示经过全连接层后的特征，表示一个批次内所有样本特征在每个特征通道上的均值，表示一个批次内所有样本特征在每个特征通道上的方差，是一个小的常数，和是可学习的参数； 在跨模态特征对齐网络最后一层添加一个哈希函数层，跨模态特征对齐网络的最终输出为： ; ; 其中，，表示构建的跨模态特征对齐网络中的语音特征对齐子网络，表示构建的跨模态特征对齐网络中的人脸特征对齐子网络，为通过特征提取网络得到的语音特征，为通过特征提取网络得到的人脸特征，分别表示跨模态特征对齐网络中两个子网络学习到的参数，为最终得到的两个模态的哈希码。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安邮电大学，其通讯地址为：710061 陕西省西安市雁塔区长安南路563号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。