买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京百度网讯科技有限公司申请的专利大模型的优化方法、装置和电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118966281B 。

龙图腾网通过国家知识产权局官网在2026-04-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411035152.5，技术领域涉及：G06N3/045；该发明授权大模型的优化方法、装置和电子设备是由张林昊;陈奕龙;尚骏远;王硕寰;孙宇设计研发完成，并于2024-07-30向国家知识产权局提交的专利申请。

本大模型的优化方法、装置和电子设备在说明书摘要公布了：本公开提出了一种大模型的优化方法、装置和电子设备，涉及人工智能技术领域，具体为大模型和深度学习等技术领域，包括：从多头自注意力MHA结构的第一大模型中抽取模型参数，得到模型参数集合，对第一类模型参数进行奇异值分解SVD，得到第一类模型参数的近似矩阵对；基于第一类模型参数的近似矩阵对和第二类模型参数，生成多头隐式自注意力MLA结构的第二大模型，本公开通过对第一类模型参数进行奇异值分解，得到第一类模型参数的近似矩阵对，并基于第一类模型参数的近似矩阵对和第二类模型参数，生成MLA结构的第二大模型，提高了生成大模型的效率以及大模型的性能，降低了生成大模型的成本。

本发明授权大模型的优化方法、装置和电子设备在权利要求书中公布了：1.一种大模型的优化方法，其中，所述方法包括： 从多头自注意力MHA结构的第一大模型中抽取模型参数，得到模型参数集合，其中所述模型参数集合包括第一类模型参数和第二类模型参数，所述第一大模型用于对不同类型的数据进行处理，所述不同类型的数据包括文本数据、图像数据、音视频数据，所述第一类模型参数包括所述MHA结构中的查询参数Q、键参数K和值参数V的权重矩阵，第二类模型参数包括所述MHA结构中的头的数量、嵌入维度、所述第一大模型中与前馈网络层关联的模型参数、所述第一大模型中与嵌入层的关联的模型参数； 对所述第一类模型参数进行奇异值分解SVD，得到所述第一类模型参数的近似矩阵对，其中，所述近似矩阵对包括所述第一类模型参数的降维矩阵和升维矩阵； 基于所述第一类模型参数的近似矩阵对和所述第二类模型参数，生成多头隐式自注意力MLA结构的第二大模型，所述多头隐式自注意力机制是针对自然语言处理和序列处理任务的注意力机制，所述MLA结构中包括进行降维处理的第一网络层和进行升维处理的第二网络层，所述第一网络层的输入维度数量与所述第二网络层的输出维度数量相同；所述第一网络层的输出维度数量与所述第二网络层的输入维度数量相同。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京百度网讯科技有限公司，其通讯地址为：100085 北京市海淀区上地十街10号百度大厦二层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。