京东科技信息技术有限公司李浩然获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉京东科技信息技术有限公司申请的专利预训练语言模型的训练方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115169550B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210757340.3，技术领域涉及：G06N3/0455；该发明授权预训练语言模型的训练方法和装置是由李浩然设计研发完成，并于2022-06-30向国家知识产权局提交的专利申请。
本预训练语言模型的训练方法和装置在说明书摘要公布了：本发明公开了预训练语言模型的训练方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取输入文本，在输入文本中加入噪音得到噪音输入文本；从前到后遍历输出文本的每个槽位：获取由当前槽位之前各个槽位的词形成的历史解码文本，在历史解码文本中加入噪音得到噪音历史解码文本，将噪音输入文本和噪音历史解码文本输入预训练语言模型，得到当前槽位的词为噪音输入文本中各个词的概率分布，根据概率分布对预训练语言模型进行迭代训练，得到当前槽位的词。该实施方式能够使解码过程不仅仅训练语言模型，还需要在遇到噪音时关注到输入文本，从而提高预训练语言模型的鲁棒性。
本发明授权预训练语言模型的训练方法和装置在权利要求书中公布了：1.一种预训练语言模型的训练方法，其特征在于，包括： 获取输入文本，在所述输入文本中加入噪音得到噪音输入文本； 从前到后遍历输出文本的每个槽位：获取由当前槽位之前各个槽位的词形成的历史解码文本，在所述历史解码文本中加入噪音得到噪音历史解码文本，将所述噪音输入文本和所述噪音历史解码文本输入预训练语言模型，得到所述当前槽位的词为所述噪音输入文本中各个词的概率分布，根据所述概率分布对所述预训练语言模型进行迭代训练，得到所述当前槽位的词； 其中，所述输出文本中的槽位数量与所述输入文本中的词数量相等；在所述输入文本中加入噪音，包括：对所述输入文本进行乱序处理；对所述历史解码文本中的部分词进行删除处理，包括：对所述历史解码文本中的任意一个词进行删除处理。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人京东科技信息技术有限公司，其通讯地址为：100176 北京市北京经济技术开发区科创十一街18号院2号楼6层601；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励