买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉泉城省实验室申请的专利一种基于周期延拓的大模型长文本外推方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120011959B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411871193.8，技术领域涉及：G06F18/2431；该发明授权一种基于周期延拓的大模型长文本外推方法及系统是由胡吉坤;郭冬升;艾清遥;刘奕群;张敏;罗成设计研发完成，并于2024-12-18向国家知识产权局提交的专利申请。

本一种基于周期延拓的大模型长文本外推方法及系统在说明书摘要公布了：本发明涉及一种基于周期延拓的大模型长文本外推方法及系统，适用于基于ROPE位置编码的Transformer架构模型；包括：1ROPE策略的适应性改造；首先，需要定位Transformer架构模型源码中ROPE编码策略；其次，使用Extra‑PE策略更新ROPE编码策略；2对Transformer架构模型进行微调训练；3通过训练后的Transformer架构模型进行推理。本发明通过收敛高维子空间内的位置编码分布域实现大模型的长文本外推能力。能够保证不破坏模型在训练长度窗口内的注意力分布。

本发明授权一种基于周期延拓的大模型长文本外推方法及系统在权利要求书中公布了：1.一种基于周期延拓的大模型长文本外推方法，其特征在于，适用于基于ROPE位置编码的Transformer架构模型；包括： 1ROPE策略的适应性改造；首先，需要定位Transformer架构模型源码中ROPE编码策略；其次，使用Extra-PE策略更新ROPE编码策略；具体取代过程如下： 初始化参数，包括ROPE编码策略训练窗口的最大长度、当前输入文本长度、位置编码总维度、位置索引序列及旋转频率序列； 定义临界维度，；其中，base为旋转基数，是Transformer架构模型训练过程中的最大输入文本长度，是Transformer架构模型推理阶段的最大输入长度，二者的比值，当时，则产生长文本外推问题； 判断Transformer架构模型当前输入文本长度是否大于Transformer架构模型训练时文本窗口最大长度：如果Transformer架构模型当前输入文本长度大于训练时文本窗口最大长度，则对ROPE策略进行适应性改造；否则，不改变Transformer架构模型原有的位置编码策略，进行直接外推； 根据公式计算得到临界维度，判断临界维度和总维度、1之间的大小关系，当时,则进行直接外推；当,则对所有维度编码进行全量周期延拓；当,则采取高维周期延拓，低维直接外推的策略，具体如下： 当位置编码的维度时，则认为该维度子空间内的位置编码分布是不完整的，此时，通过一种非内插型的长文本外推方法，即基于周期延拓的方法；通过对高维子空间内周期不完整的位置编码分布进行周期性的延拓；否则，则认为该维度子空间内的位置编码分布是完整的，不需要对其位置编码进行改造处理； 2对Transformer架构模型进行微调训练； 3通过训练后的Transformer架构模型进行推理； 通过对高维子空间内周期不完整的位置编码分布进行周期性的延拓；是指：通过Extra-PE的公式，对ROPE的位置索引序列和旋转频率序列进行改造更新，完成位置编码的适应性改造过程； 以一个高维子空间为研究对象，对需要进行周期延拓的位置编码，定义延拓周期为；定义Transformer架构模型训练阶段的最大文本长度为,当前输入文本的长度为，子空间的旋转频率为，在位置处的旋转变换表示为：,更新后的旋转变化表示为：；Extra-PE的公式表示： 2 3 其中，mod为取模计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人泉城省实验室，其通讯地址为：250100 山东省济南市历城区经十东路国家超算济南中心科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。