浙江大学;杭州高新区(滨江)区块链与数据安全研究院王志波获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学;杭州高新区(滨江)区块链与数据安全研究院申请的专利一种面向大模型的拆分式隐私保护训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121561979B 。
龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610098116.6,技术领域涉及:G06F21/62;该发明授权一种面向大模型的拆分式隐私保护训练方法是由王志波;赵晨旭;任奎设计研发完成,并于2026-01-26向国家知识产权局提交的专利申请。
本一种面向大模型的拆分式隐私保护训练方法在说明书摘要公布了:本发明公开了一种面向大模型的拆分式隐私保护训练方法,包括将预训练大模型沿网络深度方向划分为客户端侧模型底部层与顶部层,以及云服务器侧模型中间层,客户端仅处理本地私有数据,端云通过中间激活协同训练等步骤,本发明面向大模型的隐私保护,适配大模型特征的隐私策略,跨模型架构的适用,实现精准的隐私‑效用平衡,令牌重要性感知的噪声注入,轻量级噪声后校准,提供理论约束的隐私保证,令牌级差分隐私机制,参数化可调隐私约束,优化部署可行性与系统效率,低额外计算与存储开销,兼容参数高效微调技术,在保证隐私保护效果的同时,大幅降低通信量与计算需求,支持大规模模型在拆分学习架构下的高效、实用化隐私微调。
本发明授权一种面向大模型的拆分式隐私保护训练方法在权利要求书中公布了:1.一种面向大模型的拆分式隐私保护训练方法,其特征在于,包括: 将预训练大模型沿网络深度方向划分为客户端侧模型底部层与顶部层,以及云服务器侧模型中间层,客户端仅处理本地私有数据,端云通过中间激活协同训练; 对用户侧本地私有文本数据进行预处理生成令牌序列,并利用客户端侧模型底部层对令牌序列前向计算,得到第一中间激活向量; 基于第一中间激活向量计算令牌的语义影响力分数和结构稳定性分数,联合得到令牌重要性分数; 依据令牌重要性分数对第一中间激活向量进行令牌级差分隐私噪声注入,生成扰动第一中间激活向量; 将扰动第一中间激活向量发送至云服务器侧,经模型中间层前向计算得到第二中间激活向量; 在客户端侧通过轻量级噪声校准模块对第二中间激活向量进行校准; 将校准后的第二中间激活向量输入客户端侧模型顶部层,输出预测结果并计算损失函数; 基于损失函数执行端云协同反向传播,分别更新客户端侧与云服务器侧模型参数; 所述的基于第一中间激活向量计算令牌的语义影响力分数,具体为,对输入序列中的每个令牌,聚合客户端侧模型底部层中所有模型层的注意力矩阵,并引入残差连接构建聚合注意力矩阵,其中为对角矩阵,计算每个令牌对其他令牌的累积语义影响力并进行归一化,得到表征该令牌在全局上下文建模中的语义贡献程度的比例分数; 所述的基于第一中间激活向量计算令牌的结构稳定性分数,具体为:计算令牌在不同网络层激活向量中的平均范数,其中是所使用的模型的隐藏维度大小,表示第个令牌在第个隐藏维度上的激活值;归一化处理后,得到结构稳定性分数,用于反映令牌在模型结构表示中的稳定性与支撑作用。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学;杭州高新区(滨江)区块链与数据安全研究院,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励