买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉恒安嘉新(北京)科技股份公司;中国移动通信集团江苏有限公司;南京理工大学申请的专利基于Transformer与知识蒸馏的隐私保护联邦学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121098591B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511329995.0，技术领域涉及：H04L9/40；该发明授权基于Transformer与知识蒸馏的隐私保护联邦学习方法及系统是由王方圆;朱若冲;吴璟;杨亚霖;陈龙;李千目;练智超;付金星;罗童;许志俊设计研发完成，并于2025-09-17向国家知识产权局提交的专利申请。

本基于Transformer与知识蒸馏的隐私保护联邦学习方法及系统在说明书摘要公布了：本发明公开了基于Transformer与知识蒸馏的隐私保护联邦学习方法及系统，属于人工智能和网络安全技术领域，包括将Transformer模型的注意力机制作为本地特征提取的核心组件，以捕捉数据长距离依赖关系并提升特征表示质量；引入Paillier加密协议实现模型权重的同态加密传输；在中央服务器端采用知识蒸馏技术，将聚合全局模型作为教师模型提炼软知识，反哺客户端以压缩模型并优化；本发明通过将Transformer作为本地特征提取器、结合Paillier加密协议、中央服务器聚合后采用知识蒸馏技术，从而优化Non‑IID数据下的检测性能，实现数据安全与检测效能的兼顾。

本发明授权基于Transformer与知识蒸馏的隐私保护联邦学习方法及系统在权利要求书中公布了：1.一种基于Transformer与知识蒸馏的隐私保护联邦学习方法，其特征在于：包括将Transformer模型的注意力机制作为本地特征提取的核心组件，以捕捉数据长距离依赖关系并提升特征表示质量；引入Paillier加密协议实现模型权重的同态加密传输；在中央服务器端采用知识蒸馏技术，将聚合全局模型作为教师模型提炼软知识，反哺客户端以压缩模型并优化，包括以下步骤： S1、数据采集与预处理：从本地传感器采集数据，并对其进行预处理为序列格式； S2、特征提取：在各客户端设备上，部署Transformer模型作为本地特征提取器进行特征提取； S3、本地模型训练：基于提取特征训练入侵检测模型，优化损失函数； S31、输入自注意力机制的输出与原始输入，并对其进行残差连接； S32、对S31的输入进行残差连接，并对残差结果进行归一化； S33、对S32的归一化结果添加前馈网络； S34、对S33中第二层线性变换的输出和S32中的归一化结果进行残差连接和层归一化； S35、输出高维特征表示； S4、加密传输：客户端完成本地训练后，对模型权重应用Paillier加密协议进行加密，然后通过安全通道将权重传输至中央服务器； S5、中央服务器聚合：中央服务器接收多个客户端的加密权重后，进行聚合操作，生成全局模型； S6、知识蒸馏反哺：中央服务器将聚合的全局模型解密作为教师模型，然后应用知识蒸馏技术提炼知识，并将提炼后的知识加密后反哺各客户端，用于更新本地模型； 蒸馏过程包括生成软标签：教师模型对共享伪数据集计算softmax输出，温度参数t软化概率分布，具体为： ， 其中，表示软标签的第i个类别的软化概率；t表示温度参数；表示logits向量中第j个类别的分数，j表示求和中的类别索引； 然后，学生模型通过KL散度损失最小化与教师软标签的差异，具体为： ， 其中，LOSS表示总损失函数；CE表示交叉熵，KL表示散度，α表示平衡因子，表示真实标签；表示学生模型的预测概率分布；表示教师模型的软标签概率分布； S7、迭代优化：对上述步骤进行闭环迭代，直至全局模型收敛。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人恒安嘉新(北京)科技股份公司;中国移动通信集团江苏有限公司;南京理工大学，其通讯地址为：100088 北京市海淀区知春路6号(锦秋国际大厦)三层B01；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。