上海科技大学殷树获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海科技大学申请的专利基于非易失内存的深度神经网络checkpoint优化系统以及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116151308B 。
龙图腾网通过国家知识产权局官网在2026-04-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310153129.5,技术领域涉及:G06N3/04;该发明授权基于非易失内存的深度神经网络checkpoint优化系统以及方法是由殷树;吴天元;李元皓设计研发完成,并于2023-02-22向国家知识产权局提交的专利申请。
本基于非易失内存的深度神经网络checkpoint优化系统以及方法在说明书摘要公布了:本发明提供一种基于非易失内存的深度神经网络checkpoint优化系统以及方法,通过客户端模块以及服务端模块在深度神经网络训练开始前将对应的网络结构注册在非易失内存中,并创建数据索引和基于远程直接内存访问RDMA的数据通信协议;并且在神经网络训练过程中,本发明提供了零拷贝、异步、端到端的神经网络数据持久化,使得用户可以在不影响训练速度的前提下做细粒度的checkpointing以保证容错性和数据持久性。
本发明授权基于非易失内存的深度神经网络checkpoint优化系统以及方法在权利要求书中公布了:1.一种基于非易失内存的深度神经网络checkpoint优化系统,其特征在于,所述系统包括: 位于装有GPU显存的计算节点内的客户端模块以及位于装有非易失内存的存储节点内的服务端模块; 其中,在每个神经网络模型训练开始之前,所述客户端模块将对存储在所述GPU显存的对应神经网络模型进行初始化获得的网络结构,发送给客户端模块构建该神经网络模型在所述非易失内存上的索引结构,以建立所述GPU显存到所述非易失内存之间的端到端通信; 当所述服务端模块在对应神经网络模型训练过程中接收到来自客户端模块的checkpoint请求时,基于该神经网络模型的索引结构直接将对应的模型数据由所述GPU显存读取到非易失内存上; 并且其中,所述客户端模块对存储在所述GPU显存的对应神经网络模型进行初始化获得网络结构的方式包括: 通过神经网络框架收集对应神经网络模型中指向模型每一层的GPU内存指针; 使用NVIDIAPeerMemory内核模块基于模型每一层的GPU内存指针将模型每一层的GPU地址空间注册为RDMA内存区域,并给每个内存区域都赋予唯一的标识符; 将各标识符与模型每一层的元数据一一对应地聚合到一个模型结构包中; 所述客户端模块构建该神经网络模型在所述非易失内存上的索引结构的方式包括: 当接收到所述模型结构包后,从线程池中选择一线程基于该模型结构包在非易失内存中构建对应该神经网络模型的索引结构,以便将该神经网络模型的每一层一一映射到checkpoint结构; 所述当所述服务端模块在对应神经网络模型训练过程中接收到来自客户端模块的checkpoint请求时,基于该神经网络模型的索引结构直接将对应的模型数据由所述GPU显存读取到非易失内存上的方式包括: 当所述客户端模块在对应神经网络模型训练过程中接收到用户checkpoint请求时,获取对应的GPU内存指针并向所述服务端模块发送生成的checkpoint请求; 所述服务端模块基于来自客户端模块的checkpoint请求,控制对应的线程基于对应构建的索引结构通过RDMA读操作直接将对应的模型数据由所述GPU显存读取到非易失内存上。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海科技大学,其通讯地址为:201210 上海市浦东新区华夏中路393号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励