买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120994757B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511083124.5，技术领域涉及：G06F16/31；该发明授权一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统是由许胤龙;曾源;李泓民;吕敏;李永坤设计研发完成，并于2025-08-04向国家知识产权局提交的专利申请。

本一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统在说明书摘要公布了：本发明涉及大语言模型推理技术领域，公开了一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统，方法包括：根据用户的历史推理请求中的词元生成键值缓存，将多个词元聚集成词元块，生成词元块的嵌入向量，建立向量数据库；计算新的推理请求的词元块的嵌入向量与向量数据库中历史嵌入向量的余弦相似度，若存在余弦相似度超过设定阈值的历史词元块，则通过哈希索引获取对应的键值缓存并复用；计算注意力分数，基于所述注意力分数将当前词元块中的多个词元区分为关键词元和非关键词元；对关键词元重新计算键值缓存；对关键词元的重新计算的键值缓存以及对非关键次元复用键值缓存组成混合键值缓存。本发明方法能够在几乎不降低模型精度的前提下，将键值缓存复用技术从精确匹配拓展至模糊语义匹配，有效削减不必要的计算开销，进而提升推理效率。

本发明授权一种基于模糊语义匹配的大语言模型键值缓存复用方法和系统在权利要求书中公布了：1.一种基于模糊语义匹配的大语言模型键值缓存复用方法，其特征在于，包括： 根据用户的历史推理请求中的词元生成键值缓存，并将多个词元聚集成词元块，通过词嵌入模型生成词元块的嵌入向量，以词元块为索引、嵌入向量为内容建立向量数据库； 计算新的推理请求的词元块的嵌入向量与向量数据库中历史嵌入向量的余弦相似度，若存在余弦相似度超过设定阈值的历史词元块，则通过哈希索引获取对应的键值缓存并复用； 在首个Transformer注意力计算层采用标准流程计算注意力分数，基于所述注意力分数将当前词元块中的多个词元区分为关键词元和非关键词元，具体来说：从当前词元块中挑选注意力分数最高的部分词元作为关键词元；在后续Transformer注意力计算层，对关键词元重新计算键值缓存；对关键词元的重新计算的键值缓存以及对非关键词元复用键值缓存组成混合键值缓存； 将所述混合键值缓存将被视为用户请求在预填充阶段生成的键值缓存，在解码阶段被持续用于新词元的预测，直至推理流程结束； 如果新的推理请求的词元块的嵌入向量与向量数据库中历史嵌入向量的余弦相似度，小于设定阈值，则按标准流程生成当前词元块的键值缓存，并将当前词元块及对应的嵌入向量更新至向量数据库。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。