买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利一种基于最优策略回放的室内机器人视觉导航方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117268385B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310869868.4，技术领域涉及：G01C21/20；该发明授权一种基于最优策略回放的室内机器人视觉导航方法是由张艳宁;李信霆;张世周;路悦;党锴瑞;冉令燕;王鹏设计研发完成，并于2023-07-17向国家知识产权局提交的专利申请。

本一种基于最优策略回放的室内机器人视觉导航方法在说明书摘要公布了：本发明公开了一种基于最优策略回放的室内机器人视觉导航方法，分为on‑policy算法和off‑policy算法，通过在on‑policy中训练当前导航目标，在off‑policy中回顾旧导航目标来减少灾难性遗忘。该方法一个单特征提取网络和一个策略网络。策略网络的输入是状态特征提取网络的输出，即当前图像的高级特征图。整个网络的输出是两个函数：策略函数πa|s和价值函数Qs|a。整个训练过程分为两个阶段：on‑policy阶段和off‑policy阶段。在on‑policy阶段，代理通过与环境的交互学习新目标的策略，而在off‑policy阶段，代理使用存储在memory中的旧目标的最优经验来回顾已学习的策略，来防止灾难性遗忘。本发明度的利用了memory中的经验来学习旧导航目标的经验，可以最大限度的减少遗忘。

本发明授权一种基于最优策略回放的室内机器人视觉导航方法在权利要求书中公布了：1.一种基于最优策略回放的室内机器人视觉导航方法，其特征在于，包括如下步骤： 步骤1：虚拟环境准备： 在虚拟环境中一个导航任务包括一个场景S、一个初始点p和一个导航目标o；智能体的目标是在给定的步数内从初始位置在3D环境中找到导航目标o；智能体的动作空间限定为六种动作，分别是：前进、左转、右转、向下看、向上看和完成； 在每一步中，机器人从场景中接收到一个当前摄像头的图片，通过以下两种方式之一行动：1、选择一个动作并相应地移动，或者2、选择完成动作终止任务；从任务开始到结束的所有步骤的集合称为一次轨迹；如果同时满足以下四个条件，任务被视为成功：1、机器人选择完成动作；2、机器人距离给定的目标物体不超过1米；3、目标物体在机器人的视野范围内；4、机器人没有超过最大步数限制； 设置了多个导航目标，在训练时，每个导航目标训练1百万个轨迹，训练顺序为上述导航目标的顺序； 步骤2：机器人视觉导航； 步骤2-1：on-policy学习； 在on-policy阶段，目标是训练智能体学习当前目标的最优策略；当学习一个新的导航目标策略时，智能体直接与环境进行交互，策略梯度由以下公式给出： 1 其中，是神经网络的参数，是当前的策略，是对动作价值函数的估计，是对价值函数的估计，k是动作的数量，是轨迹的总步数，是在时刻下智能体选择的动作，是在时刻下智能体所在的状态； 步骤2-2：off-policy学习 在off-policy阶段，在一个导航目标的训练轨迹数达到最大值时收集经验；存储在Memory中的轨迹被表示为，，其中T是轨迹的总步数，m是Memory大小；Memory的表达式如下： 2 其中，是在时刻下智能体获得的奖励，是在时刻下智能体的策略，是在时刻下智能体的Q函数； 从Memory中保存策略的角度，Memory中保存的策略是： 3 其中，表示的最优策略； 步骤3：off-policy策略阶段在策略学习阶段结束后多次进行；使用Retrace去估计并使用偏差校正的截断重要性采样来减小off-policy分布漂移的方差；其中的公式如下： 4 off-policy的优化目标如下： 5 其中，是截断的重要性权重，，其中是常数，是策略的期望，是折扣因子； 在上述优化目标的基础上，进一步用KL和L2损失进行约束以减少目标策略与行为策略之间的差异。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。