买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉黎明职业大学申请的专利一种基于多模态感知的APP自动化测试方法及Agent系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120086109B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510563714.1，技术领域涉及：G06F11/36；该发明授权一种基于多模态感知的APP自动化测试方法及Agent系统是由吴迪设计研发完成，并于2025-04-30向国家知识产权局提交的专利申请。

本一种基于多模态感知的APP自动化测试方法及Agent系统在说明书摘要公布了：本发明公开了一种基于多模态感知的APP自动化测试方法及Agent系统，涉及图像识别或理解领域，方法包括以下步骤：实时感知层对APP的屏幕界面实时截图；当界面变化时，分三路处理截图：检测控件边界框；对界面元素进行视觉语义编码；同步提取文本内容，生成功能标签。融合三路输出结果，构建UI树。输入任务指令时，动态推理层通过神经‑符号协同机制根据任务指令和UI树生成动作序列，更新动态文档，并保存到实时知识库。执行优化层将动作序列的动作转换为平台专属的操作代码，并执行操作代码，同时自动标注异常路径，并更新规避策略至实时知识库。本发明通过三级架构实现实时感知‑动态推理‑执行闭环，显著提升泛化能力、异常覆盖和执行效率。

本发明授权一种基于多模态感知的APP自动化测试方法及Agent系统在权利要求书中公布了：1.一种基于多模态感知的APP自动化测试方法，其特征在于：包括以下步骤： 步骤S1：启动并连接被测的APP，同时因果链学习器根据动态知识库完成初始化； 步骤S2：实时感知层对APP的屏幕界面实时截图； 步骤S3：利用截图进行动态响应检测； 步骤S4：通过动态响应检测，发现界面变化时，分三路进行处理截图：由YOLOv5模型进行控件边界框检测；由CLIP模型对界面元素进行视觉语义编码；由OCR模块同步提取文本内容，生成功能标签； 步骤S5：融合三路输出结果，构建包含层级拓扑关系的UI树，并将UI树传递给动态推理层；该UI树的格式为XML或者JSON格式； 步骤S6：当动态推理层接收到任务指令时，动态推理层通过神经-符号协同机制，解析任务指令，并结合UI树，生成动作序列，再对动作序列进行符号系统校验和权限状态检查； 步骤S7：将动作序列更新到动态文档，并保存到实时知识库，同时将动作序列传递给执行优化层； 步骤S8：执行优化层将动作序列的动作转换为平台专属的操作代码；执行操作代码，并将操作路径和操作结果存储于多模态记忆池；在符号系统校验失败或者操作结果错误时，自动标注异常路径，触发路径回滚，反馈至因果链学习器，同时更新规避策略至实时知识库； 步骤S9：重复步骤S3-S8，直至完成当前任务指令。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人黎明职业大学，其通讯地址为：362000 福建省泉州市丰泽区通港西街298号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。