视觉拓扑路径知识引导的VLA导航决策与推理

1．项目的立项依据

1.1 研究意义

导航是人形机器人在办公、公共服务、巡检和救援等开放环境中完成后续操作的基础。传统导航通常依赖高精度定位、稠密建图和预设目标坐标，难以直接处理“经过前台后到右侧会议室”或“找到与目标图像相同的房间”等包含语义、顺序和视觉线索的任务。视觉拓扑记忆以机器人历史行走的关键帧为节点、真实可通行关系为边，能够在不依赖全局精确坐标的条件下保存“场景是什么、从哪里可以到哪里”的路径经验；VLA模型则具有多模态理解、任务分解和行动推理能力。将二者结合，可把历史视觉经验转化为面向当前任务的路径知识，使机器人依据语言、目标图像和连续观察进行长程决策、解释与纠偏，是实现弱定位条件下可靠具身导航的重要途径。

1.2 国内外研究现状及发展动态

相关研究总体沿着“视觉拓扑导航—拓扑化视觉语言导航—多模态大模型导航”演进。SPTM、ViNG利用视觉节点检索、可达性学习和图搜索实现目标图像驱动的长程导航，GNM、ViNT、NoMaD进一步通过多机器人数据和生成式策略提升跨环境泛化能力[1-5]，但主要处理目标图像或探索任务，开放语言理解较弱。Topological Planning和DUET把语言指令与拓扑图结合，验证了显式节点、边和全局路径对长程规划、局部对齐及错误回退的价值[6-7]，但多依赖仿真预定义视点和专用任务训练。NavGPT、NaVid等开始利用大模型或视频VLM进行地标理解、进度跟踪和动作预测[8-9]；Mobility VLA把长上下文VLM与真实拓扑导航结合，TagaVLM进一步将拓扑边关系显式注入VLM，表明结构化空间知识能够改善全局动作推理[10-11]。当前发展趋势是由单帧反应式决策转向显式记忆支撑的长程推演，由单一目标形式转向语言和图像统一驱动，由一次性计划转向执行反馈下的闭环更新。现有方法仍缺少从大规模历史记忆中提取任务相关子图的统一机制，也未充分解决视觉证据、拓扑可达性、语义解释和连续航点之间的一致性，以及真实执行扰动下何时局部修正、何时全局重推理的问题。本研究据此聚焦视觉拓扑记忆与VLA之间的路径知识接口和闭环推理，不涉及内容1的拓扑建图，也不涉及内容3的足步规划与全身控制。

1.3 主要参考文献

[1] Savinov N, Dosovitskiy A, Koltun V. Semi-parametric Topological Memory for Navigation. ICLR, 2018.

[2] Eysenbach B, Shah D, Kahn G, et al. ViNG: Learning Open-World Navigation with Visual Goals. ICRA, 2021.

[3] Shah D, Sridhar A, Bhorkar A, et al. GNM: A General Navigation Model to Drive Any Robot. ICRA, 2023.

[4] Shah D, Osiński B, Levine S. ViNT: A Foundation Model for Visual Navigation. CoRL, 2023.

[5] Sridhar A, Shah D, Glossop C, Levine S. NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration. ICRA, 2024.

[6] Chen K, Chen J K, Chuang J, et al. Topological Planning with Transformers for Vision-and-Language Navigation. CVPR, 2021.

[7] Chen S, Guhur P L, Tapaswi M, et al. Think Global, Act Local: Dual-Scale Graph Transformer for Vision-and-Language Navigation. CVPR, 2022.

[8] Zhou G, Hong Y, Wu Q. NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models. AAAI, 2024.

[9] Zhang J, Wang K, Xu R, et al. NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation. RSS, 2024.

[10] Xu Z, Chiang H T L, Fu Z, et al. Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs. CoRL, 2024.

[11] Liu J, Zhang Z, Li X, et al. TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation. arXiv:2603.02972, 2026.

2．项目的研究内容、研究目标，以及拟解决的关键科学问题

2.1 主要研究内容

（1）面向语言与目标图像任务的路径知识检索与结构化表达

研究异构导航任务在视觉拓扑记忆中的统一定位方法。对语言指令提取目标属性、语义地标、访问顺序、方向和禁止约束，对目标图像提取场景外观与对象语义；结合当前第一视角RGB图像，同时检索当前位置候选和目标候选，并利用节点邻接、历史转移和任务约束进行图一致性重排序。在候选起终点之间生成若干可达路径，保留主路径、关键分支、回退节点和高辨识度地标，形成紧凑的任务相关子图。

研究拓扑结构保持的路径知识Prompt。为节点组织关键帧、语义标签、历史访问和当前位置置信度，为边组织可通行性、相对方向、经验距离与可靠性，为路径组织节点顺序、指令片段对应关系和备选分支；采用“节点关键帧—节点属性—邻接边—路径位置”交错编码，将可读结构与视觉证据共同输入VLA。通过上下文预算控制和分层图像压缩，避免输入完整历史图造成冗余，同时防止纯文本化丢失细粒度视觉信息。

（2）路径知识引导的VLA推理及轨迹—航点—依据联合生成

将当前RGB、任务条件和路径知识Prompt输入VLA，使模型联合判断当前节点、任务进度、尚未满足的指令片段和下一关键场景，并在候选子图上比较不同路径。通过节点/边标识、路径位置编码和拓扑注意力，使模型显式利用邻接、方向、分支和可达关系，而非仅依靠关键帧相似度进行反应式选择。

研究受约束的结构化输出：在候选节点空间生成全局节点轨迹，在当前节点局部坐标系生成平台无关的相对中间航点，同时输出停止条件、置信度及证据引用式Reasoning。Reasoning仅引用实际输入的节点关键帧、语义地标、边关系和任务约束，并与节点选择和航点方向共同接受一致性校验；对不存在的边、遗漏必经地标或方向冲突的结果进行屏蔽或重新解码，使“为何这样走”与“实际走哪里”相互可验证。节点轨迹和相对航点交由内容3完成局部可行性检查、足步规划和运动控制。

（3）连续观察与执行反馈驱动的偏航判断和闭环重推理

维护包含当前位置候选、已完成指令片段、预期下一地标和路径置信度的导航信念状态。机器人执行后，融合连续RGB与计划节点的视觉一致性、地标出现顺序、边推进状态，以及内容3返回的航点完成、阻塞和超时信息，区分局部几何偏差、错误拓扑分支、历史边失效和高层语义计划错误。

根据偏航程度采用分级恢复：轻微偏差时保持节点路径并更新短程航点；转移失败时在任务子图内切换分支或回退至最近可信节点；路径知识失效或任务理解错误时重新检索起终点及子图，触发VLA全局重推理。采用多帧一致性、置信度滞回和事件触发策略抑制频繁重规划；当VLA超时或输出不合法时，机器人沿最近验证路径停止或回退，从而实现可解释、可退化的闭环导航。

2.2 研究目标

建立视觉拓扑路径知识引导的多任务VLA导航决策与推理方法：在不以高精度全局定位和稠密地图作为高层决策必要输入的条件下，实现语言指令、目标图像等任务在视觉拓扑记忆中的统一检索，生成语义正确、拓扑可达的平台无关节点轨迹、中间航点和可核验推理依据，并依据连续视觉和机器人执行反馈完成偏航判断与轨迹更新。该研究直接支撑项目“重推理导航成功率不低于90%”和“实际执行轨迹与指令语义轨迹匹配度不低于90%”的总体指标，并向内容3提供节点轨迹、相对航点、停止条件和决策置信度。

2.3 拟解决的关键科学问题

（1）异构任务知识如何在视觉拓扑空间中统一表达并被VLA有效推演

语言描述的是对象、关系、顺序和动作约束，目标图像提供的是外观与隐含场景位置，当前视觉还受到视角、光照和遮挡影响；拓扑记忆则以离散节点和真实可通行边表达空间。如何把上述异构信息统一落到任务相关节点、地标和路径约束，并在保留视觉证据的同时将邻接、方向、分支和可达性注入VLA，是路径推理成立的基础。本研究将揭示跨模态相似性、任务语义和图结构约束在起终点检索及全局路径推演中的互补作用。

（2）部分可观测和执行扰动下如何保持语义推理、拓扑轨迹与实际行动的一致性

VLA可能生成语言合理但拓扑不可达的路径，也可能因短时遮挡、错过转向或环境变化误判导航进度。如何使Reasoning引用的视觉与拓扑证据、生成的节点轨迹、局部航点和真实执行结果保持一致，并从连续反馈中区分局部偏差、边失效和高层计划错误，进而选择适当的重推理尺度，是可靠闭环导航的关键。本研究将探索受约束联合生成、节点级信念更新和事件触发分级恢复之间的作用机制。

3．拟采取的研究方案及可行性分析

3.1 研究方法与技术路线

采用“任务条件检索增强—图结构多模态建模—受约束联合生成—执行反馈闭环”的方法。技术路线为：解析语言或目标图像任务，利用当前RGB和任务目标进行起终点双端检索；在视觉拓扑图上完成多约束路径搜索和任务子图压缩；构造图文交错路径知识Prompt，由图感知VLA生成节点轨迹、相对航点、Reasoning和置信度；经内容3检查与执行后，根据连续视觉和执行反馈更新导航信念，按偏航类型进行航点修正、分支切换或全局重推理。图搜索负责保证拓扑可达，VLA负责语义理解和高层推演，内容3负责高频安全运动，形成职责清晰的分层系统。

3.2 实验手段与关键技术

采用仿真规模化测试、真实轨迹离线回放和人形机器人在线闭环三级实验。任务覆盖语言路线指令、语言目标搜索、目标图像导航及混合任务，并注入起点混淆、错过转向、边阻塞、地标遮挡和航点执行失败等异常。对比视觉目标导航、拓扑VLN、视频VLM和VLA导航方法；消融比较无路径知识、纯文本路径、图文Prompt及拓扑注意力，以及固定计划与分级重推理。除项目总体指标外，评价目标节点召回、路径拓扑合法、航点可行、偏航检出与恢复、Reasoning证据正确和在线延迟。关键技术包括跨模态双编码召回与图一致性重排、任务子图压缩、拓扑结构注入、候选节点约束解码、证据引用式Reasoning以及事件触发的节点信念更新。

3.3 可行性分析

SPTM、ViNG已验证视觉拓扑图在无全局度量地图条件下的检索和长程规划能力，Topological Planning、DUET证明语言可与拓扑图结合生成全局路径，Mobility VLA和TagaVLM进一步验证多模态模型与拓扑知识结合的有效性。本研究在这些基础上重点解决任务相关知识接口、联合生成和闭环纠偏，技术基础明确。内容1形成的关键帧、可通行边和历史路径可自动产生检索、路径及偏航训练样本；现有开源VLM支持多图输入与参数高效微调。系统与相邻内容接口清晰，并可退化为“图搜索＋视觉目标导航”基线，便于分阶段训练、集成和安全验证。

4．本项目的特色与创新之处

4.1 视觉拓扑路径知识约束的可核验VLA闭环导航

本研究的创新在于建立从历史视觉拓扑记忆到VLA闭环决策的统一路径知识机制：面向语言和目标图像任务，仅检索与当前位置及目标相关的紧凑子图，以图文交错Prompt同时保留节点视觉证据和真实可通行约束；在候选图空间内联合生成节点轨迹、相对航点与证据引用式Reasoning，使语义解释、拓扑可达性和实际行动能够相互校验；再利用连续视觉和执行反馈维护导航信念，按局部航点修正、子图内切换和全局重检索三级尺度进行事件触发重推理。相较于单纯输入历史图像、纯文本路线或一次性VLA动作预测，该方法兼顾长程语义推演、结构约束、真实执行适应性和输出可审计性，为弱定位条件下可靠人形机器人导航提供新的高层决策范式。