多模态大模型驱动的生成式导航与推理研究

研究对象：从“听懂并走到”到“想象、判断并行动”

视觉语言导航（VLN）最初被定义为：智能体在陌生真实室内场景中，根据自然语言路线指令和第一人称视觉选择离散视点，最终停在目标附近。R2R 把问题标准化后，研究重点长期集中在语言—视觉对齐、路径历史编码与未见场景泛化。ObjectNav 则通常只给目标类别或描述，智能体必须主动探索；开放词汇版本进一步要求识别训练类别之外的对象。两者共享部分技术，却不能简单互换：VLN 的指令往往隐含路线监督，ObjectNav 更依赖常识、空间先验和探索。

多模态大模型进入之后，输入扩展为文字、目标图像、示范视频、历史观察和地图，输出也从离散视点扩展为子目标、拓扑节点、二维 waypoint、连续控制乃至未来视频。本文将“生成式导航与推理”定义为：模型显式生成一种尚未发生的中间未来——文本计划、目标视图、未来观察序列或状态转移——再通过评分、逆动力学或低层策略将其转成行动。

这个定义刻意区分三件事。第一，VLM 生成一句“去厨房找冰箱”只是语义规划；第二，VLA 直接回归动作属于条件生成策略，但未必拥有可查询的世界模型；第三，生成未来视图并允许对多条未来进行比较，才真正提供了反事实规划接口。研究问题因此不只是模型能否到达，而是它在何种表示中维护世界、预测动作后果，以及错误发生后如何闭环修正。

技术谱系：四次接口迁移

第一阶段以 R2R、Habitat 和 DD-PPO 为代表。任务、仿真平台和评价指标被标准化，导航被拆为感知、策略和执行。DD-PPO 证明在 PointGoal 上，足够规模的交互训练可以获得极强低层导航能力。这一遗产今天仍然重要：ImagineNav、SysNav 等大模型系统并没有抛弃成熟局部导航，而是把它作为执行器。

第二阶段是开放词汇语义进入地图。LM-Nav 将 GPT-3、CLIP 和视觉导航模型模块化组合，在不使用语言标注机器人轨迹的情况下完成真实室外长程导航；VLMaps 则把视觉语言特征融合进三维地图，使自然语言直接索引位置。它们确立了一个至今仍有效的原则：大模型不必接管控制，只需把开放世界语义转换成导航栈可以消费的目标。

第三阶段是大模型直接承担历史推理和动作选择。NavGPT 用文本化观察展示 LLM 的指令分解、进度跟踪和异常重规划，但其零样本 R2R 性能落后于监督模型，也暴露了视觉翻译损失和推理成本。NaVid 改用视频 VLM 直接编码在线 RGB 历史，以离散动作 token 进行端到端导航；Mobility VLA 则保持层级结构，让长上下文 VLM 在示范视频中找目标帧，再由拓扑图策略执行。

第四阶段将“未来”变成可生成对象。ImagineNav 生成候选未来视图，让 VLM 选择最有价值的观察方向；Navigation World Models 学习动作条件未来视频并在想象空间规划；NavDreamer 更进一步，把通用生成视频模型作为语言到轨迹的接口，通过多候选采样、VLM 评分和逆动力学解码 waypoint。研究重心由“如何理解当前观察”转向“如何提出并验证未来”。

• 接口迁移一：坐标目标 → 语言目标。
• 接口迁移二：封闭类别 → 开放词汇语义地图。
• 接口迁移三：单帧反应 → 长历史多模态推理。
• 接口迁移四：直接动作 → 可评价的生成式未来。

统一架构：语义推理、状态记忆、未来生成与安全执行

这些看似不同的方法可以放进一个四模块框架。语义推理器把自由形式指令转换为目标约束，例如类别、属性、空间关系、路线地标或“物品应该归还到哪里”这类常识目标。状态记忆器压缩历史，包括纯文本轨迹、视频 token、对象中心三维图、拓扑图或世界坐标中的带不确定性 cue。未来生成器提出下一视点、子目标、轨迹或视频。执行器把高层结果转成避障与动力学可行的动作，并将新观察反馈给前面三层。

NavGPT 几乎把前三项都塞进语言上下文，优点是可解释，缺点是视觉被描述压缩、上下文会混入陈旧信息。NaVid 以视频 token 保留时序视觉，但其消融显示直接预测连续位置和朝向非常困难，离散导航动作明显更容易学习。Mobility VLA 选择“目标帧”作为接口：VLM 不预测控制，只在长示范视频里完成跨模态检索；低层图导航负责鲁棒执行。

SysNav 展示了真实部署中更保守也更有效的设计。它将建筑级环境总结为结构化场景表示，只在房间级决策中调用 VLM，局部探索和运动控制保持模块化，并为轮式、四足和人形平台更换不同底层。TARIC 则把间歇语义线索提升到世界坐标三维记忆，通过粒子式不确定性读出和实时可通行性约束维持可执行方向。这些工作共同说明：长期可靠性来自显式状态与决策稀疏化，而不是每一步都请求更大的模型。

生成视频路线增加了一个新的“想象—评价”回路。ImagineNav 先由 Where2Imagine 生成少量符合人类导航习惯的候选视角，再请 VLM 选择；NavDreamer 对随机视频生成进行多次采样，以 VLM 评价语义符合度，再用逆动力学把选中视频变成 waypoint。这类似模型预测控制，但预测对象从低维状态变成高维视觉，代价函数也由手工几何扩展为多模态语义评分。

世界如何被表示：文本、地图、视频与混合记忆

文本记忆压缩率最高，适合保存地标、已完成子目标和失败原因，但会丢失遮挡、尺度、精确方位和自由空间。NavGPT 能产生连贯的显式推理链，却依赖图像描述器和检测器；当描述遗漏关键地标时，后续推理即使逻辑正确也会建立在错误事实之上。文本推理还容易把“语言上合理”误当成“几何上可达”。

结构化空间记忆将语义绑定到几何。VLMaps 存储稠密视觉语言特征，VLN-Game 使用对象中心三维地图并以博弈式匹配从候选目标中寻求一致选择，SysNav 使用房间—物体层次场景图，TARIC 则只维护任务相关的三维 cue belief。结构越强，控制接口越清晰，但对深度、位姿、分割和建图误差越敏感；同时，预先建图或示范 tour 也构成额外先验，不能与纯在线无地图方法直接比较。

视频记忆保留外观与时间，却面临 token 数量和长程遗忘。NaVid 采用区分历史与当前观察的特殊 token，并用指令查询压缩每帧内容；其消融表明共同训练数据、非 oracle 导航数据以及历史/观察标识都显著影响性能。Mobility VLA 借助长上下文模型一次读入示范 tour，但真实部署仍通过拓扑图避免让模型承担每步几何控制。

生成式视频把记忆与预测统一到像素空间：模型可以呈现“向左走后会看到什么”，也能携带对象外观、遮挡和运动。然而像素是冗余且欠约束的状态。Navigation World Models 报告在未知环境中会出现模式坍缩；NavDreamer 必须通过采样和外部 VLM 评分抑制随机性。这说明未来研究需要混合表示：视频负责提出丰富假设，深度、位姿、占据和可达性头负责验证物理一致性，语义图负责长程持久记忆。

数据与训练：互联网语义、机器人轨迹和自生成经验如何汇合

VLA 的基本优势来自两类数据互补：互联网视觉语言数据提供开放世界语义，机器人轨迹提供动作 grounding。RT-2 将机器人动作离散成文本 token，与视觉问答等 Web 任务共同微调；OpenVLA 在约 97 万条真实机器人轨迹上训练开放模型；π₀ 在预训练 VLM 上增加 flow-matching 动作专家，以连续 action chunk 表达高频灵巧控制。这些工作主要针对操作，但为导航提出了同样的问题：语义知识如何在不破坏动力学能力的情况下进入策略。

导航数据比操作数据更容易从视频和仿真扩展，却有另一种稀缺：动作、相机运动、地图坐标与语言指令经常不对齐。R2R 提供高质量路线语言但场景有限；Habitat 可以产生海量交互却存在视觉和动力学域差距；真实互联网行走视频规模巨大但缺少可执行动作标注。NaVid 采用多源共同训练并加入 DAgger 式非 oracle 轨迹，说明只用专家路径会导致错误恢复能力不足。

视频世界模型试图绕开动作标注瓶颈：先从视频学习视觉动态，再通过少量逆动力学数据恢复动作。其成立条件是视频中相机运动和物体变化足以识别行动，并且生成模型没有把不可控变化混入计划。对于导航，这个条件比精细操作更有利，因为高层决策主要决定视角和路线；NavDreamer 的消融也据此主张导航比低层控制更适合视频计划。但从生成视图到机器人轨迹仍需要平台标定、时间尺度对齐和碰撞约束。

更具潜力的数据闭环是：生成模型提出多条未来，几何/安全模型过滤，真实或仿真执行返回结果，再把失败片段加入世界模型和评分器。这样训练目标不再是单纯降低像素误差，而是提高“候选集中至少存在一条可执行且任务正确轨迹”的概率，并校准评分器能否选中它。

实验证据：目前已经证明了什么

端到端视频 VLM 已显示明显的跨域潜力。NaVid 在四类真实环境、每类简单和复杂指令各 25 次的测试中，简单指令成功率为 76%—92%，复杂指令为 40%—56%；地图式基线 WS-MGMap 在相同设置下分别约为 44%—60% 和 12%—32%。但其 VLN-CE R2R val-unseen 的 SR 为 37.4、SPL 为 35.9，说明真实演示中的优势不能被理解为所有标准基准上的统治。

长上下文与层级执行能解决更自然的多模态指令。Mobility VLA 在 836 平方米真实办公室和类家庭环境中，以示范 tour、当前图像和语言共同确定目标，报告两组任务 86% 与 90% 的成功率，相对基线提高 26 与 60 个百分点。这里的关键不是 VLM 输出连续动作，而是它在长视频里选对目标帧，拓扑策略承担后续导航。

想象式导航的收益已在开放词汇 ObjectNav 中出现。ImagineNav 把文本规划改为候选未来视图选择，在两个主要基准上相对强基线分别提高约 15.1 和 10 个成功率百分点。Navigation World Models 证明动作条件视频可以进行约束规划和未知环境泛化，但作者同时展示未知环境中的模式坍缩失败。这些结果支持“视觉想象有用”，尚不足以证明通用视频模型已获得可靠物理世界模型。

真实系统结果更支持分层路线。SysNav 在 HM3D-v1/v2、MP3D 和 HM3D-OVON 上报告 SR 63.7/80.8/50.7/54.9；在 112 次轮式机器人定量实验中，不同难度的 SR 为 97.5%—100%，并通过额外实验展示四足和人形迁移。TARIC 面向 600—1000 米室外路线，在 40 次真实实验中达到 40% SR，而最强对比 GPT-4o-GeNie 为 17.5%；结果不算“解决”，却揭示了语义线索中断和可通行性耦合是长程部署的实质瓶颈。

这些数字不能横向排榜。SysNav 使用结构化场景表示和模块化探索，Mobility VLA拥有事先录制 tour，NaVid直接根据在线视频执行指令，TARIC面对数百米室外路线，成功定义、动作空间和先验完全不同。可信报告必须同时给出 SR、SPL/路径效率、碰撞或安全、平均决策延迟、地图/tour先验、是否使用在线闭源模型及真实试验次数。

关键瓶颈与容易被忽略的负结果

第一，空间推理仍是 VLM 的结构性短板。SpatialVLM 需要在 1000 万张图像上自动生成约 20 亿个空间 VQA 样本，才能显著改善定量距离、大小和几何关系判断。这说明互联网图文预训练产生的常识并不会自动变成度量空间能力。单目尺度、遮挡后的持续存在和视角变换仍需专门监督或外部几何模块。

第二，生成质量和控制质量不是同一个目标。视频模型偏好视觉连贯与高概率场景，导航需要的是低概率但可到达、避障且满足指令的未来。模型可能生成一条语义正确却穿墙的路线，也可能因为训练分布偏好而反复生成相似未来。仅报告 FVD、PSNR 或人类偏好无法预测闭环成功。

第三，逆动力学不是无损接口。同一视觉变化可能由不同动作产生，相机防抖、帧率变化和机器人动力学会造成不可辨识。生成视频只给结果，不保证中间控制满足速度、加速度和稳定性约束。跨具身时，应该共享语义子目标和 waypoint 分布，而不是假设视觉轨迹可以直接迁移为各平台动作。

第四，长历史既提供信息也累积错误。文本记忆会固化幻觉，视频上下文会消耗 token，语义地图会把错误检测写入持久状态。TARIC 的价值在于显式维护 cue uncertainty；类似思想应扩展到对象身份、房间关系和生成未来，使系统知道何时遗忘、何时重新观测。

第五，推理延迟与在线依赖经常被隐藏。TARIC 的部署比较显示本地 Qwen3-VL 可通行性推断约 2 秒，在线 GPT-4o/Gemini 超过 5 秒；这远低于低层控制频率。合理系统必须异步运行大模型、缓存语义结论，并设置超时后的安全退化策略。

• 幻觉：错误对象、错误房间常识或虚构可见性。
• 模式坍缩：候选未来缺乏覆盖，采样多次仍得到同一路线。
• 几何漂移：生成视角与真实位姿无法对齐。
• 陈旧记忆：线索消失或环境变化后仍坚持旧目标方向。
• 不可执行：逆动力学输出碰撞、超限或平台不适用动作。
• 评测泄漏：预建地图、示范 tour 或闭源模型先验未被公平计入。

下一步：从会想象走向可信的闭环推理

近期最值得研究的不是更长的视频，而是“可验证的想象”。世界模型每次应输出候选未来、位姿/深度或占据预测以及置信度；独立可达性模型执行快速否决，VLM只比较剩余候选的任务价值。这样可以把语义失败、生成失败、几何失败和执行失败分开归因。

第二条主线是自适应双系统。大多数时刻由轻量视觉导航策略快速行动；当目标歧义增大、记忆不确定性上升、预测候选分歧或局部策略停滞时，才触发慢速 VLM/世界模型推理。研究贡献可以落在触发准则、计算预算分配以及错误恢复，而不必重新训练整个基础模型。

第三条主线是跨具身世界模型。共享层应预测对象关系、可通行区域和平台无关 waypoint；平台层学习轮式、足式或飞行器的可达集合与逆动力学。SysNav 已证明模块化接口有利于跨平台，NavDreamer 提供了视频计划接口，两者结合比直接训练统一低层 VLA 更可控。

第四条主线是动态和社会环境。现有世界模型导航多聚焦静态室内场景，而真实环境中的人、门、电梯和临时障碍要求预测多主体未来，并在不确定性下持续重规划。评测应从一次成功扩展到风险、干预次数、恢复时间和长期记忆污染。

最终目标不是让模型在内部生成一段看似合理的视频，而是建立可以被观测证伪的信念：我认为向左后将看到门，置信度是多少；如果没有看到，哪一部分状态需要更新；继续探索的预期信息增益是否高于返回已知区域。生成模型只有进入这种闭环，才真正成为导航推理系统的一部分。

代表方法的系统接口比较