大道至简！复旦×南洋理工提出SimpleVLN，用原生MLLM刷新导航SOTA
本文由赏金大对决整理发布：
设想这样一个场景：给机器人下达一句自然语言指令，让它穿过走廊、接连转弯，最终走进指定房间。
视觉语言导航（VLN），需要让机器人结合沿途看到的画面，把人类的语言指令转化为一连串连续行动。
现有多数 VLN 方法会引入专门的空间推理模块、图结构建模或分层决策系统来增强导航能力，但多模态大模型本身自带的导航潜力，究竟能不能被充分激活，还有待深入探索。
复旦大学与新加坡南洋理工大学团队开辟了新的研究思路：能不能不改动多模态大模型的核心结构，也不新增专门的导航模块，仅靠巧妙的决策设计与训练流程，充分发挥模型原生能力，完成导航任务？
论文标题：SimpleVLN: Towards Simple and Frontier Vision-Language Navigation With Native MLLMs 作者：Lingyi Hong, Weiren Cai, Jiayu Chen, Xinyu Zhou, Bailin He, Yunfei Guo, Qiao Sun, Xiang Liu, Boyu Ma, Jianfei Yang, Wenqiang Zhang 机构：复旦大学，新加坡南洋理工大学，联想研究院 论文链接：https://arxiv.
org/pdf/2610.
23203v1 项目主页：https://simplevln.
github.
io/ 代码仓库：https://github.
com/simplevln/SimpleVLN 图 1｜SimpleVLN 的研究问题与两项导航基准上的表现。
给机器人看什么，又该让它怎么走？
机器人转过一个弯后，眼前的画面可能已经与之前截然不同。
此时，它既需要判断自己当下的位置，还要结合之前看到的画面，规划后续行进路线。
不过历史画面并非存得越多越好：全部保存会不断拉长输入；
只保留最近几帧，又容易丢失早前的路线信息。
SimpleVLN 把每一次模型调用都当作一次独立决策，输入包含导航指令、当前画面以及筛选后的历史观测，不会持续累积过往对话与动作。
针对历史图像，团队采用全局 + 局部的组合策略：从早期观测里均匀采样，同时保留最新一帧画面。
消融实验证明，把所有历史图像全部输入并不会提升效果；
对全局历史做均匀采样反而效果更佳，继续增加局部帧也无法继续提高导航成功率。
图2｜历史帧和局部帧数对导航性能的影响。
由此可见，重点不在于输入多少历史图像，而是如何利用有限画面，保留关键路线信息。
在动作输出上，模型每次预测一段有序的基础动作，交由环境依次执行，称为动作块（Action Chunking）。
实验中，动作块将导航成功率从 45.
6% 提升到 53.
6%。
这说明，如何组织一次决策所使用的信息，以及一次推理所输出的动作，都会影响连续导航表现。
图 3｜SimpleVLN 根据导航指令、当前画面与选出的视觉历史，直接预测一组连续动作。
走偏了？
偏离的轨迹也能用于训练 监督微调（SFT）让模型从专家示范中学习导航动作。
但在真正执行任务时，机器人很容易走出和专家示范不一样的路线，遇到示范数据里没有见过的场景。
如果只学习固定的专家轨迹，很难覆盖这些意外情况。
SimpleVLN 通过 DAgger 算法，将模型策略产生的轨迹纳入训练数据构建过程。
研究团队根据策略轨迹与真实轨迹之间的偏离程度进行筛选：偏差较大时，使用专家轨迹做指导；
偏差较小时，则保留模型自身生成的轨迹。
随后，这些轨迹被转换为决策级监督样本，与原有专家示范合并，用于继续训练模型。
在结合 R2R、RxR 和 ScaleVLN 示范数据后，DAgger 让模型在 R2R-CE 数据集上成功率从 57.
9% 提升至 65.
4%，RxR-CE 上从 55.
3% 提升至 63.
4%。
训练数据不再局限于固定专家示范，纳入模型自身探索轨迹，大幅增强了模型的纠错能力。
表 1｜专家示范覆盖与 DAgger 数据的对照。
模型执行经验带来表中最大的成功率增幅。
让机器人实地交互，导航能力还能再上一层楼 SFT 和 DAgger 依靠动作监督信号训练模型，但这种方式有局限：哪怕模型走出了一条和专家完全不同、却能顺利抵达终点的路线，单纯比对单步动作是否匹配参考轨迹，无法评判决策好坏。
导航任务的核心目标，是能否完整走完任务、抵达终点。
一次转弯会改变后续视野，一整套动作共同决定机器人最终位置。
SimpleVLN 因此进一步引入强化学习 (RL)： 不再局限于教模型每一步应该怎么走，而是让模型在仿真环境中实际完成任务，再根据最终结果调整策略。
研究团队先构建全新导航任务：在导航场景中设置不同起点与目标房间，依托多模态模型，结合沿途转角、房间、标志性物体和第一视角画面，生成配套的自然语言导航指令。
在这些新任务中，模型通过动作块与环境持续交互，根据指令、当前画面
关注赏金大对决，掌握更多体坛动态。
