这周的论文速递我拖到周四才写。每年到11月底Robotics、Embodied AI、LLM这几个标签下都会冒出一批赶在年底前挂出来的工作2025年第48周11月23日至29日尤其明显。我按关键词扫了三天的更新筛掉纯刷榜的、只改prompt的剩下22篇值得细看。这些论文大多不是颠覆式突破但有几个共同点大家开始把大模型放下神坛认真处理真机部署中的脏活累活仿真数据和真实数据的关系也被重新讨论评估重心明显从“能不能完成任务”转向“能不能稳定、低成本地完成长程任务”。如果你正在做机器人毕设、找具身智能方向的研究切入点或者在公司里做机器人落地方案选型这期内容应该能帮你省下不少扫arXiv的时间。1. 本周论文全景Robotics/Embodied AI/LLM到底在热什么1.1 选题分布大家不约而同在做同一件事我把这一周值得看的22篇论文粗分了一下分布大概是这样方向数量我比较关注的点灵巧操作与抓取6从端到端学习回到“先验引导闭环微调”仿真到现实迁移Sim2Real5动态随机化、基础模型辅助域适应世界模型与规划3不再预测像素改预测隐状态视觉-语言-动作模型VLA4动作分块、推理开销、实时性LLM做任务规划与错误恢复4记忆模块、反馈闭环、工具调用整体看下来纯端到端“图像进、动作出”的论文少了更多工作开始把系统拆成几段感知用开放词汇模型规划用LLM底层控制用扩散策略或者强化学习策略再用一个轻量级的闭环模块兜底。这个转变背后其实是工程逻辑端到端模型在实验室里好看但一旦换相机、换光照、换桌面纹理性能掉得让人怀疑人生。分段式架构虽然不酷但每个模块都更容易单独调试、单独部署、单独更换出问题时也能快速定位。还有一个明显信号是评估基准的变化。以前大家喜欢在单一任务上刷成功率这周好几篇工作直接上长程任务打开抽屉、拿起螺丝刀、拧螺丝、再把工具放回工具箱中间还要处理工具掉落、目标被遮挡这类意外。长程任务一上原来很多“伪鲁棒”的方案立刻现原形。1.2 三个不能忽视的行业信号信号一大模型开始进控制环而不是只当调度器。前两年常见的做法是LLM根据指令生成一组子任务然后调底层写死的技能库技能执行完再把结果返回给LLM。这周好几篇工作把这个结构往前推了一步LLM或VLM不再满足于“指挥”而是直接输出可供底层执行的动作参数比如末端目标位置、夹爪张开宽度、力控阈值。这意味着对模型输出格式的要求从“一段自然语言”变成“严格结构化的动作参数”反而逼着大家去规范数据接口和推理格式。我的感觉是这一步比模型参数变大更能推动落地。信号二合成数据从辅助变成主角。以前仿真数据只是预训练用真机数据才是“黄金”。但这周有几个工作直接用纯合成数据训练抓取策略再靠一个基础模型做域适应真实环境成功率能做到和真机数据训练差不多。原因是现在域随机化做得越来越精细纹理、光照、相机内外参、物体物理属性全部随机策略被迫学到更本质的几何线索而不是颜色和纹理这类表面特征。合成数据的成本比真机采数据低一个数量级这对学校实验室和小团队来说是个好消息。信号三长程任务评估开始考察“错误恢复能力”。单纯的成功率指标已经不够看了。这周多篇论文引入“干预次数”“人类纠正反馈后的再学习能力”“失败后重试是否还保有已完成子任务进度”等指标。这个变化非常实在真实机器人不可能一次成功能不能从失败中恢复往往决定了项目能不能从demo走向产品。2. 具身智能与机器人操作几个值得细读的工作2.1 灵巧操作中的“先验微调”玩法抓取不再靠纯学习这周在灵巧操作方向让我眼前一亮的是一个“先验引导抓取”的工作。它不直接让神经网络从原始点云回归一个抓取姿态而是先用一个轻量级先验网络从点云里提出几十个候选抓取位姿再由一个闭环策略根据当前深度图和力觉信号从中挑选并微调。结构和很多物体检测里的“区域提议精修”很像好处是抓取成功率的方差明显变小。为什么做端到端抓取的人现在开始回头用“先验微调”因为纯端到端的网络在仿真里可以做到95%以上成功率但拿到真实环境里经常会出现一种诡异现象训练时见过的物体形状能抓稍微换个角度、换个背景抓取姿态就开始乱飘。先验网络等于给策略划了一个“操作空间”策略只在一个相对靠谱的局部区域里做微调泛化边界清晰很多。真机部署时光这一点就能省掉大量调试时间。我印象比较深的是他们实验里的一个细节在先验网络给出的候选位姿中哪怕排名第30的位姿经过闭环微调后也能达到不错成功率。这说明灵巧操作的瓶颈未必是“生成位姿”本身而是“验证与修正”这一步不够稳。这给做抓取的同学一个很实际的启发别再死磕端到端一个大模型你不如把“提议-评估-微调”拆成三个小模型各自调稳整体效果会好很多。2.2 仿真到现实迁移动态随机化为什么会成为刚需Sim2Real方向这周没有让人眼一亮的“划时代工作”但有几篇工程做得非常扎实。它们不约而同用了同一个套路在GPU仿真器里做大规模域随机化再用视觉基础模型提取语义特征最后让策略在“语义特征空间”里学习。这个套路值得展开说一下。传统域随机化是把颜色、光照、纹理全部随机期望策略学到跟颜色无关的几何特征。但纯几何特征对语义理解不够比如“打开一个有把手的抽屉”模型需要先知道哪个区域是把手。如果直接用原始RGB训练换一个没见过的柜子就废。把视觉基础模型比如开放词汇分割模型拿到仿真图片上做离线标注相当于给仿真数据自动加了一层“语义标签”策略学习的是“把手位置、抽屉滑动方向、末端接近角度”这些抽象信息真机上自然更稳。我实测过类似方案最大的坑是标注速度。开放词汇分割模型在单张图上的推理时间是毫秒级但一整个仿真数据集几十万张图累计起来非常可观。好在这几篇工作都把标注过程做成离线流水线先把训练数据全部预处理完再进策略训练。这也提醒我们做好仿真资产库的标准化比临时抱佛脚写脚本重要得多。2.3 世界模型预测隐状态而不是预测下一帧图像世界模型不是新概念但过去两年“预测下一帧图像”的路线很流行确实酷训练和推理成本也高得吓人。这周看到的几篇世界模型工作几乎都转向了“预测隐状态”让模型在低维特征空间里预测下一时刻的关键状态比如末端位置、物体相对位姿、接触力是否变化而不是重建整张图像。这个转向本质上是把“想象”压缩到决策需要的最小信息量。我举个类比你开车时不需要记住路边每一棵树的样子只需要关心前车距离、车道线位置、自己车速。世界模型如果预测完整画面相当于把每一棵树都记住浪费算力不说还容易学出和决策无关的虚假相关性。但这几篇工作也有一个共同问题隐状态的定义依赖大量人工设定。你让模型预测什么模型才能学什么。如果漏掉某个关键物理量比如“物体是否处于滑动状态”后面规划就会瞎。所以世界模型离真正通用还差很远但作为“仿真器里的低成本规划器”已经是值得跟进的趋势。3. LLM与机器人结合的典型工程架构3.1 任务分解、技能调用、闭环执行的三层结构这周LLM做机器人规划的论文绝大多数还是三层架构LLM负责任务分解技能库负责具体动作闭环模块负责确认每一步是否完成。我用伪代码描述一下最常见的实现方式def run_task(instruction): plan llm_planner.decompose(instruction) for step in plan: if check_done(step, current_obs): continue skill skill_lib.retrieve(step) success skill.execute(current_obs) if not success: feedback analyze_failure(step, current_obs) plan llm_planner.replan(feedback)这里最关键的其实是两个细节。第一个是“check_done”不能只靠LLM嘴硬判断必须有一个基于规则的低层验证模块比如检测夹爪里是否真有物体。第二个是“analyze_failure”的输出必须对LLM友好最好给它喂“当前子任务是什么、期望状态是什么、实际状态是什么、可能原因是什么”的结构化描述而不是丢一张模糊的图片让它猜。这周看到的一个反例特别典型某个系统让LLM负责判断“是否完成”结果物体没抓起来但夹爪开合状态恰好符合“抓取姿势”LLM就误判成功。后来他们把验证模块换成物体检测网络再用VLM做二次确认成功率才上去。这说明在工程系统里LLM的“泛化”不能替代确定性判断该用规则的时候别偷懒。3.2 记忆模块与错误恢复真正决定系统好不好用长程任务里LLM最大的问题不是“第一步规划不对”而是“做完第三步忘了第一步出错之后不知道回退到哪”。本周好几篇工作都在搞记忆模块做法大同小异不存原始日志而是让VLM把关键历史步骤压缩成自然语言摘要存入向量库每次规划时检索当前相关经历。这里有个细节非常影响效果摘要的质量。比如“把螺丝刀拿起”和“移动机械臂到桌面右侧约20厘米处夹爪闭合成功拿起螺丝刀”对后续错误恢复的帮助完全不同。前一种是任务级描述后一种是物理级描述带着空间位置和状态变化。好的摘要系统会用VLM把每次动作的“前置状态-动作-后置状态-结果”完整记录下来这比让模型凭记忆复盘靠谱得多。错误恢复的另一个实用技巧是“降级重试”。很多系统在失败后直接让LLM重新规划整个任务成本高且容易丢掉进度。这周有篇论文做得比较聪明失败后先检查当前技能库有没有替代技能没有的话再做局部重规划只改失败子任务及其后续步骤不碰已完成的前序任务。实验里这种局部重规划能把任务完成时间缩短接近一半。这个思路放到工程里就是“控制回路分级”越底层的兜底越重要LLM只是最上层的大脑不该干所有脏活。3.3 端侧VLM选型不是越大约好这周有几篇论文在讨论VLA模型的部署问题核心矛盾是7B级以上的视觉语言模型推理延迟太高真机控制频率根本跟不上。其实目前很多落地场景根本用不着复杂推理需要的是“看到螺丝刀在哪里”“抽屉是否打开”“夹爪有没有抓稳”这类细粒度感知任务。参数量级内存占用适用场景主要问题1B以下小于2GB简单分类、目标检测、状态判断对复杂指代理解差3B-4B4GB左右指代分割、物料识别、失败原因粗判复杂指令跟随一般7B-9B8GB-12GB视觉问答、长程任务复盘、错误恢复单帧推理延迟偏高需要工程优化13B以上16GB以上复杂空间推理、精细规划真机实时性很难保证我这一周看到最有意思的部署方案是“大小模型协同”真机上跑一个3B级别的小VLM做实时状态判断每到一个关键节点才把当前帧和记忆摘要发给云端9B模型做一次深度校验。这样既保证了控制频率又保留了复杂推理能力。别看逻辑简单真正把通信中断、结果超时、模型返回格式错误都处理好并不容易。4. 复现实验记录从环境配置到真机落地的坑4.1 依赖冲突与仿真版本花掉我两天时间为了复现其中一篇操作策略我专门建了一个干净环境结果还是被依赖问题卡了两天。问题最初出现在torch、CUDA和仿真器版本三者不匹配上。更烦人的是某个仿真器必须用特定版本编译器编译换一个Python版本都会在物理引擎初始化时报“段错误”。后来我学乖了第一步先查项目的requirements和锁文件不要直接pip install最新版。第二步用conda创建独立环境时把Python版本、CUDA版本、torch版本全部锁死。第三步仿真器带自定义算子的直接在Docker里构建避免污染宿主机环境。这些经验看起来基础但真能省下大把时间。如果再遇到类似问题我建议先把环境变量打开调试模式看崩溃发生在哪个共享库调用上。很多时候是pybind版本和新的编译器不兼容换回老版本gcc就好。论文代码里如果写了“tested on xxx”尽量分毫不差地复现那个组合别自作聪明升级。4.2 数据集与真机之间的“最后一米”仿真训练效果好、真机上线就拉胯的案例我这周复现了一个典型的“最后一米”问题。同样的策略仿真成功率90%以上真机第一次跑就疯狂抖。查到最后发现是相机标定问题仿真里相机内参和外参都是理想值真机镜头畸变导致深度图边缘误差超过2厘米机械臂在靠近物体时控制指令来回震荡。这个坑的核心是“仿真里的完美观测”到“真机里的有噪观测”之间的gap。解决办法是前向标定、视觉伺服、观测滤波三步一起做。先对每台相机做内参标定再用标定板确认机械臂基座到相机的坐标变换最后在深度图上做时间维滤波。真机落地时这三个步骤一个都不能少否则策略再强也是空中楼阁。4.3 避坑清单速查坑表现解决办法训练Loss突然变成NaN反馈网络梯度爆炸降低学习率、增加梯度裁剪、检查动作归一化范围仿真器物理穿透夹爪穿过物体提高接触求解迭代次数、减小仿真步长真机动作抖动到达目标点附近来回震荡调低末端速度增益、增加阻尼、检查是否发生位姿奇异LLM输出格式不稳定返回多余文字导致解析失败用few-shot约束输出JSON并加规则解析兜底相机与机械臂坐标对不上明明看到物体但抓偏重新标定外参验证标定板精度真机复现成功率低第一次能跑第二三次掉一半记录每次真机运行日志排查随机初始位姿差异我个人觉得记录真机日志是一件极其重要但很容易被忽略的事。复现论文时大家总把注意力放在模型结构上却忘了每一次真机运行都是一次随机实验物体位姿、光照、机械臂零点漂移都会影响结果。没有完整日志你连“这次失败是我改出来的还是环境随机性本来就有的”都分不清。5. 下周值得继续关注的方向5.1 多机协作和跨场景泛化会成为新热点这周已经有几篇工作在做“同一技能迁移到多个机器人平台”的实验思路是先学习一个与机械臂型号无关的动作表示再在具体平台映射到关节空间。下周我预测会有更多类似工作出现因为大家渐渐发现与其在每个平台上各训一套策略不如先做一个“平台无关层”。这个方向的门槛不低但一旦跑通价值会非常大。5.2 机器人数据标准化值得早入场最后想聊一个不一定像“论文”但同样重要的话题机器人数据标准化。这周多篇论文的实验规模很大但数据集之间格式差异极大导致对比和复现异常痛苦。有人在自研统一数据格式把动作、观测、语言指令、奖励信号都塞进同一个容器再用统一API读取。我判断未来半年会有越来越多工作选择直接使用这种标准化数据格式提前把这块基础设施铺好后面做实验会顺手很多。我在实际跑完这周的工作后最深的体会是机器人这个方向论文里最值钱的往往不是那个“新模型”而是那些“让模型在真实世界里转起来”的细节。老师们常说看论文要看方法但我现在觉得看实验设置、看失败分析、看评价指标同样重要。哪怕你手里没有真机只要能把仿真环境搭好把这些细节跑通就已经比很多只在PPT上做机器人的人强了。