1. 为什么第二节才是真机部署的真正分水岭很多人看这类部署教程第一节讲环境、讲依赖、讲模型下载跟着敲一遍命令终端里没报红字就觉得自己已经跑通了。我当初也是这么想的结果到了第二节——也就是真正把策略网络接到物理机械臂上、让它端到端输出动作的那一刻——才发现前面那些都只是热身。第一节你面对的是一个静态的推理脚本输入一张图、输出一串数字错了重跑就行第二节你面对的是一台会动、会撞、会把试管摔碎的物理设备任何一次坐标系的错位、任何一帧观测的延迟都会以啪的一声真实地反馈给你。这一节的核心任务是把一个视觉-语言-动作VLA模型从能推理推进到能干活。具体到我们这个场景就是让机械臂完成抓取试管并放入指定试管架孔位这个动作。听起来简单但真机部署里 80% 的坑都集中在这一步。我前后折腾了大概两周摔碎过三根试管后来换成塑料的才敢继续才把整条链路稳定下来。这篇就把第二节里那些文档不会写、但你必须知道的东西按我实际踩坑的顺序讲清楚。先明确这一节你要达成的目标状态机械臂上电后相机持续采集画面VLA 模型以固定频率接收观测并输出末端执行器的目标位姿或关节增量底层控制器执行动作机械臂完成一次完整的抓取-放置循环且这个循环能连续重复而不发散。注意最后半句不发散才是真机部署和仿真最大的区别仿真里策略偶尔抽风无所谓真机上抽风就是事故。适合读这篇的人已经完成第一节环境搭建、模型能在离线数据上跑出合理动作的开发者或者正在做具身智能相关项目、准备把策略上真机的同学。如果你连第一节都没过建议先回去把推理链路跑通否则这一节的内容你会看得云里雾里。2. 上电之前必须锁死的三件事坐标系、频率、安全边界真机部署最忌讳的就是先跑起来再说。我见过太多人一上电就急着让机械臂动结果第一下就撞到限位。第二节开始前有三件事必须在纸面上、代码里都确认清楚它们决定了后面所有调试是否有意义。2.1 坐标系对齐手眼标定没做对后面全是白费VLA 模型输出的动作通常是相对于某个参考坐标系的位姿或增量。这个参考系可能是相机系、基座系、或者末端工具系取决于你训练数据是怎么标的。真机部署第一步就是让模型输出的坐标系和机械臂实际执行的坐标系严格对齐。我们用的是眼在手外eye-to-hand的配置相机固定在支架上俯视工作台。这种情况下必须做手眼标定求出相机系到机械臂基座系的变换矩阵。标定方法我用的是经典的棋盘格 多组位姿求解具体流程不展开但有几个坑必须提醒标定点要覆盖整个工作空间不能只在中心区域采几组。我第一轮只在试管架附近标定结果机械臂一移到边缘区域抓取位置就偏了两三厘米试管直接抓空。标定完成后一定要做验证让机械臂末端去触碰工作台上几个已知物理坐标的点看相机识别出来的坐标和实际坐标差多少。误差控制在 3mm 以内再往下走超过 5mm 就别急着上策略先回去重标。标定矩阵要固化下来存成文件每次启动加载不要每次重新标。真机标定的重复性没你想的那么好频繁重标反而引入不一致。提示如果你用的是末端自带相机的眼在手eye-in-hand配置标定逻辑完全不同需要标定的是相机系到末端系的固定变换再结合正运动学推算。两种配置的代码不能混用先确认自己属于哪种。2.2 控制频率匹配模型推理慢于控制周期时怎么办VLA 模型参数量大单次推理在消费级显卡上可能要几十到上百毫秒。而机械臂底层控制周期通常是 1kHz 甚至更高。这两者之间的频率鸿沟是第二节里最容易被忽视、又最容易导致动作抖动的问题。我的处理方式是分层底层控制器维持高频的位置/速度闭环上层策略以较低频率我们实测稳定在 5-10Hz输出目标点中间加一个插值或滤波环节把离散的目标点平滑成连续轨迹。具体做法是在策略输出和底层指令之间插一个轨迹生成器用当前位姿和目标位姿做五次多项式插值保证速度和加速度连续。这里有个参数要调策略输出频率太低比如 2Hz机械臂动作会一顿一顿的抓取时容易因为停顿导致夹爪没夹稳频率太高比如 30Hz模型推理跟不上实际还是按最慢的那一环走反而增加延迟。我们最后定在 8Hz 左右配合 50ms 的插值窗口动作看起来比较顺。环节频率说明底层控制1000Hz位置闭环保证刚性轨迹插值100Hz平滑策略输出策略推理5-10HzVLA 模型实际输出频率相机采集30Hz观测输入可降采样给策略2.3 安全边界软限位和急停必须比策略先上线这一条是用血换来的。我第一次让策略控制真机时没设软限位模型输出一个超出工作空间的坐标机械臂直接往桌子上怼夹爪撞歪了。后来我养成的习惯是任何策略上线前先在控制层加一层安全过滤把目标位姿限制在一个预先设定的安全盒子里超出就截断或拒绝执行。安全盒子怎么定手动拖动机械臂如果是协作臂可以开拖动模式走一遍整个工作空间记录各轴或笛卡尔空间的极限位置然后往里收 10% 作为软限位。同时急停按钮必须放在手边物理急停永远比软件保护可靠。另外建议在夹爪上装一个力传感器或者至少用电流反馈做碰撞检测一旦检测到异常阻力立即停止。注意软限位是最后一道防线不是唯一防线。策略本身的输出范围也应该在训练时就被约束在合理区间内部署时再加一层运行时检查双保险。3. 观测管线的搭建从相机帧到模型输入的完整链路策略要干活得先看见。观测管线就是把相机采集的原始画面经过一系列处理变成模型能吃的张量。这条链路看着简单但每一环都有延迟和误差累加起来足以让策略表现大打折扣。3.1 相机选型与安装位置的实际考量我们用的是 RGB 相机没用深度相机。原因很实际VLA 模型训练时用的就是 RGB 数据你部署时换成深度图输入分布对不上策略直接失效。所以部署时的传感器配置必须和训练时一致这是铁律。安装位置上俯视视角对抓取任务最友好因为试管和孔位都在工作台平面上俯视能同时看到目标和夹爪遮挡少。但俯视也有问题夹爪接近试管时夹爪本身会遮挡试管顶部模型可能看不清夹爪和试管的相对位置。我的解决办法是把相机稍微倾斜 15-20 度既保留俯视的整体视野又能在接近阶段看到夹爪侧面。相机帧率不用太高30fps 足够但曝光要固定。自动曝光在机械臂运动时会因为画面变化频繁调整导致图像亮度忽明忽暗模型输入不稳定。我吃过这个亏后来把曝光、白平衡全部锁死画面一致性好了很多。3.2 图像预处理别在部署时引入训练时没有的变换预处理这一步原则只有一条部署时的预处理必须和训练时完全一致。训练时如果做了归一化、裁剪、缩放部署时一个都不能少顺序也不能变。我见过有人训练时用了 ImageNet 均值方差归一化部署时忘了模型输出完全乱套。具体到我们的管线相机原始帧是 1280x720训练时裁剪到 640x480 并缩放到 224x224归一化到 [0,1] 再减均值除方差。部署时严格照做。这里有个细节裁剪的区域要和训练时一致如果训练时是中心裁剪部署时也得中心裁剪不能因为想看得更全就改成全图缩放。延迟方面预处理尽量用 GPU 做或者至少用高效的库比如用 OpenCV 的 CUDA 版本。CPU 上做 resize 和归一化一帧可能就要十几毫秒加上推理时间整体延迟就上去了。3.3 时间同步图像、关节状态、策略输出的时序对齐VLA 模型通常不只吃图像还吃当前的关节角度或末端位姿作为本体感知输入。这两路数据的时间戳必须对齐否则模型看到的是过去的图像 现在的关节动作就会错位。我的做法是给每一帧图像打上采集时刻的时间戳关节状态也打时间戳然后在送入模型前找时间戳最接近的一对。如果时间差超过阈值我们设的是 20ms就丢弃这一帧等下一对。这样虽然会损失一些帧但保证了输入的一致性。策略输出的动作也要打时间戳底层控制器执行时根据时间戳做插值。整个链路的时间戳统一用同一个时钟源别一个用系统时间一个用相机硬件时间那样对不上。4. 策略上机后的第一次动作从能动到能抓的调试路径前面都是准备真正让策略控制机械臂动起来的那一刻才是第二节的高潮。但别指望第一次就能抓成功我建议按下面的顺序逐步调试每一步确认没问题再进下一步。4.1 空载测试先让机械臂跟着策略走一遍轨迹第一步不要放试管让机械臂空载执行策略输出的动作。观察几点动作是否平滑有没有突然的跳变末端是否大致朝向试管架方向整个轨迹是否在安全盒子内。这一步的目的是验证策略输出和底层执行的坐标系、尺度都对得上。我第一轮空载测试时发现机械臂总是往一个固定方向偏后来查出来是标定矩阵的一个旋转分量符号搞反了。这种错误在空载时很容易看出来如果直接上试管就是一次次抓空。空载测试通过的标准机械臂能大致走到试管上方末端姿态合理动作连续无跳变。不要求精确但方向不能错。4.2 单次抓取放一根试管观察失败模式空载没问题后放一根试管在固定位置让策略执行一次完整抓取。这时候大概率会失败但失败的方式很有信息量如果夹爪根本没靠近试管说明观测或坐标系还有问题回去查 2.1 和 3.3。如果靠近了但夹爪没对准可能是图像分辨率不够或者模型对精细定位的能力不足考虑加一个局部的精细定位模块。如果夹住了但抓不稳检查夹爪力度和抓取点可能是策略输出的抓取位姿在深度方向有偏差。如果抓起来后放不进孔位问题在放置阶段可能是孔位识别不准或放置轨迹规划有问题。我当时的失败模式是靠近了但总是偏左两厘米查了半天发现是相机安装后轻微松动标定矩阵失效了。所以每次调试前先确认硬件没有松动。4.3 连续循环稳定性比单次成功更重要单次抓取成功后别急着庆祝真正的考验是连续循环。让机械臂连续抓放 20 次统计成功率。我第一轮连续测试的成功率只有 60%失败集中在第 5-8 次原因是试管被放回后位置有微小偏移累积几次后策略就抓不准了。解决办法有两个一是每次放置后用一个简单的视觉检测确认试管实际位置如果偏移超过阈值就微调二是让策略对位置变化更鲁棒这需要在训练数据里加入位置扰动的样本。前者是工程手段后者是数据手段实际项目里通常两者结合。连续循环的稳定性还受温度影响。机械臂连续工作半小时后关节发热可能导致零点漂移抓取精度下降。如果发现运行一段时间后成功率下降考虑加温度补偿或者定期回零。5. 那些让我熬夜的典型故障与排查思路真机部署的故障排查和纯软件调试最大的区别是你面对的是一个物理系统故障可能来自任何一个环节而且很多故障是间歇性的。下面列几个我实际遇到并解决的典型问题附上排查思路。5.1 策略输出抖动从观测噪声到控制参数的逐层排查现象机械臂在接近试管时末端高频抖动像在犹豫。排查路径先看观测把模型输入的图像和关节状态打印出来发现图像正常但关节角度有 ±0.5 度的噪声。这个噪声来自编码器本来不大但模型对本体感知输入敏感放大了这个噪声。解决办法是在关节状态送入模型前加一个低通滤波同时检查底层控制器的增益是不是太高适当降低位置环增益后抖动明显减轻。如果观测没问题那就要看策略本身。有些 VLA 模型在动作输出的边界区域会输出震荡的值这时候可以在输出后加一个速率限制限制相邻两帧动作的最大变化量。5.2 抓取成功率随运行时间下降热漂移与累积误差现象刚开机时抓得很准跑二十分钟后开始频繁抓空。这个我一开始以为是模型问题后来用激光跟踪仪测了一下末端实际位置发现机械臂的零点在慢慢漂移。原因是关节电机发热后编码器读数和实际角度产生了偏差。协作臂一般有温度补偿功能但需要开启并正确配置。开启后漂移从几毫米降到 1mm 以内。另一个可能的原因是累积误差每次抓放后如果放置位置有微小偏差下一次抓取时策略基于新的观测调整但调整本身也可能有误差多次累积后就偏了。解决办法是定期做一次归位让机械臂回到一个固定的参考点重新校准相对位置。5.3 模型推理延迟突增显存碎片与后台进程现象运行一段时间后策略推理时间从 80ms 涨到 300ms机械臂动作明显变慢。查下来是显存碎片化。VLA 模型推理过程中会动态分配显存长时间运行后碎片增多分配效率下降。解决办法是定期重启推理进程或者用固定显存的推理方式比如 TensorRT 的静态 shape 优化。另外检查后台有没有其他进程占用 GPU我们有一次是系统自动更新在后台跑把 GPU 占了一半。提示真机部署的机器最好专机专用关掉自动更新和无关后台服务。我吃过一次亏演示到一半系统弹更新提示虽然没中断但吓出一身汗。6. 让整套系统跑得更稳的工程化收尾到这一步策略已经能连续工作了但离可靠还有距离。工程化收尾的目标是让系统能长时间无人值守运行出问题能自动恢复数据能留下来供后续优化。6.1 日志与回放把每次抓取都变成可分析的数据我现在的习惯是每次抓取都记录完整的观测、动作、时间戳和结果成功/失败。这些数据一方面用于排查问题另一方面可以直接用于后续的模型微调。记录格式用简单的 HDF5 或者 npz 就行关键是字段要全尤其是失败案例比成功案例更有价值。回放功能也很重要。当出现一次奇怪的失败时能把当时的观测序列重新喂给模型看它输出什么这样能区分是模型问题还是执行问题。我搭了一个简单的回放脚本加载记录的数据逐步重现推理过程排查效率高了很多。6.2 异常恢复卡死、丢帧、通信中断的自动处理真机运行中通信中断、相机丢帧、模型推理超时都是可能发生的。我的处理策略是分级轻微异常单帧丢失、推理稍慢跳过这一帧用上一帧的动作继续同时记录。中度异常连续多帧丢失、推理超时暂停机械臂保持当前位置尝试重新初始化观测管线成功则继续失败则报警。严重异常通信中断、控制器无响应立即停止所有动作触发安全状态等待人工介入。这套逻辑用一个状态机实现状态之间的转换条件要明确。别小看这个有一次相机 USB 接触不良画面偶尔黑一帧如果没有丢帧处理模型看到黑图会输出乱七八糟的动作机械臂就乱动了。6.3 从能跑到好用几个提升体验的小改动最后分享几个让系统从能跑到好用的小改动都是实际用下来觉得值的加一个简单的 Web 界面或者命令行工具能一键启动、暂停、复位不用每次都敲一堆命令。在机械臂工作台周围加一圈柔光灯保证光照稳定。自然光随时间变化模型输入的一致性会受影响。试管架用深色不反光的材料减少反光对视觉识别的干扰。我们一开始用白色架子反光严重换成磨砂黑之后识别稳定多了。定期比如每周重新做一次手眼标定因为相机支架可能因为震动有微小位移。标定流程脚本化几分钟就能完成。这套系统我前后调了大概两周从第一次上电撞桌子到最后能连续跑几百次抓放不出大问题。回头看第二节的难点从来不是模型本身而是模型和物理世界之间的那层胶水——坐标系、时序、安全、异常处理每一环都得抠。把这些抠明白了VLA 才真正算是在真机上会放试管了。