Microduck RL鸭子如何学会走路Velocity任务奖励函数设计完全深潜指南【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rlMicroduck RLmicroduck_rl是一个基于 mjlabMuJoCo Warp PPO 的双足机器人强化学习训练环境让一只约 800g、25cm 高的微型鸭子机器人在仿真中学会走路、站立、滑行。本文深潜其最核心的Velocity 任务Mjlab-Velocity-Flat-MicroDuck的奖励函数设计拆解每一笔奖励权重背后的试错故事帮你理解如何为小尺寸双足机器人设计一套既能走路、又能抗干扰、还能听话摆头的运动策略。一、Velocity 任务一条腿 一条头部的完整运动指令Velocity 是整个仓库的主任务鸭子要同时完成两件事追踪速度指令twist前后/左右/转向 3 维指令追踪头部姿态指令head_pose颈部俯仰、头部俯仰/偏航/横滚 4 维指令所有任务共享一个61 维观测契约48 维本体感知 13 维指令这使得走路策略和站立、空翻等策略可以在真机上随时热切换。任务配置全部集中在 microduck_velocity_env_cfg.py自定义奖励函数在 mdp.py 中实现。 训练入口uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 40964096 个并行环境训 1–2 小时即可得到一个可用的步态。二、Velocity 奖励函数权重全景图打开 microduck_velocity_env_cfg.py 的# REWARDS 段落可以看到完整配方。下表汇总了每项奖励及其设计意图奖励项权重设计意图track_linear_velocity2.0std≈0.316追踪线速度指令高斯奖励track_angular_velocity2.0std≈0.707追踪转向指令std 放宽到 ±1.0 rad/s 量级让转向变得可学习upright2.0std²0.05保持躯干竖直。曾为 1.0/0.1 —— 4° 前倾几乎免费鸭子学会前倾走还总往前摔pose腿部关节1.0双腿姿态保持静止时用紧 std走路时放松air_time3.0步态节律脚腾空时间须落在 0.125–0.300s 窗口foot_clearance/foot_swing_height默认目标高度 0.02m抬脚 2cm杜绝拖地走foot_slip−0.1故意弱脚底打滑惩罚−1.0 对原地转体多的鸭子太苛刻self_collisions−1.0禁止腿撞上躯干电池仓body_ang_vel−0.05轻微抑制躯干晃动angular_momentum−0.02抑制角动量积累action_rate_l2−0.1 →−1.0课程动作平滑度先学会走再要求走得稳head_pose_tracking2.0std0.5头部追踪指令主目标之一head_pose_bias0 →3.0课程只惩罚可避免的头部直流下垂body_pose_tracking0.0禁用基础设施保留给站立任务这里只留观测槽位一个关键细节pose奖励只作用于腿关节显式排除了颈部/头部正则^(?!passive_|.*neck.*|.*head.*).*。原因写在注释里如果把头也纳入回到 HOME 位姿奖励它会和head_pose_tracking互相拉扯策略最终学会无视指令——因为姿态奖励梯度更强。这就是奖励设计第一课同一个自由度只能有一个主奖励。三、步态塑形教鸭子抬脚、别拖、允许打滑1. air_time用腾空窗口教出节律air_time奖励要求双脚的腾空时长落在[0.125s, 0.300s]窗口内microduck_velocity_env_cfg.py#L333-L336。这招比惩罚步频高明窗口外零奖励、窗口内全额奖励鸭子自然收敛到接近人类步频的节律而静止不动零指令时脚不腾空则不会被误奖励。至于学会站着不动靠的是另一套课程standing_envs让环境中的零指令占比从 2% 逐步升到 25%见下文课程部分——不写显式的别迈步惩罚而是用数据分布教。2. foot_slip 故意调弱到 −0.1多数双足机器人奖励表里foot_slip是 −1.0 级别的重罚。但 Microduck 的转向主要靠单脚原地旋转pivot turn强行禁止打滑会让转身几乎学不会所以这里刻意削弱到−0.1L312-L315foot_slip deliberately weak (-0.1, not -1.0): -1.0 was too restrictive for this robots pivot-heavy turning.3. upright 加倍治前倾走的顽疾2026-07 的速度-俯仰评估发现策略以 2~4° 的稳态前倾走路且速度下 2/3 的推倒都是向前摔。原来在权重 1.0 时4° 前倾每步只花 ~0.05 奖励——几乎白嫖。把权重提到 2.0、std² 压到 0.05 后4° 前倾每步代价 ~0.19足以把躯干拉平又不至于让被推时的瞬时倾斜付不起账L293-L301。四、头部追踪一次拧紧 std 就站死的失败实验这是整个项目最有教育价值的奖励设计案例microduck_velocity_env_cfg.py#L729-L745。问题鸭子走路时头部平均下俯约 15°重力把 280g 的头——占整机 38% 质量——往下拽。失败的修复把head_pose_tracking的高斯 std 从 0.5 拧到 0.1想罚狠了就会抬。结果灾难性air_time从 1.01 崩到 0.02脚不抬了脚峰值高度 15mm → 2mm策略熵 10.9 → 1.9第 300 次迭代后鸭子彻底不走了原因头部摆动是走路物理上不可避免的——一个 38% 质量的头迈步时必须振荡。瞬时紧容差相当于对走路本身征收 0.77/步的税占了 air_time 奖励的 76%而站着不动一分不罚。RL 忠实执行了字面意思站立收益更高那就站死。正确的修复区分可避免和不可避免的误差只罚前者。新增head_pose_bias惩罚mdp.py#L5229-L5317对跟踪误差做1 秒指数移动平均EMA——振荡分量正负抵消只剩直流偏移对 EMA 取L1 范数大偏差下梯度恒定紧高斯在大误差处梯度趋零会失明权重通过课程从 0前 600 次迭代别打扰步态学习爬到 3.0。鸭子学会把颈部指令整体抬高一点抵消重力下垂而走路振荡完全免费。 通用法则出自 AGENTS.md高斯 std 应取你仍在意的误差量级拧 std 之前先问自己——这个误差策略能逃掉吗逃不掉的税只会逼出什么都不做的最优解。五、指令采样设计固定范围 原地转桶 站立课程奖励之外指令分布本身就是训练策略的一部分固定的、保守的指令范围线速度 x 轴 ±0.4 m/s、y 轴 ±0.3、转向 ±1.0 rad/sL644-L650。团队曾试过范围随课程扩张结果扩张速度超过了机器人能力成长速度1000 次迭代后奖励/时长双下降。15% 原地转桶独立均匀采样几乎抽不到lin0 且 |ang| 较大的组合实测仅 ~2%原地旋转永远学不会。于是显式划出TURN_IN_PLACE_FRACTION 0.15的环境专门发这种指令L24-L25。站立课程零指令环境占比0.02 → 0.25分 5 档爬升到第 2000 次迭代——先教会走再教站。头部姿态范围课程颈部俯仰 ±0.05 → ±1.10 rad 分 5 档扩到机械极限留 10% 安全余量每档 500 次迭代。六、两条课程平滑度延迟上税防不动最优action_rate_l2动作变化率惩罚是典型的技能发现后再引入的调节项L776-L791迭代 0 → 1500 −0.1 → −0.2 → −0.4 → −0.6 → −0.8 → −1.0如果开局就重罚动作变化探索期任何尝试都亏钱原地不动直接成为 argmax。这也是 AGENTS.md 奖励设计清单里反复强调的一条平滑类惩罚可以在技能发现后放心加权运动阻塞类惩罚body_ang_vel、角动量在动态任务里必须保持轻量。七、域随机化与 NaN 防护奖励之外的生存工程Velocity 环境开启了一整套 sim2real 域随机化L31-L42 的ENABLE_*开关躯干/头部质心偏移±3mm 起步课程爬升到 ±15mm / ±10mm——再大就超出脚掌支撑多边形逼出怪步态质量惯量 ±5%、关节摩擦 ±10%、转子惯量 ±10%IMU 安装误差观测层面做 ≤6° 的随机轴旋转仅 actor 看到critic 保留真值编码器偏差每关节 ±0.86° 常量偏移速度推搡每 3–6 秒给 ±0.3 m/s 的速度冲击从 ±0.5 降下来——超过最大步行速度的推力只会训出永远紧张的逃跑步态此外还有一层防崩机制物理状态出现 NaN 时立即终止该环境nan_state终止项mdp.py 中的robot_state_is_nan并对奖励管理器打了 NaN 安全补丁——因为 mjlab 在 reset之前算奖励一个 NaN 奖励足以污染整个 PPO buffer。八、可复用的奖励设计清单血泪经验版以下规则全部来自 AGENTS.md 的Reward design章节每一条都对应一次真实翻车符号约定成本函数返回正值 → 配负权重自取负的惩罚函数 → 配正权重。双重否定会变成违规奖励策略会靠撞墙刷分。铁律检查wandb 里每个Episode_Reward/penalty必须 ≤ 0。RL 优化的是字面意思每个没写死的自由度都会被利用。想约束动作形态用硬性状态门接触、轴向检查、闩锁别用小惩罚劝。不设奖金任何到达即每步发钱的目标奖励都是奖池会买到任意暴力动作。用斜坡化的内部目标让慢就是 argmax。绝不在坏状态下发正奖励策略会停在最便宜的达标姿势刷分。改用基于势的塑形只付 Δprogress比如 Δcos(tilt)升有酬、保持为零、刷不了。复制调节项时比较奖励质量而非权重PPO 看的是相对优势正奖励堆叠大 4 倍同样的 action_rate 权重实际弱 4 倍。九、总结Microduck RL 的 Velocity 任务给出了一套小尺寸双足机器人运动策略的完整奖励配方主干速度追踪±2.0 姿态保持腿部专用 直立奖励2.0 头部追踪2.0步态air_time 腾空窗口、抬脚 2cm 目标、弱化的打滑惩罚两条铁律可避免的误差才罚1s EMA L1 治头下垂运动阻塞类惩罚保持轻量数据工程固定指令范围 原地转桶 站立课程 平滑度延迟上税生存工程全套域随机化 NaN 早退 奖励/优势 NaN 净化想动手改一改建议从 microduck_velocity_env_cfg.py 顶部的ENABLE_*开关和奖励权重入手改完用uv run --with pytest pytest tests/跑一遍配置回归测试锁定关节索引映射、奖励符号约定与 NaN 防护再用 64 个环境 × 5 次迭代做冒烟验证。更多任务滑轮椅 Roller、空翻 Roulade、起身 StandUp的设计文档都在 docs/superpowers/specs/ 下可对照阅读。【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Microduck RL：鸭子如何学会走路？Velocity任务奖励函数设计完全深潜指南
Microduck RL鸭子如何学会走路Velocity任务奖励函数设计完全深潜指南【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rlMicroduck RLmicroduck_rl是一个基于 mjlabMuJoCo Warp PPO 的双足机器人强化学习训练环境让一只约 800g、25cm 高的微型鸭子机器人在仿真中学会走路、站立、滑行。本文深潜其最核心的Velocity 任务Mjlab-Velocity-Flat-MicroDuck的奖励函数设计拆解每一笔奖励权重背后的试错故事帮你理解如何为小尺寸双足机器人设计一套既能走路、又能抗干扰、还能听话摆头的运动策略。一、Velocity 任务一条腿 一条头部的完整运动指令Velocity 是整个仓库的主任务鸭子要同时完成两件事追踪速度指令twist前后/左右/转向 3 维指令追踪头部姿态指令head_pose颈部俯仰、头部俯仰/偏航/横滚 4 维指令所有任务共享一个61 维观测契约48 维本体感知 13 维指令这使得走路策略和站立、空翻等策略可以在真机上随时热切换。任务配置全部集中在 microduck_velocity_env_cfg.py自定义奖励函数在 mdp.py 中实现。 训练入口uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 40964096 个并行环境训 1–2 小时即可得到一个可用的步态。二、Velocity 奖励函数权重全景图打开 microduck_velocity_env_cfg.py 的# REWARDS 段落可以看到完整配方。下表汇总了每项奖励及其设计意图奖励项权重设计意图track_linear_velocity2.0std≈0.316追踪线速度指令高斯奖励track_angular_velocity2.0std≈0.707追踪转向指令std 放宽到 ±1.0 rad/s 量级让转向变得可学习upright2.0std²0.05保持躯干竖直。曾为 1.0/0.1 —— 4° 前倾几乎免费鸭子学会前倾走还总往前摔pose腿部关节1.0双腿姿态保持静止时用紧 std走路时放松air_time3.0步态节律脚腾空时间须落在 0.125–0.300s 窗口foot_clearance/foot_swing_height默认目标高度 0.02m抬脚 2cm杜绝拖地走foot_slip−0.1故意弱脚底打滑惩罚−1.0 对原地转体多的鸭子太苛刻self_collisions−1.0禁止腿撞上躯干电池仓body_ang_vel−0.05轻微抑制躯干晃动angular_momentum−0.02抑制角动量积累action_rate_l2−0.1 →−1.0课程动作平滑度先学会走再要求走得稳head_pose_tracking2.0std0.5头部追踪指令主目标之一head_pose_bias0 →3.0课程只惩罚可避免的头部直流下垂body_pose_tracking0.0禁用基础设施保留给站立任务这里只留观测槽位一个关键细节pose奖励只作用于腿关节显式排除了颈部/头部正则^(?!passive_|.*neck.*|.*head.*).*。原因写在注释里如果把头也纳入回到 HOME 位姿奖励它会和head_pose_tracking互相拉扯策略最终学会无视指令——因为姿态奖励梯度更强。这就是奖励设计第一课同一个自由度只能有一个主奖励。三、步态塑形教鸭子抬脚、别拖、允许打滑1. air_time用腾空窗口教出节律air_time奖励要求双脚的腾空时长落在[0.125s, 0.300s]窗口内microduck_velocity_env_cfg.py#L333-L336。这招比惩罚步频高明窗口外零奖励、窗口内全额奖励鸭子自然收敛到接近人类步频的节律而静止不动零指令时脚不腾空则不会被误奖励。至于学会站着不动靠的是另一套课程standing_envs让环境中的零指令占比从 2% 逐步升到 25%见下文课程部分——不写显式的别迈步惩罚而是用数据分布教。2. foot_slip 故意调弱到 −0.1多数双足机器人奖励表里foot_slip是 −1.0 级别的重罚。但 Microduck 的转向主要靠单脚原地旋转pivot turn强行禁止打滑会让转身几乎学不会所以这里刻意削弱到−0.1L312-L315foot_slip deliberately weak (-0.1, not -1.0): -1.0 was too restrictive for this robots pivot-heavy turning.3. upright 加倍治前倾走的顽疾2026-07 的速度-俯仰评估发现策略以 2~4° 的稳态前倾走路且速度下 2/3 的推倒都是向前摔。原来在权重 1.0 时4° 前倾每步只花 ~0.05 奖励——几乎白嫖。把权重提到 2.0、std² 压到 0.05 后4° 前倾每步代价 ~0.19足以把躯干拉平又不至于让被推时的瞬时倾斜付不起账L293-L301。四、头部追踪一次拧紧 std 就站死的失败实验这是整个项目最有教育价值的奖励设计案例microduck_velocity_env_cfg.py#L729-L745。问题鸭子走路时头部平均下俯约 15°重力把 280g 的头——占整机 38% 质量——往下拽。失败的修复把head_pose_tracking的高斯 std 从 0.5 拧到 0.1想罚狠了就会抬。结果灾难性air_time从 1.01 崩到 0.02脚不抬了脚峰值高度 15mm → 2mm策略熵 10.9 → 1.9第 300 次迭代后鸭子彻底不走了原因头部摆动是走路物理上不可避免的——一个 38% 质量的头迈步时必须振荡。瞬时紧容差相当于对走路本身征收 0.77/步的税占了 air_time 奖励的 76%而站着不动一分不罚。RL 忠实执行了字面意思站立收益更高那就站死。正确的修复区分可避免和不可避免的误差只罚前者。新增head_pose_bias惩罚mdp.py#L5229-L5317对跟踪误差做1 秒指数移动平均EMA——振荡分量正负抵消只剩直流偏移对 EMA 取L1 范数大偏差下梯度恒定紧高斯在大误差处梯度趋零会失明权重通过课程从 0前 600 次迭代别打扰步态学习爬到 3.0。鸭子学会把颈部指令整体抬高一点抵消重力下垂而走路振荡完全免费。 通用法则出自 AGENTS.md高斯 std 应取你仍在意的误差量级拧 std 之前先问自己——这个误差策略能逃掉吗逃不掉的税只会逼出什么都不做的最优解。五、指令采样设计固定范围 原地转桶 站立课程奖励之外指令分布本身就是训练策略的一部分固定的、保守的指令范围线速度 x 轴 ±0.4 m/s、y 轴 ±0.3、转向 ±1.0 rad/sL644-L650。团队曾试过范围随课程扩张结果扩张速度超过了机器人能力成长速度1000 次迭代后奖励/时长双下降。15% 原地转桶独立均匀采样几乎抽不到lin0 且 |ang| 较大的组合实测仅 ~2%原地旋转永远学不会。于是显式划出TURN_IN_PLACE_FRACTION 0.15的环境专门发这种指令L24-L25。站立课程零指令环境占比0.02 → 0.25分 5 档爬升到第 2000 次迭代——先教会走再教站。头部姿态范围课程颈部俯仰 ±0.05 → ±1.10 rad 分 5 档扩到机械极限留 10% 安全余量每档 500 次迭代。六、两条课程平滑度延迟上税防不动最优action_rate_l2动作变化率惩罚是典型的技能发现后再引入的调节项L776-L791迭代 0 → 1500 −0.1 → −0.2 → −0.4 → −0.6 → −0.8 → −1.0如果开局就重罚动作变化探索期任何尝试都亏钱原地不动直接成为 argmax。这也是 AGENTS.md 奖励设计清单里反复强调的一条平滑类惩罚可以在技能发现后放心加权运动阻塞类惩罚body_ang_vel、角动量在动态任务里必须保持轻量。七、域随机化与 NaN 防护奖励之外的生存工程Velocity 环境开启了一整套 sim2real 域随机化L31-L42 的ENABLE_*开关躯干/头部质心偏移±3mm 起步课程爬升到 ±15mm / ±10mm——再大就超出脚掌支撑多边形逼出怪步态质量惯量 ±5%、关节摩擦 ±10%、转子惯量 ±10%IMU 安装误差观测层面做 ≤6° 的随机轴旋转仅 actor 看到critic 保留真值编码器偏差每关节 ±0.86° 常量偏移速度推搡每 3–6 秒给 ±0.3 m/s 的速度冲击从 ±0.5 降下来——超过最大步行速度的推力只会训出永远紧张的逃跑步态此外还有一层防崩机制物理状态出现 NaN 时立即终止该环境nan_state终止项mdp.py 中的robot_state_is_nan并对奖励管理器打了 NaN 安全补丁——因为 mjlab 在 reset之前算奖励一个 NaN 奖励足以污染整个 PPO buffer。八、可复用的奖励设计清单血泪经验版以下规则全部来自 AGENTS.md 的Reward design章节每一条都对应一次真实翻车符号约定成本函数返回正值 → 配负权重自取负的惩罚函数 → 配正权重。双重否定会变成违规奖励策略会靠撞墙刷分。铁律检查wandb 里每个Episode_Reward/penalty必须 ≤ 0。RL 优化的是字面意思每个没写死的自由度都会被利用。想约束动作形态用硬性状态门接触、轴向检查、闩锁别用小惩罚劝。不设奖金任何到达即每步发钱的目标奖励都是奖池会买到任意暴力动作。用斜坡化的内部目标让慢就是 argmax。绝不在坏状态下发正奖励策略会停在最便宜的达标姿势刷分。改用基于势的塑形只付 Δprogress比如 Δcos(tilt)升有酬、保持为零、刷不了。复制调节项时比较奖励质量而非权重PPO 看的是相对优势正奖励堆叠大 4 倍同样的 action_rate 权重实际弱 4 倍。九、总结Microduck RL 的 Velocity 任务给出了一套小尺寸双足机器人运动策略的完整奖励配方主干速度追踪±2.0 姿态保持腿部专用 直立奖励2.0 头部追踪2.0步态air_time 腾空窗口、抬脚 2cm 目标、弱化的打滑惩罚两条铁律可避免的误差才罚1s EMA L1 治头下垂运动阻塞类惩罚保持轻量数据工程固定指令范围 原地转桶 站立课程 平滑度延迟上税生存工程全套域随机化 NaN 早退 奖励/优势 NaN 净化想动手改一改建议从 microduck_velocity_env_cfg.py 顶部的ENABLE_*开关和奖励权重入手改完用uv run --with pytest pytest tests/跑一遍配置回归测试锁定关节索引映射、奖励符号约定与 NaN 防护再用 64 个环境 × 5 次迭代做冒烟验证。更多任务滑轮椅 Roller、空翻 Roulade、起身 StandUp的设计文档都在 docs/superpowers/specs/ 下可对照阅读。【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考