Isaac Lab 轮式双足机器人 RL 训练 · 项目看板

基于 NVIDIA Isaac Sim 6.1 / Isaac Lab 3.0 · 面向 Fraunhofer IPA BiBiRob 学生助理岗位 · 目标:跑通 Sim-to-Real 全流程
环境搭建已完成 阶段1 进行中 阶段2-5 待开始
项目框架 点击跳转
主要项目说明

项目背景

目标岗位:Fraunhofer IPA(斯图加特)学生助理——为轮式双足户外机器人 BiBiRob 做强化学习训练与 Sim-to-Real 迁移(职位编号 86097)。

BiBiRob 模型为 Fraunhofer 内部资产不公开,本项目用开源同构机器人(LimX TRON2 / Rhea / Upkie)练通全流程,方法 100% 可迁移。

环境搭建(已完成并验证)

6.1.0
Isaac Sim
3.0.0
Isaac Lab
2550
训练 steps/s(Cartpole 验证)
6GB
RTX A3000 显存
项配置
主机Dell Precision 7560 · i9-11950H · 47GB 内存
GPUNVIDIA RTX A3000 Laptop 6GB(WSL2 透传正常)
系统Windows 11 + WSL2 Ubuntu(内核 6.18)
Python 环境conda 环境 isaac312(Python 3.12.16)
核心组件PyTorch 2.11.0+cu130 · rsl_rl · IsaacLab 仓库 /root/isaacLab
训练约束headless · num_envs ≤128 · 关视觉(6GB 显存)

阶段1 · 吃透 Isaac Lab 任务写法(3–5 天)

跑通 Isaac-Velocity-Ant locomotion 任务;精读三份源码:cartpole_direct_env_cfg.py(最小环境)、core/locomotion velocity 任务(奖励/课程/地形)、isaaclab_assets robots 配置(执行器、初始姿态)。

核心概念:ManagerBased 六大配置块——observation / action / reward / termination / event / curriculum。

阶段2 · 机器人模型接入(约 1 周)

模型说明
LimX TRON2(首选)官方维护,自带 USD/MuJoCo/URDF,与 BiBiRob 同构
Rhea(278★)社区最活跃轮式双足 URDF,结构简单易改
Upkie(36★)全开源含训练管线,可参考奖励设计

关键:混合执行器配置——轮子 DCMotor(力矩型)+ 腿关节 ImplicitActuator(位置型);Spawn 冒烟测试通过为准。

阶段3 · 环境与奖励定义(1–2 周,核心)

观测:躯干高度/倾角/角速度、关节角与角速度、轮速、速度指令、上一步动作。动作:2 轮力矩 + 每腿 2–3 关节目标。

奖励起点:速度跟踪(主)· 躯干倾角惩罚(大)· 动作变化率(中)· 关节限位(小)· 能耗(小)· 存活(小正)。

分阶段解锁:锁轮练腿 → 锁腿练轮 → 全自由平地 → 加扰动 → 地形课程(对应 JD 的 outdoor 要求)。

阶段4 · 训练与调试(1–2 周)

num_envs 64 起步 headless 训练;TensorBoard 看曲线;对照失败模式表排错(曲线发散/学不会平衡/抽搐/OOM/速度为 0)。

阶段5 · 成果输出(3–5 天)

play.py 回放录像 · ONNX/JIT 策略导出 · 一页技术文档(问题建模→奖励设计→训练曲线→结果视频)。

成果与 Fraunhofer JD 五项要求一一映射,作为求职作品集。

项目详情 · 对话记录 按日期倒序 · 每日更新追加
2026-11-06(周四) 5 条记录
晚间
落地计划整理成正式文档
规划

生成《轮式双足机器人强化学习训练落地计划.html》——五阶段路线:①吃透任务写法(3–5天)②模型接入(1周)③环境与奖励定义(1–2周)④训练与调试(1–2周)⑤成果输出(3–5天),总计 6–8 周。

文档含:开源模型选型对比(TRON2/Rhea/Upkie)、奖励函数起点权重表、锁轮→锁腿→全自由→扰动→地形五级解锁策略、失败模式对照表、JD 要求↔项目成果映射表。

同步落地本页面:项目框架上网站,左框架/中说明/右详情三栏结构,后续每日在此追加进展。

日间
安装全过程写入长期记忆
记录

Isaac 环境搭建全过程(含全部踩坑与解决命令)写入每日日志 daily-log/2026-11-06.md,共 3 条:环境成果、关键命令与踩坑、PowerShell→WSL 脚本转义经验。日后报错可直接检索复用。

凌晨
Isaac Lab 训练验证成功 🎉
里程碑

headless 训练 Isaac-Cartpole(32 环境,3 次迭代)跑通:2550 steps/s,22.99 秒完成,奖励/熵/成功率指标正常输出。6GB 显存确认可训练,环境从安装到实际训练全链路验证通过。

cd /root/isaacLab && python scripts/reinforcement_learning/train.py \ --rl_library rsl_rl --task Isaac-Cartpole --num_envs 32 --max_iterations 3

注:新版任务名不带 -v0 后缀(Isaac-Cartpole 而非 Isaac-Cartpole-v0)。

凌晨
依赖冲突处理 + 示例仓库克隆
踩坑

isaaclab 3.0 安装后与 isaacsim 6.1 出现双向依赖冲突(newton/psutil/click/urllib3/mujoco 版本要求相反)。处理:以 isaaclab 版本为准(newton 1.6.1 / psutil 7.2.2 / urllib3 2.8.0 / click 8.5.0 / mujoco 3.12.0),实测训练正常,仅剩 mujoco-usd-converter 无关警告。

git clone IsaacLab 示例仓库到 /root/isaacLab(--depth 1),确认自带资产中无轮式双足模型——需外部接入(后续阶段 2 处理)。

凌晨
Isaac Sim 6.1.0 安装成功(含两个大坑)
踩坑 完成

坑1 · Python 版本决定 isaacsim 版本:pypi.nvidia.com 上 Python 3.11 只能装 isaacsim 5.x,Python 3.12 才能装 6.1.0。重建 isaac312 环境(Python 3.12.16)后成功。

坑2 · WSL /tmp 只有 12G:pip 解压 5.9GB 大包(isaacsim_extscache_kit)时报 "No space left on device",但 df 显示磁盘有 900G+。根因是 /tmp 为 tmpfs 内存盘。解法:

export TMPDIR=/root/tmp # 重定向 pip 临时目录后重装即成功

其他:import isaacsim 弹 Omniverse EULA,非交互环境卡住,用 echo yes | python -c "import isaacsim" 接受一次即记住。

2026-11-05(周三) 6 条记录
深夜
基础组件安装(Miniconda / Python / PyTorch)
踩坑

Miniconda 装于 ~/miniconda3(清华源);conda 26 有 ToS 拦截,create 环境须加 --override-channels --channel 清华源。

坑 · PyTorch 官网源超时:download.pytorch.org 国内直连 15 分钟下不完。改清华 PyPI 直装成功(PyPI 的 torch 就是 CUDA 版):torch 2.15.0+cu132,CUDA 可用 True,GPU 正确识别 RTX A3000。

21:51–22:00
开始搭建 Isaac 环境
开工

确定安装路线:Miniconda → Python 环境 → PyTorch(CUDA)→ Isaac Sim → Isaac Lab → 跑通 demo。大下载用后台任务管理,全程盯进度排错。

21:27
WSL2 内 GPU 透传验证通过
验证

WSL Ubuntu(内核 6.18.54.1-microsoft-standard-WSL2)内 /usr/lib/wsl/lib 组件齐全,nvidia-smi 完整输出:RTX A3000 Laptop,驱动 597.16,CUDA 13.2。GPU 在 WSL 内完全可用。

注意:WSL 内图形渲染(Omniverse 界面)支持差,训练全程用 headless,曲线用 TensorBoard。

21:25
确认 Linux 形态:WSL2 而非双系统
环境

wsl --list 显示 Ubuntu Running(WSL2)。磁盘:根分区 1007G(可用 935G),C 盘剩 687G,D 盘剩 357G,空间充足。

21:24
本机硬件检测:可跑,显存是瓶颈
评估

Dell Precision 7560 · i9-11950H(8核16线程)· 47GB 内存(31.8G 可用)· RTX A3000 Laptop 6GB · 驱动 597.16 / CUDA 13.2 · Windows 11 家庭版。

结论:入门和中小规模训练可跑;6GB 显存要求 num_envs ≤128、关渲染、headless。

18:42
起点:Fraunhofer 招聘网页翻译
背景

翻译 Fraunhofer IPA 斯图加特学生助理岗位(编号 86097):在 NVIDIA Isaac Lab 中为轮式双足户外机器人 BiBiRob 做 RL 训练——仿真环境搭建、混合运动策略(模式切换/不平地面平衡)、GPU 训练、Sim-to-Real 实验(域随机化/执行器建模)。

要求:Python 扎实、RL 基础、德国/欧盟高校在读、斯图加特现场驻岗;加分 MuJoCo / Isaac Lab / ROS 2。随后梳理了完整工作流:建模→仿真→任务奖励→PPO 训练→迁移→真机部署。