目标岗位:Fraunhofer IPA(斯图加特)学生助理——为轮式双足户外机器人 BiBiRob 做强化学习训练与 Sim-to-Real 迁移(职位编号 86097)。
BiBiRob 模型为 Fraunhofer 内部资产不公开,本项目用开源同构机器人(LimX TRON2 / Rhea / Upkie)练通全流程,方法 100% 可迁移。
| 项 | 配置 |
|---|---|
| 主机 | Dell Precision 7560 · i9-11950H · 47GB 内存 |
| GPU | NVIDIA RTX A3000 Laptop 6GB(WSL2 透传正常) |
| 系统 | Windows 11 + WSL2 Ubuntu(内核 6.18) |
| Python 环境 | conda 环境 isaac312(Python 3.12.16) |
| 核心组件 | PyTorch 2.11.0+cu130 · rsl_rl · IsaacLab 仓库 /root/isaacLab |
| 训练约束 | headless · num_envs ≤128 · 关视觉(6GB 显存) |
跑通 Isaac-Velocity-Ant locomotion 任务;精读三份源码:cartpole_direct_env_cfg.py(最小环境)、core/locomotion velocity 任务(奖励/课程/地形)、isaaclab_assets robots 配置(执行器、初始姿态)。
核心概念:ManagerBased 六大配置块——observation / action / reward / termination / event / curriculum。
| 模型 | 说明 |
|---|---|
| LimX TRON2(首选) | 官方维护,自带 USD/MuJoCo/URDF,与 BiBiRob 同构 |
| Rhea(278★) | 社区最活跃轮式双足 URDF,结构简单易改 |
| Upkie(36★) | 全开源含训练管线,可参考奖励设计 |
关键:混合执行器配置——轮子 DCMotor(力矩型)+ 腿关节 ImplicitActuator(位置型);Spawn 冒烟测试通过为准。
观测:躯干高度/倾角/角速度、关节角与角速度、轮速、速度指令、上一步动作。动作:2 轮力矩 + 每腿 2–3 关节目标。
奖励起点:速度跟踪(主)· 躯干倾角惩罚(大)· 动作变化率(中)· 关节限位(小)· 能耗(小)· 存活(小正)。
分阶段解锁:锁轮练腿 → 锁腿练轮 → 全自由平地 → 加扰动 → 地形课程(对应 JD 的 outdoor 要求)。
num_envs 64 起步 headless 训练;TensorBoard 看曲线;对照失败模式表排错(曲线发散/学不会平衡/抽搐/OOM/速度为 0)。
play.py 回放录像 · ONNX/JIT 策略导出 · 一页技术文档(问题建模→奖励设计→训练曲线→结果视频)。
成果与 Fraunhofer JD 五项要求一一映射,作为求职作品集。
生成《轮式双足机器人强化学习训练落地计划.html》——五阶段路线:①吃透任务写法(3–5天)②模型接入(1周)③环境与奖励定义(1–2周)④训练与调试(1–2周)⑤成果输出(3–5天),总计 6–8 周。
文档含:开源模型选型对比(TRON2/Rhea/Upkie)、奖励函数起点权重表、锁轮→锁腿→全自由→扰动→地形五级解锁策略、失败模式对照表、JD 要求↔项目成果映射表。
同步落地本页面:项目框架上网站,左框架/中说明/右详情三栏结构,后续每日在此追加进展。
Isaac 环境搭建全过程(含全部踩坑与解决命令)写入每日日志 daily-log/2026-11-06.md,共 3 条:环境成果、关键命令与踩坑、PowerShell→WSL 脚本转义经验。日后报错可直接检索复用。
headless 训练 Isaac-Cartpole(32 环境,3 次迭代)跑通:2550 steps/s,22.99 秒完成,奖励/熵/成功率指标正常输出。6GB 显存确认可训练,环境从安装到实际训练全链路验证通过。
注:新版任务名不带 -v0 后缀(Isaac-Cartpole 而非 Isaac-Cartpole-v0)。
isaaclab 3.0 安装后与 isaacsim 6.1 出现双向依赖冲突(newton/psutil/click/urllib3/mujoco 版本要求相反)。处理:以 isaaclab 版本为准(newton 1.6.1 / psutil 7.2.2 / urllib3 2.8.0 / click 8.5.0 / mujoco 3.12.0),实测训练正常,仅剩 mujoco-usd-converter 无关警告。
git clone IsaacLab 示例仓库到 /root/isaacLab(--depth 1),确认自带资产中无轮式双足模型——需外部接入(后续阶段 2 处理)。
坑1 · Python 版本决定 isaacsim 版本:pypi.nvidia.com 上 Python 3.11 只能装 isaacsim 5.x,Python 3.12 才能装 6.1.0。重建 isaac312 环境(Python 3.12.16)后成功。
坑2 · WSL /tmp 只有 12G:pip 解压 5.9GB 大包(isaacsim_extscache_kit)时报 "No space left on device",但 df 显示磁盘有 900G+。根因是 /tmp 为 tmpfs 内存盘。解法:
其他:import isaacsim 弹 Omniverse EULA,非交互环境卡住,用 echo yes | python -c "import isaacsim" 接受一次即记住。
Miniconda 装于 ~/miniconda3(清华源);conda 26 有 ToS 拦截,create 环境须加 --override-channels --channel 清华源。
坑 · PyTorch 官网源超时:download.pytorch.org 国内直连 15 分钟下不完。改清华 PyPI 直装成功(PyPI 的 torch 就是 CUDA 版):torch 2.15.0+cu132,CUDA 可用 True,GPU 正确识别 RTX A3000。
确定安装路线:Miniconda → Python 环境 → PyTorch(CUDA)→ Isaac Sim → Isaac Lab → 跑通 demo。大下载用后台任务管理,全程盯进度排错。
WSL Ubuntu(内核 6.18.54.1-microsoft-standard-WSL2)内 /usr/lib/wsl/lib 组件齐全,nvidia-smi 完整输出:RTX A3000 Laptop,驱动 597.16,CUDA 13.2。GPU 在 WSL 内完全可用。
注意:WSL 内图形渲染(Omniverse 界面)支持差,训练全程用 headless,曲线用 TensorBoard。
wsl --list 显示 Ubuntu Running(WSL2)。磁盘:根分区 1007G(可用 935G),C 盘剩 687G,D 盘剩 357G,空间充足。
Dell Precision 7560 · i9-11950H(8核16线程)· 47GB 内存(31.8G 可用)· RTX A3000 Laptop 6GB · 驱动 597.16 / CUDA 13.2 · Windows 11 家庭版。
结论:入门和中小规模训练可跑;6GB 显存要求 num_envs ≤128、关渲染、headless。
翻译 Fraunhofer IPA 斯图加特学生助理岗位(编号 86097):在 NVIDIA Isaac Lab 中为轮式双足户外机器人 BiBiRob 做 RL 训练——仿真环境搭建、混合运动策略(模式切换/不平地面平衡)、GPU 训练、Sim-to-Real 实验(域随机化/执行器建模)。
要求:Python 扎实、RL 基础、德国/欧盟高校在读、斯图加特现场驻岗;加分 MuJoCo / Isaac Lab / ROS 2。随后梳理了完整工作流:建模→仿真→任务奖励→PPO 训练→迁移→真机部署。