XLeRobot 演示全景指南从 VR 遥操作、自主强化学习到 YOLO 跟踪与仿真场景的完整实践图谱【免费下载链接】XLeRobotXLeRobot: Practical Dual-Arm Mobile Home Robot for $660项目地址: https://gitcode.com/GitHub_Trending/xl/XLeRobot本文以 XLeRobot 官方演示页docs/zh/source/demos/index.md为核心骨架逐条拆解演示视频背后对应的真实能力模块XLeVR 头显控制、sim2real 自主强化学习、YOLO 视觉跟踪、ManiSkill/MuJoCo 仿真以及全链路遥操作方案并给出仓库内可直接运行的示例脚本与关键源码路径帮助读者理解每个 Demo 展示什么、对应哪份代码、如何在自己的环境中复现。一、XLeRobot 演示体系概览XLeRobot 是一个约 660 美元成本的双臂移动家庭机器人开源项目仓库根目录为XLeRobot其官方演示页将项目能力划分为八个维度总体演示、社区演示、VR 控制、自主强化学习、YOLO 物体跟踪、仿真含仿真内 VR 控制与场景展示、动力学演示以及作为项目起点的 0.1.0 首个演示。值得强调的是这些演示并非孤立的宣传视频每一个都对应仓库内可运行、可复现的代码模块。下表是演示类别与仓库源码/文档的对应关系演示类别核心能力仓库对应源码/文档总体演示完整机器人系统0.3.0 版本README_CN.md、software/readme.md社区演示第三方二次开发案例Astera Institute、Makermods 社区贡献VR 控制头显 双手柄遥操作XLeVR、vr_sim.md自主强化学习sim2real 策略迁移RL.mdYOLO 物体跟踪视觉伺服跟随software/examples仿真数字孪生环境simulation/Maniskill、simulation/mujoco动力学机器人动态操控能力社区开发者 Mitchell Chen 制作0.1.0 首个演示项目起点早期版本功能验证二、总体演示与项目起点演示页的第一个区块 总体Overall展示了 XLeRobot 0.3.0 版本的整体能力视频覆盖双臂操作、移动底盘、头部云台等全系统协同工作场景。从仓库结构看0.3.0 时代的能力集中在 software/src/robots/xlerobot 下的xlerobot.py、xlerobot_client.py、xlerobot_host.py其中xlerobot_client.py负责前端控制指令解析xlerobot_host.py负责底层硬件执行二者通过串口/网络协议协同构成完整的客户端-主机控制链路。页尾的 第一个演示 0.1.0 被官方标注为 XLeRobot 的起点where XLeRobot started记录了项目最初实现的双臂移动操作能力。从版本演进看硬件文件命名也印证了这条迭代路径hardware/step/XLeRobot_040/与XLeRobot_0_3_0.3mf、hardware/XLeRobot 0-3-0 new wheel connector.stl等文件说明机器人本体从 0.1.0 到 0.3.0、0.4.0 经历了持续的结构优化。三、VR 控制XLeVR 头显遥操作3.1 演示对应的真实系统XLeVR演示页的 VR控制 区块对应仓库中的 XLeVR 子系统。XLeVR 是一套完整的 VR 遥操作栈其架构可以从 XLeVR/vr_monitor.py 源码中清晰读出数据采集层xlevr/inputs/vr_ws_server.py 通过 WebSocket 服务器接收来自 VR 头显目前支持 Meta Quest3与双手柄的实时流数据核心数据结构层xlevr/inputs/base.py 定义ControlGoal与ControlMode统一封装控制目标监控服务层VRMonitor类XLeVR/vr_monitor.py同时拉起 VR WebSocket 服务与 HTTPS 静态服务为头显浏览器提供 web-ui 实时状态页面。3.2 核心数据结构 ControlGoal从xlevr/inputs/base.py与vr_monitor.py的字段打印逻辑print_control_goal方法可以确认ControlGoal的核心字段及其含义字段类型/取值含义armleft/right/headset数据来源设备类型modeControlMode枚举控制模式target_position3D 坐标numpy 数组/列表末端执行器目标位置wrist_roll_deg浮点数度手腕翻滚角度wrist_flex_deg浮点数度手腕俯仰角度gripper_closed布尔值夹爪开合状态metadata字典扳机、摇杆等附加输入信息VRMonitor内部用线程锁维护left_goal、right_goal、headset_goal三个独立目标槽并提供get_left_goal_nowait()、get_right_goal_nowait()、get_latest_goal_nowait(arm)等非阻塞读取接口供上层控制循环按需取用。3.3 启动 VR 监控服务在XLeVR目录下运行pip install -r requirements.txt python vr_monitor.py启动后终端会打印https://your-ip:8443形式的 HTTPS 地址用 VR 头显自带的浏览器打开即可看到实时控制数据页面。vr_monitor.py顶部的XLEVR_PATH变量指向 xlevr 包所在目录若将该脚本复制到其他项目使用需要修改此变量initialize()方法会通过setup_xlevr_environment()将XLEVR_PATH注入sys.path并切换工作目录。HTTPS 所需的cert.pem与key.pem已随仓库提供见 XLeVR/cert.pem、XLeVR/key.pem缺省配置由 XLeVR/config.yaml 与xlevr/config.py中的XLeVRConfig管理其中enable_vr、enable_keyboard、enable_https等开关在vr_monitor.py中被显式设置。3.4 真机与仿真两条 VR 应用路径仿真 VR 控制官方教程 vr_sim.md 给出了 ManiSkill 环境的启动命令python -m mani_skill.examples.demo_ctrl_action_ee_VR \ -e ReplicaCAD_SceneManipulation-v1 \ --render-modehuman \ --shaderrt-fast \ -c pd_joint_delta_pos_dual_arm \ -r xlerobot其中-e指定场景如ReplicaCAD_SceneManipulation-v1、AI2THOR、Robocasa-c指定双臂位置增量 PD 控制模式-r指定机器人模型为xlerobot。仓库中对应的仿真示例位于 simulation/Maniskill/examples/demo_ctrl_action_ee_VR.py。真机 VR 遥操作官方演示使用的正是这一链路对应示例脚本 software/examples/8_xlerobot_teleop_vr.py 与数据录制脚本 software/examples/8_vr_teleop_with_dataset_recording.py。真机 VR 遥操作的官方完整代码仍在迭代中参见 XLeRobot_teleop.md 第 8 节。VR 控制映射关系为移动控制器控制双臂末端位置扳机控制夹爪开合摇杆控制底座移动/旋转头显提供视点与姿态数据。四、自主强化学习Autonomous RL与 sim2real演示页的 自主强化学习 区块展示了 sim2real 视频sim2real_2.mp4。配套文档 RL.md 明确说明该演示基于 [lerobot-sim2real] 与 ManiSkill 的实现对摄像头方向与仿真物体分布做了小幅修改单 SO101 手臂场景也可参考 HIL-SERL 教程。完整 XLeRobot 双手机器人的官方 RL 代码仍在开发中。从仓库结构看强化学习依赖的仿真基础设施已经完备simulation/Maniskill/agents/xlerobot/xlerobot.py 注册了 XLeRobot 智能体simulation/Maniskill/assets/xlerobot/xlerobot.urdf 提供标准 URDF 描述另有xlerobot_front.urdf、xlerobot.srdf供不同仿真用途simulation/Maniskill/envs/scenes/base_env.py 提供场景基类演示页 仿真-场景展示 区块使用的各类缩略图如PushCube-v1、PickCube-v1、TwoRobotStackCube-v1等环境可在 docs/zh/_static/env_thumbnails 目录中找到它们是 ManiSkill 场景的数字孪生快照。五、基于 YOLO 的物体跟踪视觉伺服演示页的 基于YOLO的物体跟踪 区块展示机器人通过 YOLO 目标检测实时跟随物体的能力。仓库提供了完整的示例脚本族software/examples/3_so100_yolo_ee_control.py基于 YOLO 检测结果控制 SO101 手臂末端跟随目标software/examples/3_so100_yolo_ee_control_seg.py带实例分割的版本software/examples/3_so100_yolo_ee_follow.py连续跟随模式software/test_yolo.pyYOLO 检测的独立测试脚本。这类视觉伺服链路可视为感知-决策-执行闭环的典型示范YOLO 提供物体在图像中的位置先验再映射为机械臂末端的跟踪指令最终由SO101Robot模型software/src/model/SO101Robot.py下发关节运动。开发者可在此基础上替换自己的目标类别与跟随策略。六、仿真数字孪生与场景展示6.1 两大仿真后端演示页 仿真 区块包含仿真中的 VR 控制与场景展示两类视频对应仓库中的两套仿真方案ManiSkillsimulation/Maniskill/readme.md物理仿真精度高支持ReplicaCAD_SceneManipulation-v1默认、AI2THOR、Robocasa 厨房台面、OpenCabinetDrawer-v1等场景详见 simdemos.md。运行入口python simulation/Maniskill/run_xlerobot_sim.py其内部通过gym.make(PushCube-v1, obs_modestate, control_modepd_joint_delta_pos, render_modehuman, robot_uidsxlerobot_single, num_envs1)创建环境见 run_xlerobot_sim.py运行循环中支持 W/S 前进后退、A/D 底座旋转、方向键控制手臂、空格暂停等键盘交互关闭窗口即退出。MuJoCosimulation/mujoco/README.md轻量级仿真提供 xlerobot.xml含完整 STL 网格资产、scene.xml与 xlerobot_mujoco.py 加载脚本适合快速调试与批量数据生成。6.2 在更多场景中运行按照 simdemos.md 的说明开发者可通过修改-e参数在 XLeRobot 中使用多种 ManiSkill 环境ReplicaCAD_SceneManipulation-v1默认场景客厅级场景操作AI2THOR 场景室内导航操作Robocasa 厨房台面场景家务操作OpenCabinetDrawer-v1开柜门任务演示页环境缩略图库docs/zh/_static/env_thumbnails收录了 40 个环境的first/last帧缩略图包括StackCube-v1、PullCubeTool-v1、TwoRobotPickCube-v1、UnitreeG1PlaceAppleInBowl-v1等可直接用于文档与报告配图。七、动力学演示演示页 动力学 区块的视频由社区开发者 Mitchell Chen 制作展示 XLeRobot 在动态操控场景下的表现。该能力的基础来自移动底盘的驱动方案——仓库 hardware/odrive 提供了 ODrive 电机驱动板的 3D 打印外壳与安装方案software/examples/odrive 提供了odrive_controller.py基础控制、odrive_controller_web.pyWeb 控制、odrive_keyboard_test.py键盘测试与test_connection.py连接测试等示例说明项目对高动态驱动场景已有配套软硬件支撑。八、从演示到复现运行能力对照清单想复现的演示直接运行的命令/脚本前置条件VR 控制真机python XLeVR/vr_monitor.pypython software/examples/8_xlerobot_teleop_vr.pyMeta Quest3 头显、XLeVR 依赖、cert.pem/key.pemVR 控制仿真python -m mani_skill.examples.demo_ctrl_action_ee_VR -e ReplicaCAD_SceneManipulation-v1 --render-modehuman -c pd_joint_delta_pos_dual_arm -r xlerobotManiSkill 已安装YOLO 跟踪python software/examples/3_so100_yolo_ee_follow.py摄像头 SO101 手臂ManiSkill 仿真python simulation/Maniskill/run_xlerobot_sim.pyManiSkill gymnasium SAPIENMuJoCo 仿真python simulation/mujoco/xlerobot_mujoco.pyMuJoCo simulation/mujoco/requirements.txt键盘/Xbox/Joycon 遥操作software/examples/4_xlerobot_teleop_keyboard.py、5_xlerobot_teleop_xbox.py、7_xlerobot_teleop_joycon.py对应外设与 software/joyconroboticsJoycon 需按 joycon-robotics 方案安装九、社区演示与贡献方式演示页的 社区演示 区块收录了外部社区项目Astera Institute 的 BrainBot以 XLeRobot 为核心打造大脑袋机器人并配套 Web 可视化仪表盘Makermods展示基于 XLeRobot 的改造应用。官方在演示页明确欢迎社区贡献任何人通过修改 docs/zh/source/demos/index.md或英文版 docs/en/source/demos/index.md并提交 Pull Request即可将自己的演示视频加入该页面。这体现了该项目硬件开源 软件开源 演示开放的社区共建模式也是理解 XLeRobot 生态扩展方式的重要入口。十、延伸阅读VR 控制完整教程docs/zh/source/simulation/getting_started/vr_sim.md更多仿真场景docs/zh/source/simulation/getting_started/simdemos.md强化学习路线docs/zh/source/software/getting_started/RL.md遥操作总览键盘/Xbox/Joycon/VRdocs/zh/source/software/getting_started/XLeRobot_teleop.md项目总体说明README_CN.md【免费下载链接】XLeRobotXLeRobot: Practical Dual-Arm Mobile Home Robot for $660项目地址: https://gitcode.com/GitHub_Trending/xl/XLeRobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
