本文简单介绍如何使用宇树开源的强化学习运动控制仓库unitree_rl_gym实现对宇树G1,H1,H1_2机器人的训练和部署。

【实验教学目标 】

效果展示

Isaac Gym	Mujoco	Physical

【主要仪器设备 】

安装配置

在使用unitree_rl_gym这个库之前，需要先搭建开发环境。具体的安装和配置步骤请参考 安装配置

• 系统推荐：Ubuntu >18.04

• 显卡：Nvidia显卡

• 驱动推荐：>525

1. 创建虚拟环境

运行训练或者部署的程序，最好在虚拟环境中进行。推荐使用conda创建虚拟环境，如果系统中已经有conda了，可以跳过 1.1 步骤。

1.1 下载并安装MiniConda

MiniConda是一种轻量级的Conda发行版，适用于创建和管理虚拟环境。

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3rm ~/miniconda3/miniconda.sh

安装完成后，您需要初始化Conda：

~/miniconda3/bin/conda init --allsource ~/.bashrc

1.2 创建新的环境

conda create -n unitree-rl python=3.8

1.3 进入虚拟环境

conda activate unitree-rl

2. 安装依赖的python包

2.1 Pytorch

pytorch是神经网络的计算框架，可以用来进行神经网络的推理和反向传播。

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

2.2 安装IsaacGym

Isaac Gym是Nvidia公司提供的一个独立的刚体仿真和训练框架

2.2.1 下载

从Nvidia官网下载isaac-gym: https://developer.nvidia.com/isaac-gym

2.2.2 安装

解压并进入 isaacgym/python 文件夹中并安装

cd isaacgym/python && pip install -e .

2.2.3 验证

验证一下isaac gym是否正确安装。

执行下面的命令会看到启动一个窗口，有1080个球下落

cd examples && python 1080_balls_of_solitude.py

如果遇到问题，可以打开 isaacgym/docs/index.html，参考isaac gym的文档。

2.3 安装rsl_rl

rsl_rl库是提供强化学习算法的实现库。

2.3.1 下载

使用git clone进行下载

git clone https://github.com/leggedrobotics/rsl_rl.git

2.3.2 切换分支

进入到rsl_rl文件夹中切换到v1.0.2分支

cd rsl_rl && git checkout v1.0.2

2.3.3 安装

pip install -e .

2.4 安装unitree_rl_gym

2.4.1 下载

使用git clone进行下载

git clone https://github.com/unitreerobotics/unitree_rl_gym.git

2.4.2 进入并安装

cd unitree_rl_gym && pip install -e .

2.5 安装unitree_sdk2py(可选)

unitree_sdk2py库是用来和实物机器人通信的库。

如果想要将训练的模型部署到实物机器人上运行，需要安装unitree_sdk2py。

2.5.1 下载

使用git clone进行下载

git clone https://github.com/unitreerobotics/unitree_sdk2_python.git

2.5.2 进入并安装

cd unitree_sdk2_python & pip install -e .

【实验项目设置 】