在安裝好mujoco，mujoco_py的基礎上，安裝d4rl，D4RL的github：https://github.com/rail-berkeley/d4rl 有介紹安裝方法，但直接安裝會報各種錯誤。

1.先安裝兩個庫檔案，避免報錯 pip install absl-py pip install matplotlib

2.安裝 dm_control pip install dm_control ，如果不先安裝dm_control，會報錯：

 3. 克隆D4RL倉庫：

git clone https://github.com/rail-berkeley/d4rl.git

4.找到d4rl目錄下的setup.py檔案，註釋mujoco_py, dm_control, mjrl:

    注意一定要註釋掉mjrl,否則會報錯：

 5. 安裝：

  pip install -e .

6.安裝mjrl ： pip install git+https://github.com/aravindr93/mjrl@master#egg=mjrl

7. 測試：

import gym
import d4rl # Import required to register environments

# Create the environment
env = gym.make('maze2d-umaze-v1')

# d4rl abides by the OpenAI gym interface
env.reset()
env.step(env.action_space.sample())

# Each task is associated with a dataset
# dataset contains observations, actions, rewards, terminals, and infos
dataset = env.get_dataset()
print(dataset['observations']) # An N x dim_observation Numpy array of observations

# Alternatively, use d4rl.qlearning_dataset which
# also adds next_observations.
dataset = d4rl.qlearning_dataset(env)

 

8. 最終效果：

參考文獻：

      1. 離線強化學習(Offline RL)系列2: (環境篇)D4RL資料集簡介、安裝及錯誤解決  （ https://zhuanlan.zhihu.com/p/489475047）

      2. 安裝Mujoco、Mujoco_py、D4RL、gym、d3rlpy以及Pycharm遠端連線伺服器問題  （https://zhuanlan.zhihu.com/p/434073300）