寫在前面
去年八月，谷歌發佈了 Dopamine，這是一款靈活的強化學習框架。初始版本專注於特定類型的 RL 研究：基於 Arcade 學習環境（一個成熟的、易於理解的基準）和四個基於值的代理 DQN、C51、Rainbow 代理的簡化版本以及隱式分位數網絡代理實現的。
開源地址：https://github.com/google/dopamine
據官方博客介紹：
開發小組收到的最常見的請求之一是對更多環境的支持。這證實了他們在內部看到的情況，在測試新算法時，OpenAI 的 Gym 支持的簡單環境非常有用。於是，谷歌正式發佈 Dopamine 2.0，這一版本包括了對離散域 Gym 環境 (如離散狀態和動作) 的支持。框架的核心保持不變，只是簡單地概括了與環境的接口。為了向後兼容，用戶仍然可以下載 1.0 版本。
此外，新版本還包括兩個經典控制環境的默認配置：CartPole 和 Acrobot；在這些環境中，用戶可以在幾分鐘內訓練 Dopamine 代理。與標準 Atari 2600 遊戲的訓練時間（標準 GPU 上大約 5 天）相比，這些環境允許研究人員在更大規模的 Atari 遊戲上測試比之前更快地迭代研究思路。新版本還包括一個合作實驗室，演示如何在 Cartpole 和 Acrobot 上訓練代理。最後，GymPreprocessing 類為如何將 Dopamine 與其他自定義環境一起使用提供了示例。
分享到:
閱讀更多 SAPmatinal 的文章
