ML Agents Roller Ball by pixeless - 1

AIGames & Projects

Unity ml-agents RollerBall example and some experiments

Unity 2018.3.9f1Apache License 2.0Updated 9 days agoCreated on May 22nd, 2019
Go to source

MLAgents-RollerBall

ml-agents是Unity提供的一套开源的深度强化学习工具包,官方提供了大量的范例以供学习。

本工程基于官方文档中作为教学的简单范例RollerBall:训练AI控制一个小球在一个平台上靠近方块所代表的目标点,并避免跌落平台。

AI只能获得小球当前的位置和速度,以及目标点的位置,然后决定应该施加何种方向的力,让小球滚动到目标点。

在学习范例的过程中增加了一些扩展实验,以供学习和加深理解之用。

开发环境

  • Unity 2018.3.9f1 Personal
  • Unity ML-Agents Toolkit v0.8
  • Python 3.6.8

ml-agents工具包安装步骤

  • 安装Unity 2017.4或更新版本

  • 获取ml-agents源码

    $ git clone https://github.com/Unity-Technologies/ml-agents.git

    使用本工程中的范例程序不需要额外下载,ml-agents相关代码已经包含在工程代码中。

  • 安装Pyton3.6以及mlagents包

    $ pip3 install mlagents

    注意:不支持Python3.7和Python3.5

numpy版本问题

由于在Python中安装ml-agents包时需要依赖numpy,而最新的numpy包(>1.13.0)和ml-agents有兼容问题,在训练时会报如下错误:

“Unable to shuffle if the fields are not of same length”

解决办法:卸载numpy包,重新安装1.13.0版本的numpy

$ pip3 uninstall numpy
$ pip3 install numpy==1.13.0

实验<1>

  1. 在Unity中打开Assets/Experiment/Experiment1/Scenes/RollerScene1场景

  2. 进入Train/Experiment1文件夹,运行训练程序

    $ cd Train/Experiment1
    $ mlagents-learn config/config.yaml --run-id=RollerBall-1 --train
    

    在Unity编辑器中,点击“运行”,开始训练

  3. 查看训练报告

    tensorboard --logdir=summaries

    进入http://localhost:6006查看报告

训练结果

训练报告

报告

实验<2>

  1. 在Unity中打开Assets/Experiment/Experiment2/Scenes/RollerTrainScene2场景

  2. 进入Train/Experiment2文件夹,运行训练程序

    $ cd Train/Experiment2
    $ mlagents-learn config/config1.yaml --run-id=RollerBall-1 --train
    

    在Unity编辑器中,点击“运行”,开始训练

  3. 查看训练报告

    $ tensorboard --logdir=summaries

    进入http://localhost:6006查看报告

训练结果

训练报告

报告

Show all projects by pixeless