/ml-agents

Unity Machine Learning Agents Toolkit (ML-Agents)是一个开源项目,它使游戏和模拟能够作为使用深度强化学习和模仿学习训练智能代理的环境

Primary LanguageC#OtherNOASSERTION

Unity ML-Agents Toolkit

docs badge

license badge

(latest release) (all releases)

Unity Machine Learning Agents Toolkit (ML-Agents)是一个开源软件 项目,使游戏和模拟作为环境训练智能代理。我们提供实现(基于PyTorch)最先进的算法,使游戏开发者和爱好者轻松为2D、3D和VR/AR游戏训练智能代理。研究人员也可以使用提供了简单易用的Python API来使用强化学习训练agent,模仿学习,神经进化或其他方法。这些训练有素的特工可以用于多种目的,包括控制NPC行为设置,如多代理和对抗性),自动测试游戏构建在发行前评估不同的游戏设计决策。的ML-Agents工具包对游戏开发者和AI研究人员都是互惠互利的提供了一个**平台,可以在Unity上评估人工智能的进步然后制作了丰富的环境,便于更广泛的研究和游戏开发者社区。

Features

  • 17+ 示例 Unity 环境
  • 支持多种环境配置和训练场景
  • 灵活的 Unity SDK,可以集成到您的游戏或自定义 Unity 场景中
  • 支持通过多种深度强化学习算法(PPO、SAC、MA-POCA、self-play)训练单代理、多代理合作和多代理竞争场景。
  • 支持通过两种模仿学习算法(BC 和 GAIL)从演示中学习。
  • 快速轻松地添加您自己的 自定义训练算法 或组件.
  • 针对复杂任务轻松定义的课程学习场景
  • 使用环境随机化训练健壮的代理
  • 通过按需决策制定灵活的代理控制
  • 使用多个并发 Unity 环境实例进行训练
  • 利用 Unity 推理引擎(Unity-Inference-Engine.md) 提供原生跨平台支持
  • Unity环境 Python控制
  • 利用 Unity推理引擎 gym 提供原生跨平台支持
  • 将 Unity 学习环境包装为 PettingZoo 环境

有关所有这些功能的详细说明,请参阅我们的ML-Agents 概述页面 或者直接访问我们的[网络文档] (https://unity-technologies.github.io/ml-agents/).

发布和文档

Our latest, stable release is Release 20. Click here to get started with the latest release of ML-Agents.

您还可以查看我们的新网络文档!

下表列出了我们所有的版本,包括我们正在积极开发并且可能不稳定的主要main分支。 一些有用的指南:

  • Versioning page 版本控制 页面概述了我们如何管理我们的 GitHub 版本以及每个 ML-Agents 组件的版本控制过程。
  • Releases page 版本页面 版本页面包含版本之间更改的详细信息。
  • Migration page 迁移页面 包含有关如何从早期版本的 ML-Agents 工具包升级的详细信息。
  • 下表中的文档链接包括特定于每个版本的安装和使用说明。 请记住始终使用与您正在使用的发行版本相对应的文档。
  • com.unity.ml-agents 包已针对 Unity 2020.1 及更高版本进行verified 验证。 已验证的软件包版本编号为 1.0.x
Version Release Date Source Documentation Download Python Package Unity Package
Release 20 November 21, 2022 source docs download 0.30.0 2.3.0
main (unstable) -- source docs download -- --
Verified Package 1.0.8 May 26, 2021 source docs download 0.16.1 1.0.8

如果您是一名研究人员,对将 Unity 作为 AI 平台进行讨论感兴趣,请参阅我们关于。 Unity 和 ML-Agents 工具包的参考论文的预印本.

如果您使用 Unity 或 ML-Agents Toolkit 进行研究,我们要求您引用以下论文作为参考:

@article{juliani2020,
  title={Unity: A general platform for intelligent agents},
  author={Juliani, Arthur and Berges, Vincent-Pierre and Teng, Ervin and Cohen, Andrew and Harper, Jonathan and Elion, Chris and Goy, Chris and Gao, Yuan and Henry, Hunter and Mattar, Marwan and Lange, Danny},
  journal={arXiv preprint arXiv:1809.02627},
  year={2020}
}

此外,如果您在研究中使用 MA-POCA 训练器,我们要求您引用以下论文作为参考:

@article{cohen2022,
  title={On the Use and Misuse of Abosrbing States in Multi-agent Reinforcement Learning},
  author={Cohen, Andrew and Teng, Ervin and Berges, Vincent-Pierre and Dong, Ruo-Ping and Henry, Hunter and Mattar, Marwan and Zook, Alexander and Ganguly, Sujoy},
  journal={RL in Games Workshop AAAI 2022},
  year={2022}
}

Additional Resources 额外资源

我们有一个 Unity Learn 课程, ML-Agents: Hummingbirds, 它提供了对 Unity 和 ML-Agents Toolkit的简单介绍.

我们还与Youtuber CodeMonkeyUnity 合作创建了 一系列的视频教程 介绍如何实施和使用 ML-Agents Toolkit。

我们还发布了一系列与 ML-Agents 相关的博文:

More from Unity

Community and Feedback

ML-Agents 工具包是一个开源项目,我们鼓励并欢迎贡献。 如果您想做出贡献,请务必查看我们的 贡献指南 and 行为守则.

For problems with the installation and setup of the ML-Agents Toolkit, or discussions about how to best setup or train your agents, please create a new thread on the Unity ML-Agents forum and make sure to include as much detail as possible. If you run into any other problems using the ML-Agents Toolkit or have a specific feature request, please submit a GitHub issue.

Please tell us which samples you would like to see shipped with the ML-Agents Unity package by replying to this forum thread.

Your opinion matters a great deal to us. Only by hearing your thoughts on the Unity ML-Agents Toolkit can we continue to improve and grow. Please take a few minutes to let us know about it.

For any other questions or feedback, connect directly with the ML-Agents team at ml-agents@unity3d.com.

Privacy

In order to improve the developer experience for Unity ML-Agents Toolkit, we have added in-editor analytics. Please refer to "Information that is passively collected by Unity" in the Unity Privacy Policy.