MRが楽しい

MRやVRについて学習したことを書き残す

Unity AIのドキュメントを読む その36(推論エンジンの概要)

本日はUnityの技術調査枠です。
Unity AIのドキュメントを読みながら実際に操作を試して記事に残します。

Unity AI

以下のUnity AIのドキュメントを試しながら実行時のキャプチャをしていきます。
docs.unity3d.com

推論エンジンの概要

推論エンジンはUnity向けのニューラルネットワーク推論ライブラリです。学習済みのニューラルネットワークモデルをUnityにインポートします。
これにより、中央処理装置(CPU)やグラフィック処理装置(GPU)などのターゲットデバイスのコンピューティングリソースを使用してリアルタイムで実行できます。

推論エンジンはUnityがサポートする全てのプラットフォームでリアルタイムアプリケーションをサポートします。
このパッケージは正式にリリースされており、パッケージマネージャーを通じて全てのUnityユーザーが利用できます。

TensorFlowやPyTorchなどの機械学習フレームワークの使用経験があれば役立ちますが必須ではありません。
Inference Engineでモデルを操作する方法を理解しやすくなります。

サポートされているプラ​​ットフォーム

推論エンジンは全てのUnityランタイムプラットフォームをサポートしています。
パフォーマンスは以下の要因によって異なる場合があります。

  • モデル演算子と複雑さ
  • バイスのハードウェアおよびソフトウェアプラットフォームの制約
  • 使用するエンジンの種類

サポートされているモデルタイプ

推論エンジンはOPSETバージョン7~15のOpen Neural Network Exchange(ONNX)形式のほとんどのモデルをサポートしています。

事前学習済みモデルを見つける場所

事前学習済みモデルは様々な場所で入手できます。
ONNX形式で提供されている場合もあれば変換可能な形式で入手できる場合もあります。

例としては以下のものがあります。

Hugging Face

huggingface.co

Kaggle Models(旧TensorFlow Hub)

www.kaggle.com

PyTorch Hub

pytorch.org

Model Zoo

github.com

XetData

github.com

Meta Research

github.com

独自のモデルを学習したい場合は以下のリンクを参照してください。