MRが楽しい

MRやVRについて学習したことを書き残す

Unity AIのドキュメントを読む その44(推論エンジンのサポートモデル)

本日はUnityの技術調査枠です。
Unity AIのドキュメントを読みながら実際に操作を試して記事に残します。

Unity AI

以下のUnity AIのドキュメントを試しながら実行時のキャプチャをしていきます。
docs.unity3d.com

サポートモデル

オープンソースモデルを推論エンジンプロジェクトにインポートできます。
以下のセクションを参照し、推論エンジンがサポートするモデルを理解してプロジェクトに適したモデルを見つけてください。

事前トレーニング済みモデル

事前トレーニング済みモデルはONNX形式または変換可能な形式でダウンロードするなど様々な方法で入手できます。
以下に入手先のリンク例を示します。

Hugging Face

huggingface.co

Kaggle Models (Formerly TensorFlow Hub)

www.kaggle.com

PyTorch Hub

pytorch.org

Model Zoo

github.com

XetData

github.com

Meta Research

github.com

独自のモデルをトレーニングしたい場合は以下のリンクを参照してください。

Hugging Faceのモデル

Hugging Faceからは推論エンジンで使用できる検証済みのAIモデルにアクセスできます。
これらのモデルは既に.sentis形式に変換されているため、ONNXから手動で変換する必要はありません。
huggingface.co

Hugging Faceのモデルを閲覧してダウンロードするにはUnityのHugging Faceスペースに移動し、[Model(モデル)]セクションでモデルを選択してください。
huggingface.co

各モデルページには[How to Use(使用方法)]セクションがあり、Unityプロジェクトへのインポート手順が記載されています。

ONNXモデル

ONNX形式のモデルをインポートすることもできます。推論エンジンはopsetバージョン7から15までのほとんどのONNXモデルをサポートしています。
opsetバージョンがこの範囲外(たとえば、7 未満または 15 超)のモデルでもインポートは可能ですが、結果は予測できない可能性があります。

サポートされていないモデル

推論エンジンは以下のモデルをサポートしていません。

推論エンジンはブール値などの一部のテンソルデータ型を浮動小数点数または整数に変換します。
これにより、モデルのメモリ使用量が増加する可能性があります。