MRが楽しい

MRやVRについて学習したことを書き残す

Azure-Kinect-Unity-Body-Trackerを使ってUnity上でボディトラッキングを試す

本日は AzureKinect の調査枠です。
Azure Kinect DK Meetup vol.00 で紹介された以下のプロジェクトを試してみたので手順を記事にします。
github.com
f:id:bluebirdofoz:20190827092244j:plain
Azure-Kinect-Unity-Body-Trackerを使うとAzureKinectのBodyTrackingをUnity上で試すことができます。
映像をNativeのメモリ参照で受け渡しているため、とてもレスポンスが早いです。

プロジェクトの対応環境

2019/08/26現在のプロジェクトは以下の環境に対応しています。

Unity2019.2.x
Azure Kinect SDK v1.2.0
Azure Kinect Body Tracking SDK v0.9.1

Azure Kinect SDK の 1.2.0 と Azure Kinect Body Tracking SDK v0.9.1 は以下から取得できます。
github.com
www.microsoft.com

プロジェクトの準備

以下の GitHub ページからGitまたはZIPファイルでプロジェクトを取得します。
今回は[DownloadZIP]からZIPファイルでプロジェクトを取得しました。
f:id:bluebirdofoz:20190827092742j:plain

プロジェクトを展開したら幾つかの必要なファイルをプロジェクトにコピーします。
f:id:bluebirdofoz:20190827092750j:plain

Azure Kinect SDK v1.2.0 の tools 配下にある depthengine_2_0.dll を以下のディレクトリにコピーします。
・Azure-Kinect-Unity-Body-Tracker\K4AUnityBT\Assets\K4AUnityBT\Plugins\x86_64
f:id:bluebirdofoz:20190827092801j:plain

Azure Kinect Body Tracking SDK の tools 配下にある dnn_model.onnx, onnxruntime.dll を以下のディレクトリにコピーします。
・Azure-Kinect-Unity-Body-Tracker-master\K4AUnityBT
f:id:bluebirdofoz:20190827093249j:plain

Azure Kinect Body Tracking SDK を v0.9.1 でインストールした場合、CUDAまたはCuDNNにパスが通っていない可能性があります。
この場合は追加で Azure Kinect Body Tracking SDK の tools 配下にある cublas64_100.dll, cudart64_100.dll, cudnn64_7.dll を以下のディレクトリにコピーします。
・Azure-Kinect-Unity-Body-Tracker-master\K4AUnityBT
f:id:bluebirdofoz:20190827092823j:plain

プロジェクトを開く

準備が完了したら対応バージョンの Unity でプロジェクトを開きます。
Aseets 配下の SampleScene.unity を開きます。
f:id:bluebirdofoz:20190827092835j:plain

この状態で再生してみると以下の通り、Unity上でボディトラッキングが動作しました。
f:id:bluebirdofoz:20190827092845j:plain