AzureKinectをBlenderから直接実行して点群データを取り込んでみた

本日は AzureKinect と Blender の調査枠です。
この記事は 3D Sensor Advent Calendar 2019 の8日目の記事になります。
qiita.com

今回はこれまで AzureKinect と Blender について学んだ技術を利用して、AzureKinectをBlenderから直接実行して点群データを取り込んでみます。

AzureKinectをBlenderから直接実行する

自作のBlenderアドオンを作成し、AzureKinect の実行と点群データの取り込みを行う UI を追加しました。
実行方法は空の Blender プロジェクトを用意して、アドオンの[Capture]ボタンをクリックするだけです。

すると PC に接続されている AzureKinect が実行され、以下の通り、キャプチャ結果の点群データが Blender に自動的に取り込まれます。

斜めから見ると、こんな感じです。
死角の部分は粗くなっていますが、それ以外は綺麗に点群が読み込まれています。
メートルサイズに補正しているため、サイズ感も合っています。

他のソフトを立ち上げることなく、3D編集ソフトに点群データを読み込めるため、点群を編集したい場合は便利……かもです。
以下は今回利用した技術要素です。

作成アドオンのスクリプトコード

今回作成した Python スクリプトを記述します。
以下の3つのスクリプトを作成しました。

__init__.py：アドオンの情報設定やUI/関数の登録を行う。アドオンは本スクリプトから実行される。
azure_kinect_capture.py：AzureKinectの操作を行う。AzureKinectSDKのサンプルをPythonモジュール化したもの。
ply_visualizer.py：点群の読み込みや表示を行う。Point Cloud Visualizerアドオンが必要。

・__init__.py

クリックで展開

# bpyインポート
import bpy
# osインポート(ディレクトリ取得のため)
import os
# sysインポート(システムパス追加のため)
import sys

# 読み込み元のディレクトリパスを取得
addon_dirpath = os.path.dirname(__file__)
# 読み込み元のディレクトリパスをシステムパスに追加
sys.path += [addon_dirpath]

# azure_kinect_captureインポート(AzureKinect処理呼び出しのため)
import azure_kinect_capture
# ply_visualizerインポート(PointCloudVisualizer処理呼び出しのため)
import ply_visualizer

# bl_infoの設定
bl_info = {
  "name": "AzurePointCaptureAddOn",             # プラグイン名
  "description": "AzurePointCapture AddOn",     # 説明文
  "author": "holomon",                          # 制作者名
  "version": (1, 0, 0, 0),                      # バージョン
  "blender": (2, 80, 0),                        # 動作可能なBlenderバージョン
  "support": "TESTING",                         # サポートレベル
  "category": "3D View",                        # カテゴリ名
  "location": "",                               # 機能の位置付け
  "warning": "",                                # 注意点やバグ情報
  "wiki_url": "",                               # ドキュメントURL
  "tracker_url": ""                             # サポートサイトURL
}

# AzurePointCapturePanelクラスの作成
class AZUREPOINTCAPTURE_PT_ui(bpy.types.Panel):
    bl_label = "AzurePointCapture Panel"
    bl_idname = "OBJECT_PT_AzurePointCapture"
    bl_space_type = "VIEW_3D"
    bl_region_type = "UI"
    bl_category = "AzureCapture Panel"

# 描画の定義
    def draw(self, context):
        self.layout.operator("azure_point_capture.execute")

# 登録関数
class AZUREPOINTCAPTURE_OT_capture(bpy.types.Operator):
    bl_label = "Azure Point Capture"
    bl_idname = "azure_point_capture.execute"
    bl_description = "Point Importer by PointCloudVisualizer"

    def execute(self, context):
        # PLYファイルの出力ディレクトリを取得する
        # (.blendファイルのディレクトリに出力する)
        work_dir = get_blend_dirpath()
        # PLYファイルの出力ディレクトリが取得できなければ処理を行わない
        # (.blendファイル未保存時に本分岐に入る)
        if work_dir == "":
            self.report({'ERROR'}, "error : .blend Project not found")
            return {'FINISHED'}
        # 出力ディレクトリを指定してAzureKinectでのPLYファイル出力を実行する
        ply_filepath = azure_kinect_capture.point_capture(arg_exportdir = work_dir)
        # PLYファイルパスが空文字の場合は処理を行わない
        # (AzureKinectの実行に失敗した場合)
        if ply_filepath == "":
            self.report({'ERROR'}, "error : azure_kinect_capture execute")
            return {'FINISHED'}
        # PLYファイルの読み込み
        ply_visualizer.load_kinect_ply(arg_plyfilepath = ply_filepath)
        return {'FINISHED'}

# 処理関数
def get_blend_dirpath() -> str:
    """現在のblendファイルのディレクトリパスを取得する
    
    Returns:
        str -- blendディレクトリパス(.blend未保存時は空文字を返却する)
    """
    # blendファイルのパスを取得
    filepath = bpy.data.filepath
    # blendファイルが未保存の場合は空文字が返る
    if filepath == "":
        # 戻り値にも空文字を返す
        return ""
    # blendフォイルのディレクトリパスを取得
    dirpath = os.path.dirname(filepath)
    return dirpath


# 登録対象のクラス名
regist_classes = (
    AZUREPOINTCAPTURE_PT_ui,
    AZUREPOINTCAPTURE_OT_capture,
)


# AzureCaptureの登録
def register():
    for regist_cls in regist_classes:
        bpy.utils.register_class(regist_cls)

# AzureCaptureの解除
def unregister():
    for regist_cls in regist_classes:
        bpy.utils.unregister_class(regist_cls)

# 実行例：[AzureCaptureの登録]を実施
if __name__ == "__main__":
    register()

・azure_kinect_capture.py

クリックで展開

# bpyインポート
import bpy
# osインポート(ディレクトリ取得のため)
import os
# sysインポート(システムパス追加のため)
import sys

# 読み込み元のディレクトリパスを取得
addon_dirpath = os.path.dirname(__file__)
# 読み込み元のディレクトリパスをシステムパスに追加
sys.path += [addon_dirpath]

# kinect_captureインポート(Kinect実行のため)
import kinect_capture

# 実行関数群
def point_capture(arg_exportdir = ".") -> str:
    """呼び出し用関数
    
    Keyword Arguments:
        arg_exportdir {str} -- PLY出力ディレクトリ (default: {"."})
    
    Returns:
        bool -- 出力PLYファイルパス(実行失敗時は空文字)
    """
    # AzureKinect のキャプチャ実行
    isResult = execute_azure_capture(arg_exportdir = arg_exportdir)
    # 実行成否の確認
    if isResult != 0:
        # 実行に失敗した場合は空文字を返す
        return ""
    # 出力に成功していれば color_to_depth.ply へのパスを返す
    ply_filepath = arg_exportdir + "\\color_to_depth.ply" 
    return ply_filepath

def execute_azure_capture(arg_exportdir = ".") -> int:
    """AzureCaptureモジュールの実行
    
    Keyword Arguments:
        arg_exportdir {str} -- PLYファイルの出力ディレクトリ (default: {"."})
    
    Returns:
        bool -- 実行成否(成功時：0)
    """
    # キャプチャモジュールの実行
    is_result = kinect_capture.capture(arg_exportdir)
    return is_result

・ply_visualizer.py

クリックで展開

# bpyインポート
import bpy

# mathインポート(角度計算のため)
import math

# 本モジュールは Point Cloud Visualizer アドオンが有効な環境下でのみ動作する
# https://blenderartists.org/t/point-cloud-visualizer/684180

# 実行関数群
def load_kinect_ply(arg_objectname = "Points", arg_plyfilepath = "") -> bool:
    """AzureKinectのPLYファイルの点群データを新規オブジェクトに読み込む
    
    Keyword Arguments:
        arg_objectname {str} -- 読み込み用オブジェクト名 (default: {"Points"})
        arg_plyfilepath {str} -- 読み込みPLYファイルパス (default: {""})
    
    Returns:
        bool -- 実行正否
    """
    # エンプティオブジェクトの作成
    isResult = make_empty_object(arg_objectname = arg_objectname)
    # 実行成否の確認
    if isResult == False:
        return False
    # plyファイルをPointCloudへ読み込み
    isResult = load_ply_visualizer(arg_objectname = arg_objectname, arg_filepath = arg_plyfilepath)
    # 実行成否の確認
    if isResult == False:
        return False
    # AzureKinectに合わせたトランスフォームの補正を行う
    set_kinect_transform(arg_objectname = arg_objectname)
    return True


def make_empty_object(arg_objectname = "Default") -> bool:
    """エンプティオブジェクトの作成
    
    Keyword Arguments:
        arg_objectname {str} -- 生成オブジェクト名 (default: {"Default"})
    
    Returns:
        bool -- 実行成否
    """
    # エンプティオブジェクトを作成する
    bpy.ops.object.empty_add(
        type='PLAIN_AXES',
        location=(0.0, 0.0, 0.0),
        rotation=(0.0, 0.0, 0.0)
        )
    # 作成したオブジェクトの参照を取得する
    ob = bpy.context.view_layer.objects.active
    # オブジェクト名を変更する
    ob.name = arg_objectname
    # スケールを変更する
    ob.scale=( 1, 1, 1 )
    # 選択状態を解除する
    ob.select_set(False)
    return True

def load_ply_visualizer(arg_objectname = "Default", arg_filepath = "") -> bool:
    """PointCloudVisualizerへのPLYファイル読み込み
    
    Keyword Arguments:
        arg_objectname {str} -- 読み込み用オブジェクト名 (default: {"Default"})
        arg_filepath {str} -- 読み込みPLYファイルパス (default: {""})
    
    Returns:
        bool -- 実行成否
    """
    # 指定オブジェクトを取得する
    activeob = bpy.context.view_layer.objects[arg_objectname]
    # 対象オブジェクトをアクティブに変更する
    bpy.context.view_layer.objects.active = activeob
    # ポイントクラウドへの読み込み
    bpy.ops.point_cloud_visualizer.load_ply_to_cache(filepath=arg_filepath)
    # ドロー実行
    bpy.ops.point_cloud_visualizer.draw()
    return True

def set_kinect_transform(arg_objectname = "Default"):
    """AzureKinectの点群データのトランスフォームの補正を行う
    
    Keyword Arguments:
        arg_objectname {str} -- 補正対象オブジェクト名 (default: {"Default"})
    """

    # 指定オブジェクトを取得する
    selectob = bpy.context.scene.objects[arg_objectname]
    # 位置を変更する(位置は変更無し)
    selectob.location.x = 0.0
    selectob.location.y = 0.0
    selectob.location.z = 0.0
    # 回転を変更する(Y軸方向が奥行になるようX軸回転を行う)
    selectob.rotation_euler.x = 2 * math.pi / 360 * -90.0
    selectob.rotation_euler.y = 0.0
    selectob.rotation_euler.z = 0.0
    # 拡大縮小を変更する(点群データはmm単位なのでメートルサイズに補正する)
    selectob.scale.x = 0.001
    selectob.scale.y = 0.001
    selectob.scale.z = 0.001
    return

BlenderからAzureKinectを実行する方法

Blender から AzureKinect を実行する方法には以下のサンプルプログラムの Python モジュール化の技術を利用しています。
bluebirdofoz.hatenablog.com

こちらの手順で作成した pyd ファイルと参照ライブラリを Blender アドオンの一部として利用しています。

アドオンのインストールとパネルの表示

pyd ファイルを参照するアドオンの作成方法とインストール手順は以下により詳しく記事にしています。
bluebirdofoz.hatenablog.com

Blender の UI にパネルを追加する方法は以下の記事の手順を利用しています。
bluebirdofoz.hatenablog.com

点群データの表示

Blender で点群データを表示するため、Point Cloud Visualizer アドオンを利用しています。
本アドオンを利用することで点群の様々な表示や編集が行えるようになります。
以下の記事でアドオンの利用方法とインストール手順を紹介しています。
bluebirdofoz.hatenablog.com

最後に

明日の 3D Sensor Advent Calendar 2019 は @UnagiHuman さんの「Realsenseと再帰性反射材で簡易モーショントラッキングを作ってみた話をします」です。
qiita.com