py-k4aを使ってPythonからAzureKinectを利用する その２（Pythonスクリプトでの実行）

本日はAzureKinectの調査枠です。
py-k4aを使ってPythonからAzureKinectを利用してみます。
今回はインストールした py-k4a を Python スクリプトから実行してみます。

前回記事の続きです。
bluebirdofoz.hatenablog.com

サンプルスクリプトの実行

py-k4a には予め example.py という動作確認用のサンプルが付属しています。
展開ディレクトリで右クリックから[PowerShellウィンドウをここに開く]をクリックします。

PowerShell で以下のコマンドを実行し、example.py を実行してみます。

python .\example.py

実行が完了すると、ディレクトリに test.jpg が出力されます。
RGBカメラのキャプチャ画像が出力されていれば成功です。

著者環境では実行時に以下のエラーが発生しました。

[2019-11-21 08:09:53.425] [error] [t=11032] D:\a\1\s\extern\Azure-Kinect-Sensor-SDK\src\allocator\allocator.c (118): k4a_capture_t_get_context(). Invalid k4a_capture_t 000002826A88A060
[2019-11-21 08:09:53.425] [error] [t=11032] D:\a\1\s\extern\Azure-Kinect-Sensor-SDK\src\allocator\allocator.c (295): Invalid argument to capture_dec_ref(). capture_handle (000002826A88A060) is not a valid handle of type k4a_capture_t
[2019-11-21 08:09:53.425] [error] [t=11032] D:\a\1\s\extern\Azure-Kinect-Sensor-SDK\src\image\image.c (51): k4a_image_t_get_context(). Invalid k4a_image_t 000002826A6FF140
[2019-11-21 08:09:53.426] [error] [t=11032] D:\a\1\s\extern\Azure-Kinect-Sensor-SDK\src\image\image.c (333): Invalid argument to image_dec_ref(). image_handle (000002826A6FF140) is not a valid handle of type k4a_image_t

本エラーが発生しても動作には問題ありませんが、現状エラー原因は不明です。

Depth画像の取得

サンプルスクリプトはRGBカメラの画像出力のみなので、試しに Depth 画像の出力も行ってみます。
Python スクリプト側で 16bit 深度の png 画像を出力する必要があるので、python-opencv をインストールします。

opencv-python は pip でのインストールが可能です。PowerShell を起動し、以下のコマンドを実行します。

python -m pip install -U opencv-python

Python にパスを通していない場合は Python
のインストールディレクトリで以下のコマンドを実行します。

.\python -m pip install -U opencv-python

サンプルスクリプトとして、example.py を改変して以下の Python スクリプトを作成しました。
・example_depth.py

クリックで展開

import k4a
import faulthandler

# OpenCVとnumpy(配列)をインポート
import cv2
import numpy as np

faulthandler.enable()

dev = k4a.Device()
if k4a.device_open(0, dev):
    serial = k4a.device_get_serialnum(dev)
    version = k4a.device_get_version(dev)
    print("Opened device {} {}\n".format(serial, version))

    config = k4a.DeviceConfiguration()
    config.color_format = k4a.K4A_IMAGE_FORMAT_COLOR_MJPG
    config.color_resolution = k4a.K4A_COLOR_RESOLUTION_2160P
    config.depth_mode = k4a.K4A_DEPTH_MODE_NFOV_UNBINNED
    config.camera_fps = k4a.K4A_FRAMES_PER_SECOND_30
    config.synchronized_images_only = True

    if k4a.device_start_cameras(dev, config):
        capture = k4a.Capture()
        res = k4a.device_get_capture(dev, capture, 1000)
        if res == k4a.K4A_WAIT_RESULT_SUCCEEDED:
            # イメージの取得を capture_get_depth_image に差し替え
            img = k4a.capture_get_depth_image(capture)
            if img:
                w = k4a.image_get_width_pixels(img)
                h = k4a.image_get_height_pixels(img)
                s = k4a.image_get_stride_bytes(img)
                print('Capture: {} x {} @ {}'.format(h, w, s / w))
                # イメージをバイト列として取得する
                writebuf = k4a.image_get_buffer(img)
                # 深度データは 16bit なので連続する 2byte を1つの数値データにまとめる
                depth_list = []
                loopcount = int(len(writebuf) / 2)
                for i in range(loopcount):
                    depth_val = writebuf[(i * 2) + 1] << 8 | writebuf[i * 2]
                    depth_list.append(depth_val)
                # 数値リストを高さ×幅の配列データに変換する
                src = np.array(depth_list, dtype=np.uint16).reshape(h, w)

                try:
                    # OpenCV の imwrite で png ファイルに出力する
                    cv2.imwrite('16pngtest.png', src)

                    k4a.image_release(img) #I think this is working
                    k4a.capture_release(capture) #I don't think this is working
                except:
                    import sys
                    print("Unexpected error:", sys.exc_info()[0])
            else:
                print('get image failed!')
        else:
            print('Capture failed!')
    else:
        print("Failed to start cameras!")

    k4a.device_stop_cameras(dev)
    k4a.device_close(dev)
    print("Closed")
else:
    print("Failed to open device")

以下のコマンドを実行し、example_depth.py を実行してみます。

python .\example_depth.py

実行が完了すると、ディレクトリに 16pngtest.jpg が出力されます。
深度の距離が浅いのでビューアソフトで開いても、ほとんど真っ暗な画像が表示されます。

試しに以下の手順を流用し、Blender に読み込んでディスプレイスメントで凹凸として画像を読み込んでみました。
bluebirdofoz.hatenablog.com
凹凸が再現できていれば成功です。