MRが楽しい

MRやVRについて学習したことを書き残す

3DF Zephyrで360度ビデオを直接取り込んでフォトグラメトリを行う

本日は技術調査枠です。
3DF Zephyr で360度ビデオを直接入力として利用してフォトグラメトリを行います。
f:id:bluebirdofoz:20190701085252j:plain
前回記事の続きになります。
bluebirdofoz.hatenablog.com

insta360oneXで撮影した映像の変換

3DF Zephyr で入力として利用できる360度ビデオは mp4 形式です。
insta360oneXで撮影した360度ビデオは insv 形式なので事前にフォーマットを変換しておく必要があります。
以下の記事でインストールを行った[360度編集ソフトウェア]で変換が可能です。
bluebirdofoz.hatenablog.com

[360度編集ソフトウェア]で insv ファイルを開き、メニューから File -> Export を選択します。
f:id:bluebirdofoz:20190701085327j:plain

[Video Export Setting]ダイアログが開きます。
フレームサイズとビットレートを選択して[OK]をクリックすると、映像が mp4 形式で出力されます。
f:id:bluebirdofoz:20190701085341j:plain

3DF Zephyrで360度ビデオを取り込む

3DF Zephyr で360度ビデオを取り込みます。
3DF Zephyr の[写真選択]ページで[ビデオから写真を入力]を選択します。
mp4 形式の360度ビデオを入力ファイルに指定し、[フレームの抽出とワークスペースの入力]をクリックします。
f:id:bluebirdofoz:20190701085355j:plain

すると、指定したビデオファイルと同じディレクトリに画像ファイルが出力されます。
[抽出するFPS]で1秒当たりに出力する画像の枚数を指定可能です。
今回は[抽出するFPS:1.0]で凡そ2分のビデオを指定したので 120 枚ほどの画像ファイルが出力されました。
f:id:bluebirdofoz:20190701085412j:plain

画像ファイルが抽出されたら一旦、リスト上に選択された写真をすべてクリアします。
次に[パノラマ写真からの入力]を選択します。
[パノラマ写真を分解]ダイアログが表示されるので、先ほど出力された画像ファイルを指定します。
側面パネルで分解する画像の方向を指定できます。今回は[左][右][正面][後]を選択して[OK]をクリックします。
f:id:bluebirdofoz:20190701085424j:plain

すると対称の画像ファイルが指定した視点の画像ファイルに分解されます。
[左][右][正面][後]の4方向を指定したので 480 枚ほどの画像ファイルが出力されました。
後はこのまま、出力された画像ファイルを入力にフォトグラメトリを実行します。
f:id:bluebirdofoz:20190701085438j:plain

実行結果

3DF Zephyr で分解した画像ファイルは同じ視点の画像ファイルをリンク可能です。
写真の位置情報が事前情報として入力されるため、撮影位置の推定がより正確に実行されます。
f:id:bluebirdofoz:20190701085449j:plain

Premiere Proで出力した画像を利用したものと同条件で3Dモデルの出力まで行ったものが以下になります。
地面の穴などが発生しておらず、同じ視点方向で分解するならば精度が高いようにも見えます。
f:id:bluebirdofoz:20190701085500j:plain

3DF Zephyr で分解する場合は[左][右][正面][後][上][下]以外の指定や、細かな視野角やヨー角の指定ができません。
より細かく画像を分割したい場合は、前回の Premiere Pro を利用する手順を利用します。
4方向のみの分割であれば今回の 3DF Zephyr を用いる方法が、環境構築も 3DF Zephyr のみで済むため、手軽に実施できます。
f:id:bluebirdofoz:20190701085511j:plain