MRが楽しい

MRやVRについて学習したことを書き残す

HoloLens2で日本語の音声認識を試す

本日は HoloLens2 の小ネタ枠です。
HoloLens2で日本語の音声認識を試す手順を記事にします。
f:id:bluebirdofoz:20210822021605j:plain

前提条件

前提条件として、日本語の音声認識を行うには HoloLens2 の言語設定を日本語に設定している必要がります。
HoloLens2 の言語設定の変更手順は以下の記事を参照ください。
bluebirdofoz.hatenablog.com

DictationExample

HoloLens2 での日本語の音声認識を試すには MRTK の DictationExample を利用するのが早いです。
MRTK のインポート手順は以下を参照ください。
bluebirdofoz.hatenablog.com

サンプルを利用するため、Foundation パッケージに加えて Exapmle パッケージをインポートする必要があります。
f:id:bluebirdofoz:20210822021634j:plain

Feature Tool を使って Example パッケージをインポートした場合は、個別のサンプルシーンを Package Manager から取得する必要があります。
DictationExample を含む[Demo - input]をインポートします。
f:id:bluebirdofoz:20210822021642j:plain

DictationExample のシーンファイルは以下のディレクトリにあります。
・Feature Toolの場合

Samples/MixedRealityToolkitExamples/2.7.2/Demos - input/Scenes/Dictation/DictationExample.unity

・UnityPackageの場合

MRTK/Examples/Demos/Input/Scenes/Dictation/DictationExample.unity

f:id:bluebirdofoz:20210822021651j:plain

日本語を認識させる場合の追加設定

DictationExample で日本語を認識させる場合、そのままだとフォントが日本語対応していないため文字化けしてしまいます。
以下の記事を参考に、日本語対応のフォントの作成手順は以下の記事を参照ください。
bluebirdofoz.hatenablog.com

作成したフォントを[DictationPanel/TextContent/TranscribedText]オブジェクトの[TextMeshPro]コンポーネントの[FontAsset]に設定します。
f:id:bluebirdofoz:20210822021707j:plain

これで準備は完了です。
プロジェクトをビルドして HoloLens2 にデプロイします。

HoloLens2での動作確認

アプリが起動したら[Start Recording]ボタンをタップします。
f:id:bluebirdofoz:20210822021716j:plain

この状態で話してみると、認識された言葉が UI にリアルタイムに表示されます。
f:id:bluebirdofoz:20210822021725j:plain

なお、言語認識にはインターネット接続が必要です。
HoloLens2 をインターネットに接続していない場合、アプリ起動時に[Dictation Recognizer has failed!]のエラーが表示されます。
f:id:bluebirdofoz:20210822021735j:plain

既存プロジェクトへの追加

既存プロジェクトに音声認識を追加する手順は以下の記事を参照ください。
bluebirdofoz.hatenablog.com