HoloLens2でホロモンアプリを作る その５６（ホロモンの頭を撫でるとホロモンが反応する）

本日はアプリ作成枠です。
HoloLens2でホロモンアプリを作る進捗を書き留めていきます。

今回はホロモンの頭を撫でるとホロモンが反応するメモです。

頭に触られたことを判定する

頭に触られたことを判定する方法には、今回は視界システムと同じロジックを用いました。
UniRx.TriggersのOnTriggerStayAsObservable()を用いて、コライダーのイベントをフレーム毎にまとめて処理することができます。

using UniRx;
using UniRx.Triggers;

// ...

/// <summary>
/// 起動処理
/// </summary>
void Start()
{
    // コライダーの OnTriggerStay イベントに対する処理を定義する
    this.OnTriggerStayAsObservable()                    // OnTriggerStayイベントを検出する
        .BatchFrame()                                   // フレーム毎に値をまとめる
        .ObserveOnMainThread()                          // メインスレッドで行う
        .Subscribe(colliderlist =>
        {
            foreach (Collider collider in colliderlist)
            {
                // 検出されたコライダーに対して処理を行う
                // ....
            }
        })
        .AddTo(this);

今回は1フレーム毎に処理を行っていますが、UniRxのOperatorを活用することで様々な条件でコライダーを処理できます。
bluebirdofoz.hatenablog.com

更に頭部中心座標から一定距離の位置にオブジェクトが近づくと、オブジェクトが頭に触れたと判定して対象オブジェクトの情報を Dictionary 型で収集します。
bluebirdofoz.hatenablog.com

頭を撫でる手がパーの形かどうかは以下のハンドトラッキングによる判定を用います。
bluebirdofoz.hatenablog.com

以下が一定距離内のオブジェクトを検出する実装コードです。
・TactileBodyRegister.cs

クリックで展開

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;

using HoloMonApp.ConditionSpace;

// コライダー処理のため
using UniRx;
using UniRx.Triggers;

// エディター起動時判定のため
using UnityEditor;

// CoreSystemへのアクセスのため
using Microsoft.MixedReality.Toolkit;
// 空間認識情報の取得のため
using Microsoft.MixedReality.Toolkit.SpatialAwareness;

namespace HoloMonApp.TactileBodySpace
{
    [RequireComponent(typeof(SphereCollider))]
    public class TactileBodyRegister : MonoBehaviour
    {
        /// <summary>
        /// 範囲内の触覚オブジェクトコレクション
        /// </summary>
        [SerializeField, Tooltip("範囲内の触覚オブジェクトコレクション")]
        private TactileBodyCollection p_TactileBodyCollection;


        [SerializeField, Tooltip("触覚原点トランスフォーム")]
        private Transform p_TactileRoot;

        [SerializeField, Tooltip("空間認識レイヤー")]
        int p_SpatialAwarenessLayer;


        [SerializeField, Tooltip("触覚発見距離(ホロモン1m時のメートル単位)")]
        private float p_ForcedDiscoveryDistance = 0.5f;


        /// <summary>
        /// 起動処理
        /// </summary>
        void Start()
        {
            // 空間認識のオブザーバを取得する
            IMixedRealitySpatialAwarenessMeshObserver SpatialAwarenessMeshObserver =
                CoreServices.GetSpatialAwarenessSystemDataProvider<IMixedRealitySpatialAwarenessMeshObserver>();

            // オブザーバからレイヤー番号を取得する
            p_SpatialAwarenessLayer = SpatialAwarenessMeshObserver.MeshPhysicsLayer;

            // コライダーの OnTriggerStay イベントに対する処理を定義する
            this.OnTriggerStayAsObservable()                    // OnTriggerStayイベント
                .BatchFrame()                                   // フレーム毎に値をまとめる
                .ObserveOnMainThread()                          // メインスレッドで行う
                .Subscribe(colliderlist =>
                {
                    // 更新があったか
                    bool isUpdate = false;

                    // 検出したオブジェクトのリスト
                    List<GameObject> objectList = new List<GameObject>();

                    foreach (Collider collider in colliderlist)
                    {
                        if (collider == null) continue;

                        GameObject stayObject = collider.gameObject;

                        if (stayObject)
                        {
                            bool isSeen = TouchTactileObject(stayObject);

                            if (isSeen)
                            {
                                // 検出オブジェクトをコレクションに登録する
                                bool isRegisted =  RegistTactileObject(stayObject);

                                if (isRegisted)
                                {
                                    // オブジェクトを記録する
                                    objectList.Add(stayObject);
                                }

                                // 更新を行ったか
                                isUpdate = isUpdate || isRegisted;
                            }
                        }
                    }

                    // 未検出オブジェクトをコレクションから除去する
                    bool isRemove = RemoveTactileObject(objectList);

                    // 更新を行ったか
                    isUpdate = isUpdate || isRemove;
                })
                .AddTo(this);
        }

        /// <summary>
        /// 定期処理
        /// </summary>
        void Update()
        {
            // 視認オブジェクトの状態更新をチェックする
            p_TactileBodyCollection.CheckStatusUpdate();
        }



        /// <summary>
        /// ゲームオブジェクトが触れているか判定する
        /// </summary>
        private bool TouchTactileObject(GameObject a_TactileObject)
        {
            // オブジェクトのレイヤー番号を取得する
            int layernumber = a_TactileObject.layer;

            if (layernumber == p_SpatialAwarenessLayer)
            {
                // 空間認識レイヤーの場合は無視する
                return false;
            }

            // 視界原点とオブジェクト間のベクトルを算出し、距離と方向ベクトルを取得する
            Vector3 betweenVector = a_TactileObject.transform.position - p_TactileRoot.position;
            float betweenDistance = betweenVector.magnitude;
            Vector3 betweenDirection = betweenVector.normalized;

            // 視界原点の方向ベクトルを取得する
            Vector3 headDirection = p_TactileRoot.rotation * Vector3.forward;

            // 2つの方向ベクトルの角度差(0°～360°)を取得する
            float diffAngle = Vector3.Angle(headDirection, betweenDirection);

            // 強制発見距離を現在のスケールを基に計算する
            float forcedDiscoveryDistance = p_ForcedDiscoveryDistance * CurrentHeightScale();

            // 強制発見距離か否か
            if (betweenDistance > forcedDiscoveryDistance)
            {
                // 強制発見距離外なら触れていない
                return false;
            }

            // 見えていると判定する
            return true;
        }


        /// <summary>
        /// 未登録のゲームオブジェクトをコレクションに登録する
        /// </summary>
        private bool RegistTactileObject(GameObject a_TactileObject)
        {
            bool isResisted = false;

            // 視界オブジェクト情報を作成する
            TactileObjectWrap tactileObjectWrap = new TactileObjectWrap(a_TactileObject);

            // 種別理解情報が付与されているか否か
            if (tactileObjectWrap.ExistObjectFeatures())
            {
                // オブジェクトの存在チェック
                bool isContain = p_TactileBodyCollection.ContainsKey(a_TactileObject);

                if (!isContain)
                {
                    // コレクションに追加する
                    p_TactileBodyCollection.Add(tactileObjectWrap);
                }

                isResisted = true;
            }

            return isResisted;
        }

        /// <summary>
        /// 未検出のゲームオブジェクトをコレクションから除去する
        /// </summary>
        private bool RemoveTactileObject(List<GameObject> a_CheckObjectList)
        {
            bool isRemoved = p_TactileBodyCollection.RemoveWithoutList(a_CheckObjectList);

            return isRemoved;
        }

        /// <summary>
        /// 現在のホロモンの身体スケールを取得する
        /// </summary>
        /// <returns></returns>
        private float CurrentHeightScale()
        {
            // 現在の体の大きさを取得する
            float currentHeight = HoloMonConditionBodySingleton.Instance.
                IReadOnlyReactivePropertyHoloMonBodyStatus.Value.BodyHeight;

            return currentHeight;
        }
    }
}

モーションの作成

撫でられた時のアニメーションには以下の繰り返しモーションを利用しました。
bluebirdofoz.hatenablog.com

実装コード

待機アクションのロジックに頭を撫でられたときのアクションを追加しました。
体に触れられた割込みが発生した際、その情報をチェックします。
頭部をパーの形の手で触れられていた場合、モーションを再生しています。

        /// <summary>
        /// 頭に触れられたことに反応する
        /// </summary>
        /// <param name="a_TaouchObject"></param>
        private bool TouchHeadReaction(TactileObjectWrap a_TactileObjectWrap)
        {
            bool isProcessed = false;

            // 頭部に触れたオブジェクトが右手もしくは左手か
            if ((a_TactileObjectWrap.CurrentFeatures().ObjectUnderstandType == ObjectUnderstandType.FriendRightHand)
                || (a_TactileObjectWrap.CurrentFeatures().ObjectUnderstandType == ObjectUnderstandType.FriendLeftHand))
            {
                // 手の状態を取得する
                int HandStatusHash = a_TactileObjectWrap.CurrentFeatures().ObjectUnderstandDataInterface.StatusHash();

#if UNITY_EDITOR
                // Editor上では確認のため、ピストル状態でパーと判定する
                if( HandStatusHash == (int)ObjectStatusHand.Hand_Pistol) HandStatusHash = (int)ObjectStatusHand.Hand_Par;
#endif

                if (HandStatusHash == (int)ObjectStatusHand.Hand_Par)
                {
                    // パーの手で触れられていた場合は頭を撫でられたアクションを行う

                    /// 頭を撫でられたアクションを実行する
                    p_ModeLogicCommon.ReferenceAnimation.SetReactionPose(ReactionPose.StrokingHead);

                    // トリガーを設定済みの場合は一旦破棄する
                    p_TempActionTrigger?.Dispose();

                    // アニメーション完了後キャンセルのトリガーを実行する
                    p_TempActionTrigger = p_ModeLogicCommon.ReferenceAnimation.AnimationTrigger
                        .OnStateUpdateAsObservable()
                        .Where(onStateInfo => !onStateInfo.Animator.IsInTransition(onStateInfo.LayerIndex)) // アニメーションの移行が完了するのを待つ
                        .Where(onStateInfo => onStateInfo.StateInfo.normalizedTime > 0.95) // アニメーションの完了直前を検出する
                        .Take(1)
                        .Subscribe(_ =>
                        {
                            // 通常ポーズに戻す
                            p_ModeLogicCommon.ReferenceAnimation.SetReactionPose(ReactionPose.Nothing);
                        })
                        .AddTo(this);

                    isProcessed = true;
                }
            }

            return isProcessed;
        }

ObservableStateMachineTriggerを使ってUniRxでアニメーションの終了を検知しています。
bluebirdofoz.hatenablog.com

動作確認

シーンを再生して動作を確認します。

手で頭を撫でてあげるとホロモンが両手を挙げて反応しました。