2つの全天球映像,例えばリアルタイム映像と過去映像を,体験者に気付かれにくいタイミングを見計らって自動的に切り替えるシステム.
全天球映像のどこを見ているのかという視線情報を取得し,その周辺における映像の画像処理情報をもとに,映像を切り替えるか否かを決定する.
- Windows10 64bit
- Unity 2019.1.14f1
- TouchDesigner 099 Educational 2019.18360
- HTC VIVE Pro Eye
- Insta360Air または THETA Z1
- ZOOM H1n
- TouchDesignerでEyeHackerを,UnityでGazeDirectionSenderを起動.
- カメラとマイクをPCに繋いで,マイクの電源を入れる.
- TouchDesignerのperform画面の
Realtime
に映像が映らない/映像が変な場合は,cameraImageIn
オペレータ内のVideo Device In
TOPのDevice
が正しいかを確認する.
- TouchDesignerのperform画面の
- 映像セット
FileName
フィールドでファイル名の変更.Rec
ボタンで録画開始・終了.Loop
トグルでループするかを指定.Reload
ボタンで映像をリロード.Begin
,End
スライダで映像のトリミング.Yaw
スライダで映像の回転を調整するOSC信号をUnityに送信.Black
,Gamma
フィールドで映像の明るさ調整.
- Area[1-2]
Play
ボタンで今選択している映像の再生・停止.- セット番号ボタンで再生する映像の選択.
- Blend Ratio
Ratio goes to 0/1 now
トグルでRatio
を0/1まで自動で動かす.Ratio
スライダでアルファブレンドの比率を直接操作可能.Method
トグルでアルファブレンドの仕方を指定. Switchは赤と青を入れ替える.Overは赤に青が上乗せされる.
- Blend Shape
whole
/circle
/rectangle
ボタンでmaskの形状を指定.- モードに応じてMaskに関するパラメータが白枠の中に出てくる.適宜調整.
- Blend Time
MaxBlendTime
スライダで映像切り替えにかける時間を調整.HeadAdjust
トグルがONのときは,実際の切り替え時間は,HMDの回転速度を反映したActual BlendTime
の値になる.
RewindAdjust
トグルで巻き戻しするか否かを指定.- 0/1まで完全に巻き戻った場合は,切り替え自体がキャンセルされる.
- Decision Algorithm
InnerRisk D
/OuterRisk D
スライダでrisk計算で使う領域の直径を指定.Threshold
スライダでthreshold調整.Judge
トグルでriskとthresholdのどちらが大きいときに映像を切り替えるか指定.
- Decision Time
Activate Auto Switch
トグルを押すとTime
のスライダが動きだし,スライダが振り切れると映像が切り替わる.WaitingTime
スライダで待ち時間を調整.RewindSpeed
スライダで巻き戻りの速度を調整.
- Audio
NoiseVal
スライダで環境音の音量調整.RecNoise
ボタンで環境音を録音開始・終了.Reload
ボタンで環境音をリロード.
- Utilities
Calibration
ボタンでキャリブレーション開始.View Ray
トグルで体験者へのrayの表示/非表示を切り替え.RayCast
トグルをGaze
にするとVive Pro Eyeによるデータが視線位置に,HMD
にするとHMDの向いている方向が視線位置になる.Logging
ボタンでログ取得開始・ログをフィールドに書いたパスに保存.
(適宜ビルドしてから)起動する.OSCで視線位置情報を送信し続ける.
specification.mdに記載.