Git Product home page Git Product logo

eyehacker's Introduction

SR-Project/EyeHacker

What is this?

2つの全天球映像,例えばリアルタイム映像と過去映像を,体験者に気付かれにくいタイミングを見計らって自動的に切り替えるシステム.

全天球映像のどこを見ているのかという視線情報を取得し,その周辺における映像の画像処理情報をもとに,映像を切り替えるか否かを決定する.

overview.png

blend.png

How To Use

動作環境

  • Windows10 64bit
  • Unity 2019.1.14f1
  • TouchDesigner 099 Educational 2019.18360
  • HTC VIVE Pro Eye
  • Insta360Air または THETA Z1
  • ZOOM H1n

Unity使用アセット

使用方法

  • TouchDesignerでEyeHackerを,UnityでGazeDirectionSenderを起動.

EyeHacker (TouchDesigner)

  • カメラとマイクをPCに繋いで,マイクの電源を入れる.
    • TouchDesignerのperform画面のRealtimeに映像が映らない/映像が変な場合は,cameraImageInオペレータ内のVideo Device InTOPのDeviceが正しいかを確認する.

EyeHacker.png

  • 映像セット
    • FileNameフィールドでファイル名の変更.
    • Recボタンで録画開始・終了.
    • Loopトグルでループするかを指定.
    • Reloadボタンで映像をリロード.
    • BeginEndスライダで映像のトリミング.
    • Yawスライダで映像の回転を調整するOSC信号をUnityに送信.
    • BlackGammaフィールドで映像の明るさ調整.
  • Area[1-2]
    • Playボタンで今選択している映像の再生・停止.
    • セット番号ボタンで再生する映像の選択.
  • Blend Ratio
    • Ratio goes to 0/1 nowトグルでRatioを0/1まで自動で動かす.
    • Ratioスライダでアルファブレンドの比率を直接操作可能.
    • Methodトグルでアルファブレンドの仕方を指定. Switchは赤と青を入れ替える.Overは赤に青が上乗せされる.
  • Blend Shape
    • whole/circle/rectangleボタンでmaskの形状を指定.
      • モードに応じてMaskに関するパラメータが白枠の中に出てくる.適宜調整.
  • Blend Time
    • MaxBlendTimeスライダで映像切り替えにかける時間を調整.
      • HeadAdjustトグルがONのときは,実際の切り替え時間は,HMDの回転速度を反映したActual BlendTimeの値になる.
    • RewindAdjustトグルで巻き戻しするか否かを指定.
      • 0/1まで完全に巻き戻った場合は,切り替え自体がキャンセルされる.
  • Decision Algorithm
    • InnerRisk D/OuterRisk Dスライダでrisk計算で使う領域の直径を指定.
    • Thresholdスライダでthreshold調整.
    • Judgeトグルでriskとthresholdのどちらが大きいときに映像を切り替えるか指定.
  • Decision Time
    • Activate Auto Switchトグルを押すとTimeのスライダが動きだし,スライダが振り切れると映像が切り替わる.
    • WaitingTimeスライダで待ち時間を調整.
    • RewindSpeedスライダで巻き戻りの速度を調整.
  • Audio
    • NoiseValスライダで環境音の音量調整.
    • RecNoiseボタンで環境音を録音開始・終了.
    • Reloadボタンで環境音をリロード.
  • Utilities
    • Calibrationボタンでキャリブレーション開始.
    • View Rayトグルで体験者へのrayの表示/非表示を切り替え.
    • RayCastトグルをGazeにするとVive Pro Eyeによるデータが視線位置に,HMDにするとHMDの向いている方向が視線位置になる.
    • Loggingボタンでログ取得開始・ログをフィールドに書いたパスに保存.

GazeDirectionSender (Unity)

GazeDirectionSender.png

(適宜ビルドしてから)起動する.OSCで視線位置情報を送信し続ける.

実装の詳細

specification.mdに記載.

eyehacker's People

Contributors

radi-bow avatar rin634 avatar soheiw avatar hntakah avatar

Watchers

Atsushi Izumihara avatar  avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.