EF Tracker(エフトラ)は、VR HMDに装着することで、アイトラッキング機能＋フェイシャルトラッキング機能を拡張するハードウェアです。
目線の動きやまばたき、口元の動きといった表情を認識し、アバターに反映することで、より自然で魅力のある感情表現をサポートします。
※このページの内容はすべて開発中のものです。
ハードウェア
EF Tracker(エフトラ)は、以下のような部品で構成されています。
①シングルボードコンピュータ+バッテリー
目元と口もとの映像をPCにストリーミングします。
②トラッキングカメラ
3点のカメラと付随するIR LEDで、両目の目線と口元を認識します。
③取付パーツ
機種専用設計で、取り付け可能なVR HMDを順次拡大していく予定です。
ソフトウェア
アイトラッキングとマウストラッキングに、以下のOSSを使用して開発しています。
Vluginからソフトウェアとドキュメントを公開する際には、ライセンスに適切に従います。
EyeTrackVR(github)
ProjectBabble(github)
対応アプリケーション(予定)
VRChat
Resonite
ギャラリー
変更履歴
2025/1/16 2件の変更
・「ソフトウェア」の追加
・古い情報で、現在は誤りのため訂正しました。
>①シングルボードコンピュータ+バッテリー
> 視線や表情の映像解析、状態の推論をして、PC/Meta QuestにOSCを送信します。