フェイストラッキングで表情を動かす｜対応の見分け方と導入手順
AvatarVerse 編集部⏱ 約7分で読めますフェイストラッキングを入れるかどうかは、機材より先に「アバターが対応しているか」で決まります。機材だけそろえても、アバター側に動かす仕組みがなければ表情は変わりません。順番を逆にすると、買ったあとに使えないという事態になります。
まずは仕組みから入ります。そのうえでアバター側に必要な条件、対応を調べる方法、導入の流れへと進みます。どこまで再現できて、どこからは期待しすぎなのかにも触れます。
読み終わるころには、販売ページを見た時点で「このアバターなら顔が動く」と判断できるようになります。
顔の動きはどうやって取り込まれるのか
フェイストラッキングは、実際の顔の動きを読み取り、その結果をアバターの表情に流し込む仕組みです。読み取る部分と、反映する部分の2段構えになっていると考えると分かりやすくなります。
読み取る側は、目や口の動きを数値に変換します。反映する側は、その数値を受け取ってアバターの顔の形を変えます。どちらか片方が欠けると動きません。よくある「機材を買ったのに顔が動かない」は、反映する側が用意されていないケースです。
目の動きと口の動きは別の仕組み
視線の向きやまばたきを取る仕組みと、口の形や頬の動きを取る仕組みは、別々に扱われるのが普通です。ヘッドセットの内側から目を見るセンサーと、口元を下から見るセンサーでは、置く場所からして違います。
そのため「目だけ動く」「口だけ動く」という構成もあり得ます。導入を検討するときは、自分がどちらを重視するのかを先に決めておくと、無駄な出費を避けられます。
マイクの音から口を動かす方法との違い
多くのサービスには、しゃべった音に反応して口を開閉させる仕組みが最初から入っています。これは手軽ですが、口の形までは再現しません。フェイストラッキングは、実際に口をどう動かしているかを取り込む点が違います。
裏を返すと、会話中の口パクだけが目的なら、追加の機材は必要ありません。表情そのものを伝えたい、無言のときの顔も動かしたい、という段階になってから検討する順番で十分です。
機材は「読み取る側」だけを用意します。「反映する側」はアバターの作りに依存します。この2つが揃って初めて表情が動きます。
アバター側に必要な条件
反映する側の中身を見ていきましょう。ここが分かると、販売ページのどこを見ればよいかが見えてきます。
シェイプキーが細かく用意されているか
アバターの顔は、シェイプキー（ブレンドシェイプ）と呼ばれる仕組みで変形します。「笑顔」「怒り」のような完成形が用意されているだけのアバターと、「左の眉を上げる」「唇の右端を引く」といった部分ごとの動きが用意されているアバターがあります。
フェイストラッキングで滑らかに動かすには、後者のような細かい単位が必要です。完成形のプリセットしかない場合、切り替わるような動き方になり、表情が飛んで見えます。用語の意味はアバター用語辞典のシェイプキーの項目で確認できます。
対応の名前が揃っているか
読み取った数値をどのシェイプキーに流すかは、名前の対応で決まります。広く使われている命名規則に沿っていれば、設定はほぼ自動で終わります。独自の名前が付いている場合は、自分で対応関係を作る作業が発生します。
販売ページに「対応済み」と書かれているアバターは、この名前の整理まで済んでいると考えてよいでしょう。書かれていない場合は、自分で対応させる手間を見込む必要があります。
目が動く作りになっているか
視線を反映するには、目玉が骨で動く作りになっているか、視線用のシェイプキーが用意されている必要があります。目の描き方によっては、そもそも視線を動かす構造を持たないアバターもあります。
買う前に確認する方法は表情の数とシェイプキーを買う前に確認する方法でまとめています。表情まわりを重視するなら、選ぶ段階から見ておくと確実です。
対応しているかを調べる方法
手持ちのアバターが対応しているかどうかは、いくつかの場所から確認できます。順に見ていきましょう。
販売ページと同梱の説明
いちばん確実なのは、作者による記載です。対応をうたっている場合、たいてい説明文か更新履歴に書かれています。同梱の説明書に、対応させる手順が書かれていることもあります。
記載がない場合でも、更新で追加されている可能性があります。購入済みなら、最新のデータを取り直してから判断しましょう。
シェイプキーの一覧を見る
データを開いて、顔のメッシュに設定されているシェイプキーの一覧を確認する方法もあります。部位ごとの細かい項目が並んでいれば対応の見込みがあり、完成形のプリセットしかなければ追加作業が要ります。
この確認は編集ソフトの上で行います。名前の付け方から、どの命名規則に沿っているかも読み取れます。
コミュニティの情報を探す
同じアバターを使っている人が、対応の可否や設定のコツを共有していることがあります。作者以外が対応用のデータを配布している場合もありますが、その利用が規約上認められているかは別途確認が必要です。
探すときは、アバターの名称と表情まわりの語を組み合わせて検索します。動いている様子の動画が見つかれば、どの程度の表情が出るのかも同時に判断できます。文字だけの情報より、実際に動いている映像のほうが判断は早くなります。
先に自分の使うサービスの前提を確認する
顔の動きをサービスへ渡す仕組みは、サービスごとに用意されているものが違います。どの方式に対応しているかは公式の案内に書かれているので、機材を選ぶ前に確認しておきましょう。
サービス側の対応状況は更新で変わります。少し前の解説記事の手順が、今もそのまま使えるとは限りません。導入の直前に、公式の情報でもう一度確かめるひと手間をかけておくと安全です。
第三者が配布している対応データを使う場合は、元のアバターの規約と配布側の条件の両方を確認します。改変や再配布の扱いは商品ごとに違います。
導入の流れ
条件が揃っていることを確認できたら、実際の導入に進みます。大枠の順番は方式が違っても共通です。
機材を認識させる
顔の動きを読み取る装置を接続し、専用のソフトで動作を確認します。この時点で、自分の顔の動きが数値として取れているかを見ておきます。
サービスへ数値を渡す準備をする
読み取った値をサービス側へ送るための仕組みを用意します。ここはサービスと機材の組み合わせによって手順が変わるため、公式の案内に従います。
アバター側に受け皿を作る
受け取った値を、どのシェイプキーに割り当てるかを設定します。対応済みのアバターなら、用意されている設定を組み込むだけで済むことが多いです。
アップロードして確認する
設定したアバターを反映させ、鏡の前で目と口を動かして確認します。動かない項目があれば、名前の対応を1つずつ見直します。
効き具合を調整する
動きが大げさすぎる、逆に小さすぎるといった場合は、感度の設定で詰めます。人から見た印象で合わせるとちょうどよくなります。
動かないときに見る順番
まず読み取る側で数値が動いているかを確認します。ここが動いていなければ、機材や装着位置の問題です。数値は動いているのにアバターが変わらないなら、割り当ての設定かシェイプキーの名前を疑います。
一部の項目だけ動かない場合は、そのシェイプキーが存在しないか、名前が違っているかのどちらかです。切り替えの仕組みそのものについては表情メニューの作り方も参考になります。
設定が難しそうですが、対応済みのアバターを選べば楽になりますか。
かなり楽になります。名前の対応が済んでいるかどうかで作業量が大きく変わるので、これから選ぶなら対応をうたっている商品を候補にすると近道です。
自分で対応させる場合の見積もり
手持ちのアバターを対応させたい、という場面もあります。作業量は元の作りによって大きく変わるので、着手する前に見積もっておきましょう。
名前を合わせるだけで済むケース
部位ごとのシェイプキーが揃っていて、名前だけが違う場合はいちばん軽い作業になります。対応表を作り、どの値をどのシェイプキーへ流すかを設定するだけで動きます。項目数は多いので単調な作業になりますが、難しい判断は要りません。
途中で混乱しないよう、対応表を別のメモに書き出してから設定に入ると効率が上がります。あとで見直すときにも役立ちます。
シェイプキーが足りないケース
必要な部位の動きが用意されていない場合は、モデリングの作業に踏み込むことになります。顔の形を部位ごとに変形させ、それを新しいシェイプキーとして登録する流れです。ここは3Dソフトの経験がないと時間がかかります。
すべてを完璧に揃えなくても、動く項目だけで運用する選択肢もあります。まばたきと視線、口の開閉だけでも印象は変わるので、優先度の高い部位から手を付けるのが現実的です。
作業前にバックアップを取る
顔まわりの変更は、失敗すると表情全体が崩れます。着手する前に、元の状態へ戻せる形で保存しておきましょう。作業単位で区切って保存しておくと、どこで壊れたのかを追いやすくなります。
衣装や他の改変と同時に進めると、原因の切り分けが難しくなります。顔の作業は独立した回として進めるほうが結果的に早く終わります。
期待しすぎない範囲を知っておく
導入前に、どこまで再現されるのかを現実的に把握しておくと、がっかりせずに済みます。
読み取れる動きには限りがある
センサーが見ているのは顔の一部です。ヘッドセットに覆われた範囲や、髪で隠れた部分の動きは取れません。眉の動きが取れる構成と取れない構成があるのも、この事情によります。
読み取れない部分は、他の値から推定されるか、動かないままになります。すべての表情が完全に伝わるわけではない、という前提で使うと過度な期待を避けられます。
アバターの顔立ちによって伝わり方が変わる
同じ数値を流しても、アバターの顔の作りによって見え方は変わります。デフォルメの強い顔立ちでは、細かい動きが埋もれることもあります。逆に、少しの動きが大きく見えてしまうこともあります。
この調整は感度の設定と、シェイプキーの効き具合の両方で詰めていきます。自分の画面ではなく、他人から見た印象を基準にすると落ち着きます。友人に見てもらって意見をもらうのが、いちばん早い確認方法です。
装着の手間と発熱
顔の動きを読み取る装置は、ヘッドセットの内側や口元に取り付けます。装着の手間が増え、機種によっては本体側の消費も増えます。長時間の使用では、この負担も判断材料になります。
ヘッドセット選びの段階で内蔵の有無を見ておくと、あとから外付けを足す手間を避けられます。方式ごとの違いはHMDの選び方で整理しています。
よくある質問
そのままでは動きません。ただし、顔のシェイプキーが部位ごとに細かく用意されていれば、名前の対応を自分で作ることで動かせる場合があります。逆に完成形のプリセットしかないアバターでは、シェイプキーの追加という重い作業になります。手を入れる前に、同じアバターを使っている人の事例を探すと、現実的な難易度が見えてきます。
会話が中心なら口元から入ると変化を感じやすくなります。無言でいる時間が長い人や、撮影を重視する人は、視線が動くだけでも印象が大きく変わります。両方を一度にそろえる必要はありません。片方を導入して、自分の遊び方に効いているかを確かめてから広げると、無駄が出にくくなります。
カメラで顔を捉える方式は存在します。ただしヘッドセットを被った状態では顔が隠れるため、主に平面のディスプレイで遊ぶ場合や、配信での利用が中心になります。自分の使い方がヘッドセット前提なのか、そうでないのかで選ぶ方式が変わります。対応しているサービスと組み合わせについては、公式の案内で確認しましょう。
まとめ
- 顔の動きは「読み取る側」と「反映する側」の2段構え。機材だけでは動かない
- アバター側には、部位ごとの細かいシェイプキーと、名前の対応が必要
- 対応の可否は販売ページ、同梱の説明、シェイプキー一覧の3か所で確認できる
- 動かないときは、読み取り側の数値が動いているかから切り分ける
- 覆われた部分の動きは取れない。完全な再現ではなく、伝わり方が増える機能と考える
表情まで動くようになったら、次は体の動きです。全身の方式ごとの違いはフルトラの始め方と方式の比較でまとめています。