VRMの口が動かない?モデルに口のシェイプがないのかもしれません
アバターはロードされ、頭は動きを追い、体も動くのに、どんなに大声で話しても口だけが閉じたまま。VTuberアプリの設定が原因のこともありますが、AI生成モデルや変換モデルでは、口を動かすための要素がモデル自体にないことがほとんどです。
話しているのにVRMの口が動かない場合、順に2つのことを確認してください。まずアプリ側でリップシンクがオンになっているか、正しいマイクが選択されているか。次にモデル側。VRMのリップシンクは5つの口の表情(aa、ih、ou、ee、oh)で行われますが、これらが欠けていたり空だったりすると、口はまったく動きません。Meshy、Tripo、MixamoなどのAIジェネレーターや自動リガーのモデルには口のシェイプがなく、コンバーターは存在しないものを追加できないため、VRMは正常にロードされても話すことができません。解決策はシェイプを作成することです。Riggleにモデルをアップロードし、話したり瞬きしたりするVRM 1.0をダウンロードしてください。
まずアプリ側の原因を切り分ける
- リップシンクはオンになっていますか? ほとんどのVTuberアプリには、リップシンクや音声の個別設定があり、デフォルトでオフになっていることがあります。
- 音声を拾えていますか? システム設定だけでなく、アプリ内のマイク入力を確認し、話しながらレベルメーターを観察してください。
- リップシンクの種類は正しいですか? 音声ベースのリップシンクは5つの母音の表情を動かします。iPhoneを使ったカメラベースのフェイストラッキングでは、通常52個のARKit「パーフェクトシンク」シェイプが求められます。これは別のセットであり、問題も異なります: パーフェクトシンクが機能しない。
- お使いのアプリはVRMのバージョンに対応していますか? VRM 1.0とVRM 0.xは異なるフォーマットであり、一方しか読み取れないアプリもあります。
サンプルモデルやVRoidのエクスポートなど、他のVRMが同じアプリ・同じ設定で正常にリップシンクする場合、問題はアプリではなくモデルにあります。
モデルに口のシェイプがそもそも存在するか確認する
VRMは、母音ごとに1つずつあるaa、ih、ou、ee、ohという名前の表情(Expression)を介して口を動かします。各表情は、その口の位置を保持するメッシュ上のシェイプ(ブレンドシェイプ、モーフターゲット、シェイプキーとも呼ばれます)を指します。
VRMアドオンを入れたBlenderでVRMを開いて表情を確認するか、表情を一覧表示できるVRMビューワーに読み込んでください。以下の3つのいずれかの状態のはずです。
- 表情が存在し、シェイプを指している。 この場合モデルは正常です。アプリの設定に戻りましょう。
- 表情は存在するが空である。 表情はあっても、何もバインドされていません。これは、ほとんどのコンバーターが顔のシェイプがないモデルから生成するものです。
- メッシュに顔のシェイプがまったくない。 Meshy、Tripo、Mixamoやマーケットプレイスのモデルで典型的なケースです。
後の2つのケースでは、どんな設定も役に立ちません。シェイプを作成する必要があります。
変換されたモデルがなぜこのようになるのか
GLBからVRMへのコンバーターは2つの仕事を行います。スケルトンをVRMのヒューマノイドボーンにマッピングすることと、モデルがすでに持っている顔のシェイプを引き継ぐことです。AIジェネレーターや自動リガーは、腕、脚、背骨、頭といった体をリギングしますが、首で止まってしまいます。引き継ぐものが何もないため、コンバーターは空の口の表情を持つ有効なVRMを書き出し、そのVRMはどこにでもエラーなくロードされます。
解決策:口のシェイプを作成する
手作業でシェイプを作成するには、Blenderで各母音をスカルプトし、UnityでVRMに組み込む必要があります。モデル1体につき、少なくとも半日はかかります。Riggleなら約1分で完了します。
- すでにお持ちの.vrm、または元の.glbをアップロードします。
- あなたのアバターが各母音を発音し、瞬きし、微笑む動画を視聴します。
- ダウンロードします。
Riggleはモデルの顔を表示し、口と目を数クリックで指定するよう求めます。5つの口のシェイプ、瞬き(両目、および片目ずつ)、喜・怒・驚の表情を備えたVRM 1.0が返され、すべて支払い前にプレビューで確認できます。すでにお持ちのスケルトンは保持されます。変換の詳細はこちら。
クリエイターからよくある質問
VRMが瞬きはするのに話さないのはなぜですか?
瞬きと発話では異なる表情(Expression)が使われるため、モデルに瞬きのシェイプはあっても口のシェイプがない場合があります。aa、ih、ou、ee、ohが存在し、メッシュ上のシェイプにバインドされているか確認してください。
BlenderやUnityなしで口のシェイプを追加できますか?
はい。ブラウザでRiggleにモデルをアップロードし、シェイプが組み込まれたVRMをダウンロードするだけです。何もインストールする必要はありません。
既存のリグやテクスチャはRiggleで保持されますか?
はい。Riggleはスケルトン、メッシュ、マテリアルを保持し、顔の表情を追加します。出力はVRM 1.0です。
口は動きますが、見た目がおかしいです。どうすればいいですか?
シェイプは存在するものの、顔の下半分全体が伸びてしまうような場合は、モデルをRiggleにアップロードしてください。口のシェイプが再構築され、支払い前にプレビュー動画で各シェイプを確認できます。見た目が正しくなるまで、再実行は無料です。
料金はいくらですか?
アップロードとプレビューは無料です。完成したVRMのダウンロードにはモデル1体につき1回10トークンが必要で、無料プランには毎月10トークンが含まれています。