VRMに口の形とまばたきを追加する方法 — シェイプキーを手で作らずに

Tripo、Meshy、またはマーケットプレイスから入手したリギング済みモデルは、歩いたり手を振ったりはできますが、一言も話せません。動く顔を与えるには、かつてはBlenderで手作業でシェイプキーを彫刻する必要がありました。今では、モデルをアップロードすれば、1分後には話している姿を見ることができます。

モデルに動く顔を与えるには、.glb(または既存の.vrm)をRiggleにアップロードします。リギングの有無や表情シェイプキーの有無は問いません。約1分後には、話したり、瞬きしたり、感情表現をしたりするVRM 1.0が完成します。これには、リップシンクを駆動する5つのビジーム(口の形:aa, ih, ee, oh, ou)、左右独立したウィンクを含む瞬き、喜怒哀楽の表情、そしてモデルに目のボーンがあれば視線追従機能が含まれます。支払う前にすべての表情をビデオで確認でき、アップロードと再実行は無料で、ダウンロードには10トークンが必要です。これはリップシンク、瞬き、リアクションを駆動するVRM表情セットであり、ロードマップ上にある52シェイプのARKitパーフェクトシンクリグではありません。

モデルをリギングする

「フェイスリギング」と呼ばれる2つの異なる作業

「パーフェクトシンク」とは、iPhoneレベルの完全なフェイシャルトラッキングを指すVTuber用語です。これはモデルが52種類のARKitシェイプ(browInnerUp、eyeBlinkLeft、jawOpen、mouthSmileLeftなど48種類以上)を持ち、それぞれがVRMの表情としてマッピングされていることを意味します。VSeeFace、Warudo、VMagicMirror、Vear、Luppetのようなアプリは、これらを名前で検索するため、命名がわずかに違うだけで「52シェイプのうち45を認識しました」という典型的なメッセージが表示されるのです。

しかし、ほとんどのアバターは画面上で生き生きと見せるために52種類すべてを必要としません。VRM表情セット(5つの口の形aa/ih/ee/oh/ou、瞬き、感情プリセット)は、VRMアプリ内で音声からのリップシンク、待機中の瞬き、リアクションを駆動するものです。目標が「アバターに話させ、瞬きさせ、反応させたい」ことであれば、このセットだけで十分です。目標が「TrueDepthカメラを通して、自分の眉の動きをアバターの眉に追従させたい」のであれば、52種類すべてが必要で、それ以下では不可能です。

なぜこれが以前は丸一日かかったのか

このエコシステムの標準的なアドバイスは、常に「Blenderを開いて手作業でシェイプキーを彫刻する」というものでした。モデル1体につきおよそ1日、メッシュを編集するたびに繰り返し、さらにUnityで結果をVRMに組み込む時間もかかります。自動で口を開けようとするツールは、顎や頬まで一緒に引きずってしまう傾向があり、モデルが話しているというより溶けているように見えてしまいます。

Riggleは、その1日を約1分に短縮し、何も支払う前に結果をビデオで表示します。

AI生成またはマーケットプレイスのモデル向けの近道

  1. モデルをアップロード。Tripo、Meshy、Mixamo、または独自のパイプラインから出力した.glb(リギングの有無を問わず、最大100MB)、または再リギングしたい既存の.vrmをアップロードします。スケルトンがない場合は、Riggleが追加し、正面図で確認します。
  2. プレビューを視聴。Riggleがモデルの顔を表示し、口と目を数クリックで指定するよう求めます。約1分後、アバターで再生されるすべての表情の短いビデオと、それぞれの静止画が表示されます。満足できませんか?再実行してください。再実行は無料で、トークンはダウンロードにのみ消費されます。
  3. ダウンロード。VRM 1.0アプリですぐに使えるVRM 1.0ファイルです。

正確な出力内容:aa、ih、ee、oh、ou、左右独立したblinkLeftとblinkRightを含む瞬き、happy、angry、surprised、そしてリグに目のボーンがあれば視線追従機能。VRM 1.0のみで、0.xのエクスポートはありません。

口を開けたモデルが最適 - これは補足ではありません

入力は本当に重要です。口を開けた状態で生成されたモデル(歯、舌、内側の唇が見えるもの)は、最も自然な口の形になります。なぜなら、アバターが話すときに見えるのは、そのモデル自身の口だからです。TripoやMeshyでプロンプトを制御できるなら、口を開けるように指示してください。

閉じられた口や平面的に描かれた口でも機能しますが、口の動きはより控えめで大まかになります。そして、その見た目は、何も支払う前にプレビュービデオで正確に確認できます。強くデフォルメされたメッシュや毛皮で覆われたメッシュも同様です。まずプレビューし、異なる結果が欲しい場合は再実行してください。

本当に52種類すべて必要ですか?

正直に問う価値はあります。答えは通常「いいえ」だからです。52種類のARKitシェイプは、人間の顔を細部まで再現するために存在します。眉の各部分、頬の膨らみ、個々のまぶたの状態など、すべてがiPhoneの深度カメラからライブで駆動されます。内側の眉が上がるような繊細な表情の演技を、それに気づく観客に向けて行うのであれば、そのディテールこそが製品価値となります。

ほとんどのアバターにとってはそうではありません。配信で「生きている」と認識されるのは、音声に合った口の動き、自然な瞬き、そして感情を表現できる顔です。つまり、5つのビジーム、瞬きと独立したウィンク、そして喜怒哀楽の表情です。これがVRM表情セットであり、VRMアプリが音声や待機タイマーから駆動するものであり、Riggleが構築するものです。

ですから、正直な境界線はこうです。Riggleは52種類のARKitシェイプを生成しません。それはロードマップ上の目標であり、現在の製品機能ではありません。Riggleがするのは、全く顔が動かないモデルを受け取り、約1分で動く顔を与え、何も支払う前にビデオプレビューを見せることです。もしあなたが見つめているギャップがそこにあるのなら、Riggleがそのすべてを解決します。

あなたのモデルに動く顔を与えよう

リギングの有無にかかわらずGLBをアップロードし、VRM 1.0をダウンロードする前にすべての表情が再生されるのを確認できます。最初のモデルは無料です。

モデルをリギングする

クリエイターからよくある質問

Blenderなしでリップシンクや瞬きを追加できますか?

はい。Riggleはブラウザで動作します。アップロードし、プレビューを視聴し、VRM 1.0をダウンロードするだけです。何もインストールする必要はありません。

Riggleはパーフェクトシンク/全52種類のARKitブレンドシェイプに対応していますか?

いいえ。RiggleはVRM 1.0の表情セットを生成します。これには5つのビジーム、左右独立したウィンクを含む瞬き、喜怒哀楽の表情、そしてモデルに目のボーンがあれば視線追従機能が含まれます。全52シェイプのARKitパーフェクトシンクはより大きな作業であり、現在の製品にはなく、ロードマップ上にあります。もし現在モデルの顔が全く動かないのであれば、この表情セットがマネキンとアバターの違いを生み出します。

すでにリギング済みのモデルが必要ですか?

いいえ。スケルトン付きのモデルはそのスケルトンを維持し、スケルトンなしのモデルはRiggleからスケルトンが提供され、それを正面図で確認します。既存の.vrmも使用できます。

どのくらい時間がかかりますか?

約1分です。なくなるのは時間のかかる部分、つまり手作業でのシェイプキー彫刻や、スタジオサービスでの1日待ちです。

ガイド