APIでVRMに口形素と瞬きを追加 — 動かない顔を、話せる顔に
VRMでのリップシンクは、駆動させるための5つの口パク(viseme)表情がファイルにないと機能しません。変換されたアバターやAIが生成したアバターのほとんどには、これがありません。本APIは、瞬きや感情表現と共にこれらを構築し、VRMを返します。
APIでVRMに口パクと瞬きを追加するには、.vrm(またはリグ付き.glb)をfileフィールドとしてhttps://app.riggle3d.com/api/v1/conversionsにPOSTし、GET /conversions/{id}をポーリングして、GET /conversions/{id}/vrmをダウンロードします。1~3分で、人手を介さずに、口パク(viseme)のaa、ih、ee、oh、ou、blink、blinkLeft、blinkRight、happy、angry、surprised、そしてリグに目ボーンがある場合はlookAt機能を持つVRM 1.0が手に入ります。料金は10 APIトークン(1.00~1.50ドル)で、変換に失敗した場合は返却されます。APIは表情シェイプを構築し、貴社のアプリやリップシンクライブラリが音声からそれらを駆動します。
VRMを送信し、VRMを受け取る
export RIGGLE_API_KEY=rgl_...
API=https://app.riggle3d.com/api/v1
# 1. 顔が動かないVRMを送信(10 APIトークン)
id=$(curl -s -X POST $API/conversions \
-H "Authorization: Bearer $RIGGLE_API_KEY" \
-F file=@avatar.vrm | jq -r .id)
# 2. 処理が完了するまでポーリング
until [ "$(curl -s $API/conversions/$id \
-H "Authorization: Bearer $RIGGLE_API_KEY" | jq -r .status)" != processing ]
do sleep 4; done
# 3. VRMと、すべての表情を確認するための動画
curl -s -o avatar-talking.vrm $API/conversions/$id/vrm \
-H "Authorization: Bearer $RIGGLE_API_KEY"
curl -s -o preview.mp4 $API/conversions/$id/preview.mp4 \
-H "Authorization: Bearer $RIGGLE_API_KEY".vrmと.glbは同じエンドポイント、同じフィールドを使用します。完全な仕様はAPIリファレンスで、すぐに使えるPythonおよびNodeクライアントはgithub.com/riggle3d/glb-to-vrmでご覧いただけます。
追加されるもの
| 表情 | 駆動するもの |
|---|---|
aa ih ee oh ou | リップシンク:VRMアプリが音声再生時にブレンドする5つの母音シェイプ |
blink blinkLeft blinkRight | アイドル時の瞬き、ウィンク、視線追跡 |
happy angry surprised | リアクション:LLMからの感情タグ、ホットキー、追跡された顔 |
| lookAt | ターゲットやカメラを追う目。リグに目ボーンがある場合に含まれます |
これらはVRM 1.0のプリセット名なので、名前でVRMの表情を駆動するものであれば、設定なしでこれらを見つけることができます。
含まれないもの:iPhoneの「パーフェクトシンク」顔追跡に使用される52個のARKitブレンドシェイプ。これは別の機能です。
これらの表情が必要となるケース
- three-vrmとWebアプリ。
aa表情がないファイルでは、vrm.expressionManager.setValue('aa', v)を実行しても見た目に変化はありません。表情があれば、ボリュームや音素駆動のリップシンクが数行で実装できます。 - AIコンパニオンとTTS駆動のアバター。 モデルの出力を話すキャラクターには、音声に追随するための5つの母音、凝視しないための瞬き、そして反応するための1つか2つの感情表現が必要です。
- VTuberアプリ。 VSeeFaceスタイルのトラッキングやマイクによるリップシンクは、同じ母音と瞬きの表情にマッピングされます。お使いのアプリがVRM 1.0を読み込めるか確認してください。一部のデスクトップアプリはまだVRM 0.xしか読み込めません。
- VRChatスタイルの口パク(viseme)リップシンク。 音ごとに口の形を期待するパイプラインも、そもそもメッシュにそれらのシェイプがある、という同じ前提から始まります。
これらがないファイルの一般的な症状は、アバターはロードされ、体は動くのに、話している間も口が閉じたままであることです。その原因についてはVRMの口が動かない理由で詳しく解説しています。
品質を決定する要因
口の形は、モデルが元々持っている口の形状に従うため、何よりもモデル自体が重要です。
- 口を開けてモデリングされていると、最も自然な口の形になります。
- 口が閉じているモデルも変換できますが、口の動きはよりソフトになります。
- 判別しにくい顔も変換できますが、警告が表示されます。
そのためのwarningsです。リストが空の場合は、特に問題は見つからなかったことを意味します。そうでなければ、preview.mp4またはpreview_imagesにある静止画を取得し、ユーザーにアバターを見せる前に確認してください。
料金
VRM1体あたり10 APIトークンです。スターターパック(100トークン、15ドル)では1.50ドル、ビルダーパック(500トークン、60ドル)では1.20ドル、スケールパック(2,500トークン、250ドル)では1.00ドルになります。ポーリング、ダウンロード、プレビューは無料で、トークンに有効期限はなく、変換に失敗した場合はトークンが自動的に返却されます。無料のAPIトークンはありません。APIキーはパックを購入すると有効になります。
手動で1体のアバターを処理しますか?ブラウザでVRMに口パクと瞬きを追加できます。まだVRMではないGLBから始めますか?同じAPIコールです。GLB to VRM APIをご覧ください。画像から始めますか?Image to VRM APIをご覧ください。
クリエイターからよくある質問
APIはリップシンク自体を行いますか?
リップシンクに必要なもの、つまりアバター上のaa、ih、ee、oh、ouの表情を構築します。音声やTTSの音素からそれらを駆動するのは、three-vrmのexpression managerや、お使いのリップシンクライブラリを使って貴社のアプリ側で行います。
既存のVRMを送信できますか?
はい。.vrmをfileフィールドとしてアップロードしてください。口パク、瞬き、感情表現、そしてリグに目ボーンがある場合はlookAt機能を持つVRM 1.0が返されます。
VRMの代わりにリグ付きのGLBを送信できますか?
はい。.glbは同じエンドポイントを通り、同じ表情セットを持つVRM 1.0として返されます。リグなしのGLBでも動作します。
ARKitブレンドシェイプやパーフェクトシンクを追加しますか?
いいえ。出力にはVRM 1.0の表情セットが含まれます:5つの口パク、blink、blinkLeft、blinkRight、happy、angry、surprised、そしてリグに目ボーンがある場合はlookAtです。52個のARKitシェイプは含まれません。
どの口パク(viseme)名を使用しますか?
VRM 1.0のプリセットであるaa、ih、ee、oh、ouを使用します。プリセット名でVRMの表情を設定するコードは、マッピングなしで動作します。
私のモデルは口が閉じています。それでも動作しますか?
はい。口を閉じたモデルも変換できます。口が開いた状態でモデリングされたモデルよりも口の動きがソフトになるため、プレビューで確認してください。
ビューアーを開かずに結果を確認するにはどうすればよいですか?
すべての表情を再生するGET /conversions/{id}/preview.mp4をダウンロードするか、preview_imagesにリストされている静止画を確認してください。どちらも他のすべてのコールと同じAuthorizationヘッダーが必要です。
料金はいくらですか?
VRM1体あたり10 APIトークンで、パックに応じて1.00ドルから1.50ドルです。変換に失敗した場合、トークンは自動的に返却されます。
出力はVRM 0.xですか、それとも1.0ですか?
VRM 1.0のみです。