API로 VRM에 입 모양과 눈 깜빡임 추가 — 굳은 얼굴을 말하는 얼굴로

VRM의 립싱크는 파일에 구동할 5가지 표정소 표현이 있어야만 작동합니다. 대부분의 변환된 아바타나 AI 생성 아바타에는 이것이 없습니다. 이 API는 깜박임, 감정 표현과 함께 이를 구축하고 VRM을 다시 전달합니다.

API 키 받기 VRM당 10 API 토큰 · .vrm 또는 .glb 최대 100MB

API를 통해 VRM에 표정소와 깜박임을 추가하려면, .vrm(또는 리깅된 .glb)을 file 필드로 https://app.riggle3d.com/api/v1/conversions에 POST하고, GET /conversions/{id}를 폴링한 후, GET /conversions/{id}/vrm을 다운로드합니다. 1-3분 내에 사람의 개입 없이 표정소 aa, ih, ee, oh, ou, blink, blinkLeft, blinkRight, happy, angry, surprised, 그리고 리그에 눈 뼈가 있는 경우 lookAt이 포함된 VRM 1.0을 받게 됩니다. 비용은 10 API 토큰($1.00 ~ $1.50)이며, 변환 실패 시 반환됩니다. API는 셰이프를 구축하고, 앱이나 립싱크 라이브러리는 오디오에서 이를 구동합니다.

VRM 전송, VRM 반환

export RIGGLE_API_KEY=rgl_...
API=https://app.riggle3d.com/api/v1

# 1. 얼굴이 움직이지 않는 VRM 전송 (10 API 토큰)
id=$(curl -s -X POST $API/conversions \
  -H "Authorization: Bearer $RIGGLE_API_KEY" \
  -F file=@avatar.vrm | jq -r .id)

# 2. 더 이상 처리 중이 아닐 때까지 폴링
until [ "$(curl -s $API/conversions/$id \
  -H "Authorization: Bearer $RIGGLE_API_KEY" | jq -r .status)" != processing ]
do sleep 4; done

# 3. VRM 및 모든 표정을 확인하기 위한 비디오
curl -s -o avatar-talking.vrm $API/conversions/$id/vrm \
  -H "Authorization: Bearer $RIGGLE_API_KEY"
curl -s -o preview.mp4 $API/conversions/$id/preview.mp4 \
  -H "Authorization: Bearer $RIGGLE_API_KEY"

.vrm과 .glb는 동일한 엔드포인트와 동일한 필드를 통해 처리됩니다. 전체 계약 내용은 API 레퍼런스에 있으며, 미리 만들어진 Python 및 Node 클라이언트는 github.com/riggle3d/glb-to-vrm에 있습니다.

추가되는 것

표현구동 방식
aa ih ee oh ou립싱크: VRM 앱이 오디오 재생 시 블렌딩하는 다섯 가지 모음 셰이프
blink blinkLeft blinkRight유휴 깜박임, 윙크, 시선 추적
happy angry surprised반응: LLM의 감정 태그, 단축키, 추적된 얼굴
lookAt타겟이나 카메라를 따라가는 눈. 리그에 눈 뼈가 있을 때 포함됨

이들은 VRM 1.0 프리셋 이름이므로, 이름으로 VRM 표현을 구동하는 모든 것이 설정 없이 이들을 찾을 수 있습니다.

포함되지 않음: iPhone "퍼펙트 싱크" 얼굴 추적에 사용되는 52개의 ARKit 블렌드셰이프. 그것은 다른 작업입니다.

이러한 표현이 필요한 경우

  • three-vrm 및 웹 앱. vrm.expressionManager.setValue('aa', v)는 aa 표현이 없는 파일에서는 아무런 시각적 변화도 일으키지 않습니다. 표현이 있으면, 볼륨 또는 음소 기반 립싱크는 몇 줄의 코드로 구현 가능합니다.
  • AI 동반자 및 TTS 구동 아바타. 모델 출력을 말하는 캐릭터는 오디오를 따라가기 위해 다섯 가지 모음, 응시하지 않기 위한 깜박임, 그리고 반응할 한두 가지 감정이 필요합니다.
  • VTuber 앱. VSeeFace 스타일의 추적 및 마이크 립싱크는 동일한 모음 및 깜박임 표현에 매핑됩니다. 앱이 VRM 1.0을 읽는지 확인하세요. 일부 데스크톱 앱은 여전히 VRM 0.x만 읽습니다.
  • VRChat 스타일 표정소 립싱크. 소리당 입 모양을 기대하는 파이프라인은 동일한 것에서 시작합니다: 애초에 그러한 모양을 가진 메시.

이들이 없는 파일의 일반적인 증상: 아바타가 로드되고 몸은 움직이지만 말하는 동안 입은 닫혀 있습니다. VRM의 입이 움직이지 않는 이유는 그 원인을 다룹니다.

품질을 결정하는 것

입 모양은 모델이 이미 가지고 있는 입을 따르므로, 모델이 다른 무엇보다 중요합니다.

  • 입을 벌리고 모델링된 경우 가장 자연스러운 입 모양을 제공합니다.
  • 닫힌 입도 변환되지만 입 움직임이 더 부드럽습니다.
  • 알아보기 힘든 얼굴도 경고와 함께 변환됩니다.

이것이 warnings의 용도입니다. 빈 목록은 이상이 없음을 의미합니다. 그렇지 않으면 preview.mp4 또는 preview_images의 스틸 이미지를 가져와 사용자와 마주하기 전에 확인하세요.

가격

VRM당 10 API 토큰: 스타터 팩(100 토큰, $15)은 $1.50, 빌더 팩(500, $60)은 $1.20, 스케일 팩(2,500, $250)은 $1.00입니다. 폴링, 다운로드 및 미리보기는 무료이며, 토큰은 만료되지 않고, 실패한 변환은 자동으로 토큰을 반환합니다. 무료 API 토큰은 없습니다. 팩을 구매해야 키가 작동합니다.

수동으로 아바타 하나를 작업하시나요? 브라우저에서 VRM에 표정소 및 깜박임 추가하기를 이용하세요. 아직 VRM이 아닌 GLB에서 시작하시나요? 동일한 호출입니다: GLB to VRM API를 참조하세요. 사진에서 시작하시나요? 이미지 to VRM API를 참조하세요.

아바타에 움직이는 얼굴을 부여하세요

키를 만들고 팩을 구매하세요. VRM당 10 API 토큰이며, 변환 실패 시 반환됩니다.

API 키 받기

크리에이터들이 자주 묻는 질문

API가 립싱크 자체를 수행하나요?

립싱크에 필요한 것을 구축합니다: 아바타의 aa, ih, ee, oh, ou 표현. 오디오나 TTS 음소에서 이를 구동하는 것은 three-vrm의 표현 관리자나 사용하는 립싱크 라이브러리를 사용하여 앱에서 이루어집니다.

이미 존재하는 VRM을 보낼 수 있나요?

네. .vrm을 file 필드로 업로드하세요. 표정소, 깜박임, 감정, 그리고 리그에 눈 뼈가 있는 경우 lookAt이 포함된 VRM 1.0을 받게 됩니다.

VRM 대신 리깅된 GLB를 보낼 수 있나요?

네. .glb는 동일한 엔드포인트를 통해 처리되며 동일한 표현 세트가 포함된 VRM 1.0으로 반환됩니다. 미리깅된 GLB도 작동합니다.

ARKit 블렌드셰이프나 퍼펙트 싱크를 추가하나요?

아니요. 출력에는 VRM 1.0 표현 세트가 있습니다: 다섯 가지 표정소, blink, blinkLeft, blinkRight, happy, angry, surprised, 그리고 리그에 눈 뼈가 있는 경우 lookAt. 52개의 ARKit 셰이프는 포함되지 않습니다.

어떤 표정소 이름을 사용하나요?

VRM 1.0 프리셋: aa, ih, ee, oh, ou. 프리셋 이름으로 VRM 표현을 설정하는 코드는 매핑 없이 작동합니다.

제 모델의 입은 닫혀 있습니다. 그래도 작동할까요?

네. 입이 닫힌 모델도 변환됩니다. 입 움직임이 입을 벌리고 모델링된 모델보다 부드러우므로 미리보기를 확인하세요.

뷰어를 열지 않고 결과를 어떻게 확인하나요?

모든 표현을 재생하는 GET /conversions/{id}/preview.mp4나 preview_images에 나열된 스틸 이미지를 다운로드하세요. 둘 다 다른 모든 호출과 동일한 Authorization 헤더가 필요합니다.

비용은 얼마인가요?

VRM당 10 API 토큰으로, 팩에 따라 $1.00에서 $1.50 사이입니다. 변환이 실패하면 토큰은 자동으로 반환됩니다.

출력은 VRM 0.x인가요, 1.0인가요?

VRM 1.0 전용입니다.

가이드