リップシンク

VTube Studioはマイクを使って音声を分析し、それに基づいてLive2Dモデルの口の形を計算することができます。

モデルのセットアップによっては、カメラ/電話ベースのトラッキングと組み合わせることもできます。

リップシンクは2種類から選択できます：

普通のリップシンク
- 旧型オプション、Windows専用、Occulus VR Lipsyncに基づく
- おすすめしません。代わりにAdvanced Lipsyncをお使いください。
- Advanced Lipsyncは同じ（そしてそれ以上の）パラメーターをサポートし、より正確なので、このページでは説明しません。
マイクロリップシンク(uLipSync)：
- uLipSync(byhecomi )に基づく
- A、I、U、E、Oの音素を正確に検出できるように、自分の声でキャリブレーションできます。
- すべてのプラットフォーム（デスクトップとスマートフォン）で利用可能。

<aside> 💡 注意：「普通のリップシンク」についてはここでは説明しません。もしまだ使っているのであれば、「マイクロリップシンク」への移行を検討してください。同じパラメーターとそれ以上をサポートし、より高性能で、すべてのプラットフォームで動作します。

</aside>

マイクロリップシンクの使用

マイクロリップシンクを使用するには、「リップシンクの種類」ボタンで選択します。

次にマイクを選択し、「マイクを使う」がオンになっていることを確認してください。

設定には3つのスライダーがある：

音量ブースト
- マイクからの音量を上げる。VoiceVolume、VoiceVolumePlusMouthOpenパラメータ、VoiceA/I/U/E/Oパラメータ全てに影響します。
音量しきい値
- ノイズゲート。音量の小さいノイズを除去します。この値は低いか0にしておき、代わりにVTube Studioにオーディオを送り込む前にノイズゲートを設けるのがベストでしょう。
周波数ブースト
- VoiceFrequencyと VoiceFrequencyPlusMouthSmile、およびVoiceA/I/U/E/Oパラメータのブースト値。

マイクが遅延する場合、「再読み込み」ボタンをクリックしてマイクを再起動することができます。そのためのキーバインドを設定することもできます。

リップシンク・システムをキャリブレーションするには、キャリブレーションが終了するまで、設定する母音を発声しながら各「キャリブレーション」ボタンをクリックしてください。

そうすることで、リップシンクシステムがあなたの声にキャリブレーションされます。

マイクやオーディオの設定を変更した場合は、キャリブレーションをやり直したほうがよいでしょう。

「リセット」をクリックすると、キャリブレーションがデフォルト値にリセットされます。

すべての母音をもう一度発声し、それぞれの母音がUI上で点灯するかどうかを確認することで、キャリブレーションが正しいことを確認します。

キャリブレーションボタンの横に表示される面白いカラフルなビジュアライゼーションは、キャリブレーション中に音声に記録された周波数スペクトルに関連しています。もっと詳しく知りたい方は、uLipSyncのリポジトリをご覧ください。

リップシンク・システムは以下のボイス・トラッキング・パラメーターを出力します。口パラメーターだけでなく、Live2Dのあらゆるパラメーターの入力として使用できます。

例えば、母音検出パラメータをモデルのカスタムパラメータにフックアップすることで、「イコライザー」エフェクトやその他のクールなオーディオビジュアライザーやカラーエフェクトを作成するのに使うことができます。

以下のパラメータが使用可能です：