<aside> 📌 メインメニュー

ホーム

• 目次

ヘルプ

モデルの入手方法

Android vs. iPhone vs. ウェブカメラ

プライバシーポリシー、ライセンス、その他の規約

システム

機能説明

トラブルシューティング

</aside>

リップシンク

VTube Studioはマイクを使って音声を分析し、それに基づいてLive2Dモデルの口の形を計算することができます。

モデルのセットアップによっては、カメラ/電話ベースのトラッキングと組み合わせることもできます。

https://lh7-us.googleusercontent.com/drL251tVVKSi3kcGjrzTSkS0y7XpWxHMdUQlBx6nrbe1PqjpNlp7SObBONy91lhJC1uU7FaWi6YQee8BW0pFjtMHjmYlDKofkkGx-lARfrvWjIwowg9Cc3T5MXpxQO-johhhfz3lYR3B8UUfDrilKco

リップシンクは2種類から選択できます：

• 普通のリップシンク

  • 旧型オプション、Windows専用、Occulus VR Lipsyncに基づく
  • おすすめしません。代わりにAdvanced Lipsyncをお使いください。
  • Advanced Lipsyncは同じ（そしてそれ以上の）パラメーターをサポートし、より正確なので、このページでは説明しません。

• マイクロリップシンク(uLipSync)：

  • uLipSync(byhecomi )に基づく
  • A、I、U、E、Oの音素を正確に検出できるように、自分の声でキャリブレーションできます。
  • すべてのプラットフォーム（デスクトップとスマートフォン）で利用可能。

<aside> 💡 注意：「普通のリップシンク」についてはここでは説明しません。もしまだ使っているのであれば、「マイクロリップシンク」への移行を検討してください。同じパラメーターとそれ以上をサポートし、より高性能で、すべてのプラットフォームで動作します。

</aside>

マイクロリップシンクの使用

マイクロリップシンクを使用するには、「リップシンクの種類」ボタンで選択します。

次にマイクを選択し、「マイクを使う」がオンになっていることを確認してください。

設定には3つのスライダーがある：

• 音量ブースト
  • マイクからの音量を上げる。VoiceVolume、VoiceVolumePlusMouthOpenパラメータ、VoiceA/I/U/E/Oパラメータ全てに影響します。
• 音量しきい値
  • ノイズゲート。音量の小さいノイズを除去します。この値は低いか0にしておき、代わりにVTube Studioにオーディオを送り込む前にノイズゲートを設けるのがベストでしょう。
• 周波数ブースト
  • VoiceFrequencyと VoiceFrequencyPlusMouthSmile、およびVoiceA/I/U/E/Oパラメータのブースト値。

マイクが遅延する場合、「再読み込み」ボタンをクリックしてマイクを再起動することができます。そのためのキーバインドを設定することもできます。

https://lh7-us.googleusercontent.com/ENWAQqx7-by5FaJZsDmM8OTuvq4iNyKvcNZGKMWkT4HMSqrUHPO6uKK5gTclvGEZWZp5xcLOudwisMfjsmyGXbq7slxJf9R26Ky2buHEC2sL_1gxkAumDJhH-_tz8wcFo8U1SGspzNBbpzc3e9yqqEs

https://lh7-us.googleusercontent.com/lhyVLEe7waZgXYf0v8-CfXiS04Ezli_7YHdkc2R3vB2lMp1wvlgi9q-HI-kkal91LxOp2sgnMm-GCbnxXFaFHVPiUIuWQUXmqSdwK_uCzegTLCYyEkXRSIItHrXjfeEgWSM_FhhIgwJmaY4RdQMWMI8

キャリブレーション

リップシンク・システムをキャリブレーションするには、キャリブレーションが終了するまで、設定する母音を発声しながら各「キャリブレーション」ボタンをクリックしてください。

そうすることで、リップシンクシステムがあなたの声にキャリブレーションされます。

マイクやオーディオの設定を変更した場合は、キャリブレーションをやり直したほうがよいでしょう。

「リセット」をクリックすると、キャリブレーションがデフォルト値にリセットされます。

すべての母音をもう一度発声し、それぞれの母音がUI上で点灯するかどうかを確認することで、キャリブレーションが正しいことを確認します。

キャリブレーションボタンの横に表示される面白いカラフルなビジュアライゼーションは、キャリブレーション中に音声に記録された周波数スペクトルに関連しています。もっと詳しく知りたい方は、uLipSyncのリポジトリをご覧ください。

音声トラッキング・パラメーター

リップシンク・システムは以下のボイス・トラッキング・パラメーターを出力します。口パラメーターだけでなく、Live2Dのあらゆるパラメーターの入力として使用できます。

例えば、母音検出パラメータをモデルのカスタムパラメータにフックアップすることで、「イコライザー」エフェクトやその他のクールなオーディオビジュアライザーやカラーエフェクトを作成するのに使うことができます。

以下のパラメータが使用可能です：

• VoiceA
  • 0から1の間
  • Aの母音がどれだけ検出されるか。
• VoiceI
  • 0から1の間
  • I母音がどれだけ検出されるか。
• VoiceU
  • 0から1の間
  • U母音がどれだけ検出されるか。
• VoiceE
  • 0から1の間
  • E母音がどれだけ検出されるか。
• VoiceO
  • 0から1の間
  • O母音がどれだけ検出されるか。
• VoiceSilence
  • 0から1の間
  • 無音が検出されたとき（キャリブレーションに基づく）、または音量が非常に小さいとき（0に近い）、1。
• VoiceVolume / VoiceVolumePlusMouthOpen
  • 0から1の間
  • マイクからの検出音量
• VoiceFrequency / VoiceFrequencyPlusMouthSmile
  • 0から1の間
  • すでにVoiceA、VoiceI、...のパラメータを使用している場合は、これらのパラメータは使用しないでください。検出された母音を1つのパラメータにまとめることができます。
  • 検出された母音に基づいて計算されます。このパラメータを生成するために、母音検出値をどのように乗算するかを設定できます。

モデルでの使い方（口の例）

https://lh7-us.googleusercontent.com/oy6V__6GhmBUcRSQiL2vQQ4LKEIhQjQtzH2C49TYbrT8c6Fek3I7-_jkroa-rrkU9k81CXg3S34l0C1qCNNDgigp45N2UBWTeu8wlCp4utvTz4D88mUskLZkb-StUiejpPBpZROiLogTi6QHwEQ0lzQ

https://lh7-us.googleusercontent.com/8Lo0Q6wSyDJKY1fO2e0EUPIirQh-vkD4nIeyhVM5dL7gEIdA4Gd4Y098CKZTAD4U9LlboaR12ldMhZjMM97whbSs8uQHNshKyCeg7YBLg7CXMgpsm55YyIjPxDrQ43q3gS3FhfuPfWffgKMmU4BlKh0

口モデルのサンプルはこちらからダウンロードできます： "aaa_BlendshapeMouthExample.zip"

https://lh7-us.googleusercontent.com/5u6cpHAWd63kk_mJnVRx8r0_qvLg-r6zMpvWSdQGs3Wj7NVo11mmx0h-xTVNJH8pLHGE2Qz00BJfysndUYLjAWJShmYwQ0AK1hhWa_qDS8NuykF5RPe_Oenw02hPpm0EBomjoc0jKkfFgAtxIGnevkg

サンプルのモデルは簡略化されていますが（そして少し擦れています）、カメラ/電話ベースのリップシンクとマイクロリップシンクを組み合わせるために使用可能なセットアップの1つを示しています。

Brian Tsuiと私がこのモデルのセットアップを検討したVODがある。ご興味のある方は、こちら（https://www.youtube.com/watch?v=X2-nHPeF5Q0）をご覧ください。

https://lh7-us.googleusercontent.com/n2g1LSXtlRobSPwDdF4nfq-ljnpwxjxV57XiXVmCVoUbyo_ExUlwj1u3IBFPqSYL9SiiOMOf6n90LzlZTd5kH2NSJ5VEwG1ST4-QT9PQ38PgrLMTSf2DIeIDrtD5PqmbN7mRROHkfqcxrYPozAQX0sE

一般的な考え方：

• マイクから大きな音が拾われると、音の大きさに応じて、マイクのリップシンクによって生成されたフォームに向かってフェードされた口のフォームが作られる。
• 音がほとんど検出されない、あるいは全く検出されない場合は、カメラトラッキングに基づく口の形を使用するだけでよい。

これを実現するために、次のようなパラメータ設定を行うことができます：

（ここでは、通常のMouthOpen/ MouthFormの設定で写真を掲載しているが、VBridgerのマウスフォームも含めることができます）

https://lh7-us.googleusercontent.com/PYIiG9waGAmVDXlu0YoOKqrShIFqMtUmDbhiD6JdqFUdl148mnOgYhQFqmvEFTVM9VPO8LiOe62Vi_GmtrPeg-ujPvIb3-uLDMW0UzpkJG4ewQgz1UyhodB8rA-XVgKG22xVDjMKfFwx5Fu99Dij8wA

ParamMouthOpenと ParamMouthFormの設定はいつも通り。さらに、ParamSilence を設定します。

このパラメータは後でVoiceSilenceにフックアップされるので、マイクが音を検出しないか、ほとんど検出しないときに1になります。

次に、ParamSilence用のキーフォームを追加して、ParamMouthOpenと ParamMouthFormが、ParamSilenceが 1のときだけ口の形に影響するようにします。

パラメータが0のときは、ParamMouthOpenと ParamMouthFormを動かしても、口はまったく変形しないようにします。

このデフォルトのニュートラルマウスフォームに基づいて、ブレンドシェイプパラメーター ParamA、ParamI、ParamU、ParamE、ParamOを設定します。

これらの5つのブレンドシェイプパラメーターについては、それぞれの母音を発音するときのモデルの口の形を想像してみてください。日本語の典型的な発音を参考にすれば、他の言語でもたいていうまくいきます。

どのようなスタイルでモデルを描くかによって、口の形は大きく違って見えるかもしれませんが、キュート／ガーリーな口の形について私が作ったリファレンスはこちらです。一般的には、あまりハッピーな感じではなく、中性的な感じにしたほうがいいかもしれません。

これを "テンプレート "として使うことはおすすめしません。あくまでも、アイデアを伝えるための参考資料という位置づけです。

https://lh7-us.googleusercontent.com/sr_WwrZ-1mSCq1VN3yWw_09wdj9ANGFIWJLaFRgjQQW3rfofQphApQ9RCEpXQPbXGNxnk_pAZ_F7KIKGiIpnTp3lr879T5oGBJiXvolQ-jERjoOfnmtKUwFGAozcf45fyQd5J-K_rI0zMF3dbKO8JFM

複数のブレンドシェイプが同時に1になると、ブレンドシェイプが良く見えない（良く見える必要はない）ことに注意してください。

VTube Studioは、これらのLive2Dブレンドシェイプパラメーター（VoiceA、VoiceI、VoiceU、VoiceE、VoiceO）をコントロールするリップシンクパラメーターが同時に1になることはなく、より小さなパラメーター値でのみミックスされるようにします。

必要な設定はこれだけです。

さて、モデルをVTube Studioにインポートし、高度なリップシンクの自動セットアップを実行します（リップシンク設定の一番下にあるボタン）

これにより、以下のマッピングが設定されます（もちろん、手動で設定することもできます）：

• MouthOpen → ParamMouthOpen
• MouthSmile → ParamMouthForm
• VoiceSilence → ParamSilence
• VoiceA → ParamA
• VoiceI → ParamI
• VoiceU → ParamU
• VoiceE → ParamE
• VoiceO → ParamO

繰り返しますが、ParamSilenceパラメータは、サウンドのリップシンクが音量を検出すると、MouthOpenと MouthSmileで設定した口の形を強制的にニュートラルにし、その時点でVoiceA、VoiceI、...のトラッキング値によって駆動されているブレンドシェイプが引き継ぎます。