新規トピックを開始
回答済み

音源と連動して口パクする「リップシンク」をStylyで使いたい。

以下URLの作品のような
3Dのキャラが「音源と連動して口パク」するリップシンクを、Styly上にアップロードできるものは無いか御相談です。



※以下、自分なりに格闘し試したことを共有致します。

--------------Vtuberで最も使われる「OvrLipSync」を使用--------------


「結果」

C#スクリプトの為、↓のようなエラーが出て使用できず断念。

image




----------------unitychan-crs-masterとBlendShapeEditHeliperを利用----------------


https://styly.cc/ja/tips/aigaalince001_jojomon_particlelive4/

の記事にあるような手法を試す。


「結果」


記事の中盤あたり「Editorで再生した口の動きをAnimation Clipにする]という項目内の、

『サンプルプロジェクトのScriptsフォルダにあるCreateBlendShapeAnimeClipスクリプトを利用します。』


→そもそも「CreateBlendShapeAnimeClipスクリプト」が存在せず断念。

image




----------------凹みTipsさんの「uLipSync」を利用----------------


https://tips.hecomi.com/entry/2021/02/27/144722

の記事を試す。


Stylyの推奨バージョン「2019.3.6f1」では、↓の画像のように、スクリプトエラーが発生し、断念。

image




以上、試したことです。


また、

↓のように、音楽に合わせてタイムライン上で、手動で口の形のアニメーションを1つ1つ挿入しながら制作することもできるのですが、

image


膨大な作業時間がかかり、できればリップシンクシステム(音源に合わせて自動でA・I・U・E・O、口が動いてくれる)方法、かつStylyにもアップロードできるものを模索しております。


長文になりましたが、どうかご教示をよろしくお願い致します。



最も良い回答

こちらのURLから、二番目の方法の際に存在しなかった「CreateBlendShapeAnimeClip」「CreateBoneAnimeClip」のスクリプトが入ったプロジェクトがダウンロードできます。


この二つのスクリプトをインポートして、記事通りに進めていただければ、VRoidのモデルという制約はありますがリップシンクを実装できるかと思います。

コメント数: 4Sorted by 古い順

ご質問ありがとうござます。

こちらの質問ですが、現在調査中ですのでもうしばらくお待ちください。

回答

こちらのURLから、二番目の方法の際に存在しなかった「CreateBlendShapeAnimeClip」「CreateBoneAnimeClip」のスクリプトが入ったプロジェクトがダウンロードできます。


この二つのスクリプトをインポートして、記事通りに進めていただければ、VRoidのモデルという制約はありますがリップシンクを実装できるかと思います。


1人 これを「好き」

プロジェクトのお送り、有難うございます。


「記事の内容」のものを実装することが出来ました。

取り急ぎ報告いたします。


サンプルのCandyRockStarでは無く「オリジナルの音源」を口パクさせたく、未だ定かではありませんが、以下の手法を試してみます。


-----------

①別プロジェクトで「OVRLipsync」を使用し、口パクのモーションをアニメーションクリップ化。

参考記事:https://qiita.com/itsutsuhashi/items/67f311ef51473f5ad5c5

②口パクを収録した「アニメーションクリップ」をStylyアップロード用のプロジェクトに持っていき、タイムライン上に配置。Stylyにアップロードしてみる。

-----------


重ねがさね、お伺いしご面倒をおかけすることがあるかもしれませんが、今後共よろしくお願い致します。

 

 

 

 

 

 

 

確かに、記事の内容ですとCandyRockStarのリップシンクのみの対応となってしまいますね。


オリジナルのリップシンクは、想定されている通り別プロジェクトでOVRLipSyncあるいはCreateBlendShapeAnimeClipを使ってアニメーションクリップを作り、STYLYのプロジェクトに移動するというやり方で実装できるかと思います。


もし何かありましたら、ご質問ください。


1人 これを「好き」
ログイン または 登録 コメント投稿のため