Zoomビデオ会議用のバ美肉&バ美声環境(Windows&Mac)

弊社も3月末からリモートワークになってるんですけど、
とうとう出ました「Zoomで懇親会」する話。
平時のMTGは基本ボイス参加なのに、懇親会だからビデオでやろうぜ!というノリになったので、じゃあバ美肉しようかな、と思い至ったのでありました。
前々から興味はあったのでいい機会かなと。

バーチャル美少女を用意する

お手軽なのはVRoidを使うことだと思う。

Pixivが作ってるVRoidHubでダウンロードOKを条件にフィルタすれば、利用可能なアバターがたくさん出てくるので好みのを探す。
公式のVRoidプロジェクトのアバターも可愛いの揃ってて良い。

他の人の利用がOKに設定されていれば、利用条件確認の後でダウンロードができる。
Pixivアカウントが必要なので事前にログインするか新規登録しておく。

ダウンロードしたVRMファイルはMacならユーザーディレクトリの直下、Windowsはドキュメントとかに保存する。

カスタマイズとオリジナルキャラ作成

Pixivが作成しているVRoid StudioでVRoidを編集することができる。

試しにやってみたらすごい沼の深さを感じたw
VRoid Studioはイチからモデリングするということはできないので、
Mayaとかの3Dソフトが使えるなら+Unityでアバター作る方がいいでしょう。

初期画面でVRoidプロジェクトのサンプルモデルが選べるので、それをベースにカスタムするもよし、最初から自分で設定して作るもよし。操作できるのは顔、髪、体、服でゲームのアバターのようなパラメーター調整とテクスチャ変更がある。
一番の目玉は手書きした線や塗りがそのままモデリングやテクスチャに反映されることで、難しい操作もなくイメージを具現化できるので大変便利。ただしマウスでやると死ぬほど肩と手が疲れるのでペンタブの必要性を感じると思う…。

モデリングとテスクチャ作成を頑張ったらこれくらいのカスタムはできるが、
パラメータ操作可能な範囲を超える設定をすることはできない。

VRoid Studioで作成したモデルはエクスポートからVRMファイルとして保存する。

Live2Dで受肉したい!

…という人は Boothnijima で好みの子を探すと幸せになれるでしょう。
FaceRigはSteamでフリーのアバターが手に入るのでSteam内で探そう。
Live2Dアバターを利用する場合、操作用のソフトが以下のいずれかになります。

3teneのLive2D対応版だとサンプルモデルが2種類付属してます。
FaceRigとVTubeStudioにもサンプルモデルが付属しているのでとりあえずやってみるだけならアプリをインストールするだけでおk。

各ソフトによって対応する形式が異なるので、未対応のモデルだと動かせない場合があるので注意
(例:FaceRig用モデルはVTubeStudioでは動かせない、など)
3Teneで腕を動かすためにはLive2Dアバターのパラメータを3tene向けに変更する必要があります。

WindowsとMacの環境について

利用できるアプリやデバイスが異なるので、お手持ちの環境に合わせて調整が必要。
以下は我が家の環境です。

Windows環境

XSplitはもともと持ってたのを試しに使ってみただけです。

Mac環境

MBP2台あってOSが違ってるので両方で試しました。
カメラ内蔵なら必要環境はこれだけですが、
カメラ内蔵されてない端末ならウェブカメラも必要。

3teneはMac版も一応あるけど、設定の時点で強制終了祭りでどちらのOSバージョンでも正常に動作しなかったりCPU使用率が100%超えたりしたので使うのは諦め、すごい簡単にバ美肉れるアプリを作ってる人がいたのでそれを利用。

アバター操作ソフトウェア

上から導入難易度が低い・扱いやすい順です。

表情トラッキング重視ならFaceRigかVTubeStudio、全身操作重視なら3tene、
ゲームや作業の雰囲気重視ならVMagicMirrorがおすすめ。

使ってみたアプリの仕様とレビューまとめはこちら

配信用ソフトウェア

アバター操作ソフトウェア側に出力機能ががなかったり、アバターとデスクトップを合成して表示したいといったアバターソフトウェアだけで処理できない映像をZoomに送りたい場合は必要です。

3teneとVMagicMirrorはUnityCaptureに対応してますが、色が変わるバグがある。

VTubeStudio+iPadミラーリング合成録画サンプル

Webカメラの代わりにiPhoneを使う

iPhoneX以降のユーザーならTrueDepthカメラを利用することができる。
3teneはこの場合だけアイトラッキングが使用可能になります。
表情のトラッキングがFaceRig並に高まるので、iPhoneユーザーならWebカメラ買うよりPro版買う方が安上がりかもしれない。
なるべく顔の正面でiPhoneと対面するように固定した方がいいので、スマホ用三脚などがあると良い。

AppStoreで3teneFTのインストールをしてから、PC版の3teneと接続するだけで使える。
手順は公式のドキュメントを見よう。

3tenePro(Live2D)+iPhoneX フェイストラッキング動作サンプル

Live2Dの表情トラッキングは3TeneよりVTubeStudioの方が感度がいいです。
お値段は1000円高いくらいなのでLive2Dで感情表現重視ならVTubeStudioもアリだと思う。

VTubeStudio Stream to PC (Windows)サンプル

体も操作したい

3teneは体の操作も対応しているので、以下の環境を追加すれば対応する部位を動かせるようになる。

3teneの価格ページに動作環境があるので確認してください。
Free版ではLeapMotionのみ対応してます。

3tene+Webカメラ+LeapMotionサンプル動画

音声はないよ

LeapMotionはカメラを机上に置いて上向きにキャプチャするので、トラッキング範囲を超えるポーズをするとアバターのポーズも崩れる。
操作に癖があるので練習しないとすぐ骨折します😂

Windows環境編

3Dアバターを3teneで動かす

VTuber向けに作られた3teneで、3Dアバターを操作する。
Zoom会議用ならFree版でいいと思うが、より詳細な設定がしたかったり、Live2Dモデルを使いたかったりする場合はPRO版の購入が必要。お値段は1100円と2200円。
環境の項目でリストアップした他のソフトでもおk。

3teneはVTuber配信に特化したアプリなだけあって使い方は全然難しくないので、公式サイトの説明通りやればおk。

アバターを登録したら、右側のフェイストラッキング、リップシンクをONにすれば操作が可能に。

UnityCapureによる仮想カメラ出力(3Tene Free)

無料版3teneの場合はUnityCaptureをインストールすることで、画面を仮想カメラとして出力することができるようになる。
やり方は公式サイトの説明通りで、UnityCaptureをインストールして3teneを起動するだけ。Zoomで直接カメラ指定でUnityCaptureを選択すればいい。

Zoomのカメラ設定でUnity Video Capture選択
XSplit Broadcasterの場合

この画像どちらも初期設定光源での写り方なんだけど、残念ながらUnityCaptureのバグによってそのままだと色が狂ってしまうので、光の強さを落としたりして調整する必要がある。

それでもオリジナルに比べるとコントラスト強めになってしまうが、
UIが一切写り込まないのでアバター操作がしやすい。

NDIによる画面出力(3Tene Pro)

有料版3Teneの場合、2020/05/22にリリースされたv1.10.28からNDIに対応したので、配信ソフトを利用する時にNDI出力を選択することができるようになった。
しかしZoomにはNDI受信機能はないので、3TeneとZoomを直接繋げる場合は引き続きUnityVideoCaptureが必要である。

使い方は公式のドキュメントにある通りで、設定→システムにあるNDIの項目にチェックをいれる。

これで起動するので、配信ソフト側のソースでNDIの3Teneを選ぶだけ。

色はやっぱり狂うので3Teneか配信ソフト側で調整が必要です。

画面キャプチャの設定(XSplit Broadcaster)

3Dアバターを動かしてる画面をキャプチャして仮想カメラで出力する。
アバター操作してるアプリ側に出力機能がない場合に使える手です。

3teneの場合は両サイドのメニューを除いた範囲で16:9になるようにキャプチャエリアを設定する。

  • ウィンドウソースをアバター動かしてるアプリに設定
  • マウスポインタのキャプチャはオフ
  • 独占ウィンドウキャプチャをオン

ただのスクリーンキャプチャだと他のウィンドウを重ねたりできなくなるので、アプリの画面だけキャプチャできる機能が必須。
それでも設定など開くと映り込むので、アバター操作はキーボードやゲームパッドのショートカットで行うことになる。

ブラウザの指定領域とアバターを表示してプレゼンぽくする例(VMagicMirror)

Zoomの設定

Zoomを起動したらビデオの設定画面を開いて、カメラのセレクトメニューから仮想カメラを選択すればおk。

3teneの方で背景画像指定したのが上のスクショ。
色指定グリーンを選択すれば、Zoomのバーチャル背景が利用できる。

あとはZoomでビデオ会議に参加すれば、バ美肉完成!

Mac環境編

MacBookProでの環境設定になります。MacBook以外の端末だと内蔵カメラがなかったりすると思うんで、別途追加してください。

EasyVTuberの設定

Macの場合どちらのOSバージョンでも3teneが安定動作しませんでした。
また、Windowsに比べるとアプリの選択肢が少ないです。

なので代わりになるものを探したところ、簡単にVTuberになれるEasyVTuberというアプリを作ってる人がいたのでそれを利用することにした。

GitHubのREADME通りにやればつつがなく終わります。

  • VRoid HubなどからVRMファイルをダウンロード
  • Macのローカルディスクのユーザのホームディレクトリにavatar.vrmという名前で配置
  • アプリをダウンロードして起動

設定はマシンスペック鑑みて調整。
あんまり欲張りすぎるとMac落ちるんでほどほどに。

CamTwistの設定

Preferencesで解像度を変更する。FPS30、VideoSize 1280×720。

  • Step1:VideoSourcesからDesktop+を選択
  • SettingsのSelect from existing windowsでEasyVTuberを選択
  • Select capture area ボタンを押して、タイトルバーが入らないようにエリアを設定
  • Done selectionしてエリアを確定
  • Step3:のSave Setupボタンを押す

Zoomの設定

現時点(4/19)ではMac版Zoomはバージョン4.6.9以上だと仮想カメラを認識しません。
最新版にしている場合は4.6.8以下へのダウングレードが必要です。
(どうして動かないのかというのはManyCamの中の人が答えています)

もしダウングレードしたくなければ、Zoom側が対応するまでバ美肉するのは諦めるしかない。

【5/12追記】Zoomのコード署名を変更する方法でも使えるようになるらしい。
参考:必要最小限の自己署名で zoom の 仮想カメラ (mac-obs-virtual-camera) を使えるようにしてみた。

4.6.8以下であれば、ビデオの設定でカメラにCamTwistが選択できる。

CamTwistのキャプチャエリアを調整していい感じに写るように設定すればおk。

ビデオ会議を開始すればこの通り!

魚眼レンズぽくなってるのはEasyVTuberの出力によるところです。
グリーンバックはWindows(3tene)に比べると抜きが甘くて実写に近い感じになる。

どうせなら声も変更したい!

わかりますわかります。なので色々試したのです。

音声入力を使う場合は、WebカメラやMacBook等の内蔵マイクだとすごいノイズ入ってまともに変換できないので、マイクとヘッドフォンが必須になります。
マイクにも色々種類がありますが、入門ならヘッドセットがお手軽です。
ヘッドセットが4極でPCが3.5mミニピンみたいに入出力の端子が合わない場合は変換ケーブルも必要です。

ボイスチェンジャーでバ美声!

ボイスチェンジャーではGachikoe! CoreがWindows・Mac両対応してるしUIも直感的で一番お手軽だった。
使い方は作者さんが書いた記事を読むのが一番だけど、どのソフトの場合でも基本的には入力をヘッドセット等のマイク、出力を仮想オーディオに設定します。
サンプリングレートを設定できる場合は入力と出力を同じにすること。

ソフトは他にも色々とあるので、試してみて気に入ったものを選べばいいと思います。

ボイスロイドでバ美声!

自分が喋った言葉をVOICEROIDなどの音声合成ソフトに発声させる。
完全に声を入れ替えるので性別変更もしやすいが、機械音声と分かる声になる。
今の所音声入力自動変換は、ゆかりねっとを使うのがお手軽だと思う。(Windows環境のみ)

説明はこの記事が詳しい:
ゆかりねっとを使ってみたらすごかった!使い方解説するよ。【目指せVTuber⁉】

喋る→音声認識→変換音声出力という順番で処理されるので、
自分が喋ってからVOICEROID音声が出力されるまでに一定の待ち時間がある。
Zoom会議やゲームの実況配信みたいなリアルタイム用途には不向きで、
ゲーム実況の場合はゲームと音声を別撮りして合成しないと変換による遅延を埋めることはできない。

仮想オーディオ

映像のときに仮想カメラが必要だったように、音声の場合は仮想オーディオが必要なんですねえ。

配信ソフトに仮想オーディオが内蔵されている場合は不要です。

Windows環境

選択肢が広い。

VB-CABLE+Gachikoe!Core
ソフトウェアスピーカー(Output)マイク(Input)
Gachikoe! CoreCABLE Input(VB-AUDIO Virtural Cable)マイク
3tene顔認識リップシンク
Zoomスピーカー(ヘッドフォン)CABLE Output (VB-AUDIO Virtural Cable)
VB-CABLE+バ美声β0.3
ソフトウェアスピーカー(Output)マイク(Input)
バ美声CABLE Input(VB-AUDIO Virtural Cable)マイク
3tene顔認識リップシンク
Zoomスピーカー(ヘッドフォン)CABLE Output (VB-AUDIO Virtural Cable)

ボイチェン使う場合は顔認識リップシンクにしておくのが一番安定動作するように思います。
上記どちらの設定もヘッドフォンからは自分の声が聞こえないので、片耳ヘッドセットを使うと喋りやすい。

バ美声はループバックをONにすればヘッドフォンから変換後の声が聞こえるが、他の参加者の声も変換される現象が発生します。

Mac環境

Macは選択肢があんまりないのでBlackHoleを使うしかない感じ。

BlackHoleをインストールして、ボイチェン側の入力を内蔵マイク、出力をBlackHoleにする。
Zoomのオーディオ設定でマイクをBlackHoleにする。
設定にBlackHoleが出てこない場合はMacを再起動する。

Windows版3teneのCPU&メモリ使用量

Chromeは15タブでYouTube再生中、ブルーオースは周回中、陰陽師はホーム待機、
3Teneは1334×750で品質Ultra、フェイストラッキングだけONにしてます。

メモリはそう食ってないですが16GBだと同時起動するアプリ次第ではカツカツ。
CPUとGPUがしょぼいとトラッキング処理でカクつくかも。

こちらは3tenePro版で2人ビデオ会議中の。
Chromeタブ40個くらい、PCゲーム、iPhoneミラーリング、3TenePro、Zoom。
メモリは全然余裕だけどCPUがカツカツだった。

Zoomで録画してみた(Win環境動作テスト)

注意:音声ついてます

こういうのはやっぱりWindowsの方がつよいですね。

Zoomビデオ会議用のバ美肉&バ美声環境(Windows&Mac)” に1件のフィードバックがあります

  1. ピンバック: ビデオ会議のためのバーチャルアイドル技術[実践]入門 | 株式会社インフィニットループ技術ブログ

コメントを残す