Zoomビデオ会議用のバ美肉＆バ美声環境（Windows＆Mac）

弊社も3月末からリモートワークになってるんですけど、
とうとう出ました「Zoomで懇親会」する話。
平時のMTGは基本ボイス参加なのに、懇親会だからビデオでやろうぜ！というノリになったので、じゃあバ美肉しようかな、と思い至ったのでありました。
前々から興味はあったのでいい機会かなと。

バーチャル美少女を用意する

お手軽なのはVRoidを使うことだと思う。

Pixivが作ってるVRoidHubでダウンロードOKを条件にフィルタすれば、利用可能なアバターがたくさん出てくるので好みのを探す。
公式のVRoidプロジェクトのアバターも可愛いの揃ってて良い。

他の人の利用がOKに設定されていれば、利用条件確認の後でダウンロードができる。
Pixivアカウントが必要なので事前にログインするか新規登録しておく。

ダウンロードしたVRMファイルはMacならユーザーディレクトリの直下、Windowsはドキュメントとかに保存する。

カスタマイズとオリジナルキャラ作成

Pixivが作成しているVRoid StudioでVRoidを編集することができる。

試しにやってみたらすごい沼の深さを感じたｗ
VRoid Studioはイチからモデリングするということはできないので、
Mayaとかの3Dソフトが使えるなら+Unityでアバター作る方がいいでしょう。

初期画面でVRoidプロジェクトのサンプルモデルが選べるので、それをベースにカスタムするもよし、最初から自分で設定して作るもよし。操作できるのは顔、髪、体、服でゲームのアバターのようなパラメーター調整とテクスチャ変更がある。
一番の目玉は手書きした線や塗りがそのままモデリングやテクスチャに反映されることで、難しい操作もなくイメージを具現化できるので大変便利。ただしマウスでやると死ぬほど肩と手が疲れるのでペンタブの必要性を感じると思う…。

モデリングとテスクチャ作成を頑張ったらこれくらいのカスタムはできるが、
パラメータ操作可能な範囲を超える設定をすることはできない。

VRoid Studioで作成したモデルはエクスポートからVRMファイルとして保存する。

Live2Dで受肉したい！

…という人は Booth や nijima で好みの子を探すと幸せになれるでしょう。
FaceRigはSteamでフリーのアバターが手に入るのでSteam内で探そう。
Live2Dアバターを利用する場合、操作用のソフトが以下のいずれかになります。

3TenePro+Live2D（2200円）
FaceRig （1480+398円）
VTube Studio （App2980円・Steam1520円）

3teneのLive2D対応版だとサンプルモデルが2種類付属してます。
FaceRigとVTubeStudioにもサンプルモデルが付属しているのでとりあえずやってみるだけならアプリをインストールするだけでおｋ。

各ソフトによって対応する形式が異なるので、未対応のモデルだと動かせない場合があるので注意
（例：FaceRig用モデルはVTubeStudioでは動かせない、など）
3Teneで腕を動かすためにはLive2Dアバターのパラメータを3tene向けに変更する必要があります。

WindowsとMacの環境について

利用できるアプリやデバイスが異なるので、お手持ちの環境に合わせて調整が必要。
以下は我が家の環境です。

Windows環境

Windows 10（PCは水冷のやつ）
USB接続のWebカメラ（Logicool C270n）
ヘッドセット（昔買った猫耳のやつ使った）
3tene（３Dアバター操作アプリ）
XSplit Broadcaster （キャプチャ＆仮想カメラ）
またはUnity Video Capture
Zoom バージョン4.6.11

XSplitはもともと持ってたのを試しに使ってみただけです。

Mac環境

MacBookPro（2016・2018）
Mac OS Mojave(10.14.6) ＆ Catalina(10.15.4)
ヘッドセット（昔買った猫耳のやつ使った）
CamTwist
EasyVTuber
Zoom バージョン 4.6.8

MBP2台あってOSが違ってるので両方で試しました。
カメラ内蔵なら必要環境はこれだけですが、
カメラ内蔵されてない端末ならウェブカメラも必要。

3teneはMac版も一応あるけど、設定の時点で強制終了祭りでどちらのOSバージョンでも正常に動作しなかったりCPU使用率が100%超えたりしたので使うのは諦め、すごい簡単にバ美肉れるアプリを作ってる人がいたのでそれを利用。

アバター操作ソフトウェア

上から導入難易度が低い・扱いやすい順です。

3tene（3D）無料・有料
Live2Dの利用は有料版が必要
VMagicMirror （Win: 3D）無料
EasyVTuber（Mac: 3D）無料
FaceRig （Win: 2D/3D）有料
Live2Dの利用はLive2Dモジュールが必要
VTube Studio (2D) 無料・有料
iPhoneのTrueDepthカメラと配信ソフトが必須。PCに接続するのは課金必要
VDRAW （Win: 3D）無料
Wakaru（Win: 3D）無料
VPocket (Android・iOS: 3D）無料
FaceVtuber（ブラウザ: 3D）無料
Luppet （Win:3D）有料
体験版は透かしが入る
バーチャルキャスト（3D&VR）無料
VRデバイス必須

表情トラッキング重視ならFaceRigかVTubeStudio、全身操作重視なら3tene、
ゲームや作業の雰囲気重視ならVMagicMirrorがおすすめ。

使ってみたアプリの仕様とレビューまとめはこちら

配信用ソフトウェア

アバター操作ソフトウェア側に出力機能ががなかったり、アバターとデスクトップを合成して表示したいといったアバターソフトウェアだけで処理できない映像をZoomに送りたい場合は必要です。

XSplit Broadcaster（Win）
UnityCapture（Win）
3Tene、VMagicMirrorが対応
CamTwist（Mac）
OBS
ManyCam

3teneとVMagicMirrorはUnityCaptureに対応してますが、色が変わるバグがある。

VTubeStudio+iPadミラーリング合成録画サンプル

Webカメラの代わりにiPhoneを使う

iPhoneX以降のユーザーならTrueDepthカメラを利用することができる。
3teneはこの場合だけアイトラッキングが使用可能になります。
表情のトラッキングがFaceRig並に高まるので、iPhoneユーザーならWebカメラ買うよりPro版買う方が安上がりかもしれない。
なるべく顔の正面でiPhoneと対面するように固定した方がいいので、スマホ用三脚などがあると良い。

AppStoreで3teneFTのインストールをしてから、PC版の3teneと接続するだけで使える。
手順は公式のドキュメントを見よう。

3tenePro(Live2D)+iPhoneX フェイストラッキング動作サンプル

Live2Dの表情トラッキングは3TeneよりVTubeStudioの方が感度がいいです。
お値段は1000円高いくらいなのでLive2Dで感情表現重視ならVTubeStudioもアリだと思う。

VTubeStudio Stream to PC (Windows)サンプル

体も操作したい

3teneは体の操作も対応しているので、以下の環境を追加すれば対応する部位を動かせるようになる。

Leap Motion （腕と手のトラッキング）
RealSense + Nuitrack （骨格トラッキング）
HTC Vive（頭と手の位置で操作＋移動、トラッカー追加で全身に対応）
Oculus Rift（頭と手の位置で操作＋移動）
Perception Neuron（顔以外の全身モーションキャプチャ）

3teneの価格ページに動作環境があるので確認してください。
Free版ではLeapMotionのみ対応してます。

3tene+Webカメラ＋LeapMotionサンプル動画

音声はないよ

LeapMotionはカメラを机上に置いて上向きにキャプチャするので、トラッキング範囲を超えるポーズをするとアバターのポーズも崩れる。
操作に癖があるので練習しないとすぐ骨折します😂

Windows環境編

3Dアバターを3teneで動かす

VTuber向けに作られた3teneで、3Dアバターを操作する。
Zoom会議用ならFree版でいいと思うが、より詳細な設定がしたかったり、Live2Dモデルを使いたかったりする場合はPRO版の購入が必要。お値段は1100円と2200円。
環境の項目でリストアップした他のソフトでもおｋ。

3teneはVTuber配信に特化したアプリなだけあって使い方は全然難しくないので、公式サイトの説明通りやればおｋ。

アバターを登録したら、右側のフェイストラッキング、リップシンクをONにすれば操作が可能に。

UnityCapureによる仮想カメラ出力（3Tene Free）

無料版3teneの場合はUnityCaptureをインストールすることで、画面を仮想カメラとして出力することができるようになる。
やり方は公式サイトの説明通りで、UnityCaptureをインストールして3teneを起動するだけ。Zoomで直接カメラ指定でUnityCaptureを選択すればいい。

この画像どちらも初期設定光源での写り方なんだけど、残念ながらUnityCaptureのバグによってそのままだと色が狂ってしまうので、光の強さを落としたりして調整する必要がある。

それでもオリジナルに比べるとコントラスト強めになってしまうが、
UIが一切写り込まないのでアバター操作がしやすい。

NDIによる画面出力（3Tene Pro）

有料版3Teneの場合、2020/05/22にリリースされたv1.10.28からNDIに対応したので、配信ソフトを利用する時にNDI出力を選択することができるようになった。
しかしZoomにはNDI受信機能はないので、3TeneとZoomを直接繋げる場合は引き続きUnityVideoCaptureが必要である。

使い方は公式のドキュメントにある通りで、設定→システムにあるNDIの項目にチェックをいれる。

これで起動するので、配信ソフト側のソースでNDIの3Teneを選ぶだけ。

色はやっぱり狂うので3Teneか配信ソフト側で調整が必要です。

画面キャプチャの設定（XSplit Broadcaster）

3Dアバターを動かしてる画面をキャプチャして仮想カメラで出力する。
アバター操作してるアプリ側に出力機能がない場合に使える手です。

3teneの場合は両サイドのメニューを除いた範囲で16:9になるようにキャプチャエリアを設定する。

ウィンドウソースをアバター動かしてるアプリに設定
マウスポインタのキャプチャはオフ
独占ウィンドウキャプチャをオン

ただのスクリーンキャプチャだと他のウィンドウを重ねたりできなくなるので、アプリの画面だけキャプチャできる機能が必須。
それでも設定など開くと映り込むので、アバター操作はキーボードやゲームパッドのショートカットで行うことになる。

ブラウザの指定領域とアバターを表示してプレゼンぽくする例（VMagicMirror）

Zoomの設定

Zoomを起動したらビデオの設定画面を開いて、カメラのセレクトメニューから仮想カメラを選択すればおｋ。

3teneの方で背景画像指定したのが上のスクショ。
色指定グリーンを選択すれば、Zoomのバーチャル背景が利用できる。

あとはZoomでビデオ会議に参加すれば、バ美肉完成！

Mac環境編

MacBookProでの環境設定になります。MacBook以外の端末だと内蔵カメラがなかったりすると思うんで、別途追加してください。

EasyVTuberの設定

Macの場合どちらのOSバージョンでも3teneが安定動作しませんでした。
また、Windowsに比べるとアプリの選択肢が少ないです。

なので代わりになるものを探したところ、簡単にVTuberになれるEasyVTuberというアプリを作ってる人がいたのでそれを利用することにした。

GitHubのREADME通りにやればつつがなく終わります。

VRoid HubなどからVRMファイルをダウンロード
Macのローカルディスクのユーザのホームディレクトリにavatar.vrmという名前で配置
アプリをダウンロードして起動

設定はマシンスペック鑑みて調整。
あんまり欲張りすぎるとMac落ちるんでほどほどに。

CamTwistの設定

Preferencesで解像度を変更する。FPS30、VideoSize 1280×720。

Step1:VideoSourcesからDesktop+を選択
SettingsのSelect from existing windowsでEasyVTuberを選択
Select capture area ボタンを押して、タイトルバーが入らないようにエリアを設定
Done selectionしてエリアを確定
Step3:のSave Setupボタンを押す

Zoomの設定

現時点（4/19）ではMac版Zoomはバージョン4.6.9以上だと仮想カメラを認識しません。
最新版にしている場合は4.6.8以下へのダウングレードが必要です。
（どうして動かないのかというのはManyCamの中の人が答えています）

4.6.8（2020年3月23日）https://zoom.us/client/4.6.19178.0323/ZoomInstaller.pkg
4.6.7（2020年3月1日）https://zoom.us/client/4.6.18176.0301/ZoomInstaller.pkg
4.6.4（2020年1月19日）https://zoom.us/client/4.6.17383.0119/ZoomInstaller.pkg

もしダウングレードしたくなければ、Zoom側が対応するまでバ美肉するのは諦めるしかない。

【5/12追記】Zoomのコード署名を変更する方法でも使えるようになるらしい。
参考：必要最小限の自己署名で zoom の仮想カメラ (mac-obs-virtual-camera) を使えるようにしてみた。

4.6.8以下であれば、ビデオの設定でカメラにCamTwistが選択できる。

CamTwistのキャプチャエリアを調整していい感じに写るように設定すればおk。

ビデオ会議を開始すればこの通り！

魚眼レンズぽくなってるのはEasyVTuberの出力によるところです。
グリーンバックはWindows(3tene)に比べると抜きが甘くて実写に近い感じになる。

どうせなら声も変更したい！

わかりますわかります。なので色々試したのです。

音声入力を使う場合は、WebカメラやMacBook等の内蔵マイクだとすごいノイズ入ってまともに変換できないので、マイクとヘッドフォンが必須になります。
マイクにも色々種類がありますが、入門ならヘッドセットがお手軽です。
ヘッドセットが4極でPCが3.5mミニピンみたいに入出力の端子が合わない場合は変換ケーブルも必要です。

ボイスチェンジャーでバ美声！

ボイスチェンジャーではGachikoe! CoreがWindows・Mac両対応してるしUIも直感的で一番お手軽だった。
使い方は作者さんが書いた記事を読むのが一番だけど、どのソフトの場合でも基本的には入力をヘッドセット等のマイク、出力を仮想オーディオに設定します。
サンプリングレートを設定できる場合は入力と出力を同じにすること。

ソフトは他にも色々とあるので、試してみて気に入ったものを選べばいいと思います。

ボイスロイドでバ美声！

自分が喋った言葉をVOICEROIDなどの音声合成ソフトに発声させる。
完全に声を入れ替えるので性別変更もしやすいが、機械音声と分かる声になる。
今の所音声入力自動変換は、ゆかりねっとを使うのがお手軽だと思う。（Windows環境のみ）

説明はこの記事が詳しい：
ゆかりねっとを使ってみたらすごかった！使い方解説するよ。【目指せVTuber⁉】

喋る→音声認識→変換音声出力という順番で処理されるので、
自分が喋ってからVOICEROID音声が出力されるまでに一定の待ち時間がある。
Zoom会議やゲームの実況配信みたいなリアルタイム用途には不向きで、
ゲーム実況の場合はゲームと音声を別撮りして合成しないと変換による遅延を埋めることはできない。