こんにちは、muramotoです。
今年1月、社内で「動画部」を結成しました。動画編集やゲーム実況が好きなメンバーが集まり、動画を撮ったり作ったりしています。昼休みや終業後に活動していたのですが、新型コロナウイルスの影響で3月からリモートワークになり、会社で活動する時間が減ってしまいました。
いま、所属チームの朝会と夕会はビデオ会議（Google Meet）で行っています。リモートワークが始まったときにはイヤフォンマイクしか持っていなかったのですが、会社から支給された「リモートワーク環境構築支援金」でWebカメラを購入しました。これで、ビデオ会議に自分の姿も映るようになりました。
世間ではビデオ会議で背景を変える「バーチャル背景」というのが流行っていますが、せっかくなら自分の姿もバーチャルにしたいと思うのではないでしょうか。バーチャルアイドルになりたい。アイドル活動したい。そこで、Webカメラを使ってアバター（3Dモデル）を動かす方法を調べてみました。
機材を用意してみた
Webカメラがないと顔を動かす（フェイストラッキング）ことはできませんが、イヤフォンマイクの声に合わせて唇を動かす（リップシンク）ことは可能です。
- Webカメラ：HD Pro Webcam C920。USB端子に接続
- イヤフォンマイク：Androidスマホの付属品。ヘッドフォンジャックに接続
フェイストラッキング対応アプリを調べてみた
Webカメラによるフェイストラッキングに対応しているアプリを調べてみました。下記のアプリを使うと、Webカメラに映った自分の顔に合わせて、アバターの顔の向きや表情を変えることができます。
VDRAW（ブイドロー）を試してみた
まず、VDRAWトライアル版（Windows対応）を試してみました。マウスやキーボード操作だけでアバターを動かすことができて、Webカメラによるフェイストラッキングも可能です。ウインドウキャプチャ機能があり、指定したアプリの画面を表示させることができます。
THE SEED ONLINEと連携させると、他のユーザーが作成したアバターや背景を取り込むこともできます。今回は、VDRAWのプリセットモデル「リル」をアバターに設定してみました。
マウス（ペン）操作に合わせてアバターがペンを動かす「ドローイングスタイル」。ホワイトボードのように図を書いたり、画面共有して説明をするのによさそうです。
キーボード操作に合わせてアバターがタイピングする「タイピングスタイル」。議題を確認しながら進める会議や、ペア（モブ）プログラミングに向いていそうです。
ゲームパッド操作に合わせてアバターが動く「ゲーミングスタイル」。完全にゲーム実況のスタイルですが、ゲーム開発でもテストプレイや操作説明に使えるかもしれません。
Google Meetにも映像を出力できたので、VDRAWに決めた！…と言いたかったのですが、VDRAWはWindows対応アプリ。できれば仕事で使っているMacから配信したかったので、他のアプリも試してみることにしました。
3tene（ミテネ）を試してみた
次に、3teneFREE（Windows/Mac対応）をMacで試してみました。アバターの操作は、Webカメラによるフェイストラッキングのほかに、キーボードやゲームパッド操作で行うことができます（ショートカットキーを設定）。いろいろな表情やモーション、エフェクトが用意されています。
ウインドウキャプチャ機能はなかったので、操作するアプリのウインドウはOBS Studioで合成することにしました。OBS Studioから、Google Meetに配信できることも確認しました。これで、仕事で使っているMacから配信できそうです。
配信設定してみた
配信に使うマシンはMac mini (2018)です。今回はMacで配信設定しましたが、Windowsマシンでも同じアプリの組み合わせで配信できるはずです（OBS-VirtualCamプラグインがWindows/Macで違うので注意）。
- 3teneFREE：アバターを操作
- OBS Studio：背景、アプリ画面、アバターを合成
（OBS-VirtualCamプラグイン[Windows/Mac]：バーチャルカメラに出力） - Google Meet：合成した映像（バーチャルカメラの映像）を配信
3teneFREE：
- アバターの設定：ふたは（3teneFREE公式キャラクター）
- ステージの背景設定：色指定（クロマキー合成で透過する色）
- フェイストラッキング：オン
- リップシンク：オン
- アバター調整：
- フェイストラッキングの種類：ウェブカメラ
- ウェブカメラ：USBカメラ
- リップシンク種類：音声（録音）
- リップシンクの音声入力：外部マイク
OBS：
- ソース：
- ウィンドウキャプチャ：3teneFREE（エフェクトフィルタ「クロマキー」で透過する色を指定）
- ウィンドウキャプチャ：Visual Studio Code（エフェクトフィルタ「色補正」で不透明度を調整）
- 画像：背景画像
- ツール > Start Virtual Camera
Google Meet：
- 音声＞マイク：外部マイク
- 動画＞カメラ：OBS Virtual Camera
アイドルデビュー（会議参加）してみた
配信の準備が整って、いよいよデビューの日が来ました。ある日の朝会、所属チームには予告せずにバーチャルアイドル（ふたはちゃん）の姿で登場してみました。突然ビデオ会議に現れた女の子にざわつくチャット。
うまく配信できるか心配だったのですが、Google Meetの画面にちゃんと映っていてひと安心。無事にアイドルデビュー（？）することができました。
トークライブ（会議進行）してみた
ビデオ会議の進行は、チームメンバーが1週間ずつ交代で担当しています。アイドルデビューした翌週が自分の担当だったので、引き続きふたはちゃんの姿でトークライブ（会議進行）してみました。背景やアバターだけではなく、連絡事項をテキストエディタにまとめて表示させてみました。
アイドル活動（1週間）を振り返ってみた
アイドルデビューして1週間、思い返すといろいろなことがありました。
OBSデフォルト画面事件。ビデオ会議中ずっとこの画面で、音声だけ流れていました。会議が終わったあとチームメンバーに言われて、はじめて気がつきました。放送事故。
ふたはちゃん無反応事件。マスクをしていたせいか、フェイストラッキングが反応しませんでした。ふたはちゃんの視線があさっての方向に。放送事故。
スパチャ（投げ銭）事件。社内決済にPayPayが導入されたよという話題の流れでQRコードを貼ったら、実際に送金してくれたメンバーが。ふたはちゃん、社内でお菓子が買えるよ！
チームメンバーに感想聞いてみた
1週間、毎日2回のビデオ会議を温かい目で見守ってくれたチームメンバーに、感想を聞いてみました。
- 見てる方の感想としては初回はあれ何かがいつもと違うぞ！？という感じで、それに気づいたみんながニヤニヤしている感じでした。朝会とか夕会こんな感じでやってみると面白いなーと思いました！！
- 高価な機材なくても受肉できるの:+1:
- 大変かわいくて、毎回癒されました。
- 朝会夕会は毎日やるものなのでくだけた感じで遊びがあって惰性にならなくて良いなーと思いました！あと単純に話す内容を文字で書き起こして画面共有しているのも話が入ってきやすいです。つまりバ美肉会議最高です！（※バ美肉 – Wikipedia）
- 朝会、夕会のマンネリ化の改善に役にたちそうと思い、何か変わった社内定例をしてみたい方にはいいかもでした。
- 最初見たときは脳が混乱しましたが、週末になるにつれて当たり前になってきて、次週から見られなくなるのかなと思うと寂しささえ感じました。
配信する側が楽しむだけじゃなくて、会議に参加するチームメンバーも盛り上がったのでよかったです。会議進行は不安だったのですが、チームメンバーの反応に助けられて乗り切ることができました。1週間とても楽しかったです。
Webカメラとイヤフォンマイクで、あなたもバーチャルアイドルに！
次のビデオ会議でデビューするのは、あなたかもしれない！！
参考記事
- アバターでかんたんリモート出席！VDRAWを使いこなそう！ | VirtualCast Blog
- VDRAWで3Dアバターでのリモートワークをしてみよう – Qiita
- 配信用レイアウトでオンラインミーティングに参加する（OBS仮想カメラ/virtual camera/Mac）｜吉岡 純希｜note
- OBSをバーチャルカメラとして出力してZoomやTeamsで映像ソースとして認識させる方法 | 技術的な何か。
- Macで爆速バ美肉して会社のミーティングに参加してみた | Developers.IO
- Zoomビデオ会議用のバ美肉＆バ美声環境（Windows＆Mac） | 花屋敷
- 背景画像：さっぽろ観光写真ライブラリー、フリー写真素材ぱくたそ
