スマホで全身の動きをキャプチャ、 3Dキャラクターにリアルタイムで反映! アプリ「ミチコン-VisionPose Single3D-」公開開始

CMでお馴染みのふるさと納税サイト【さとふる】

手軽に全身リアルタイムモーショントラッキング体験

株式会社ネクストシステム(本社:福岡県福岡市、代表取締役:藤田 義生)は、スマートフォンで全身のリアルタイムモーションキャプチャを行い、動きを未確認仮想広報担当ミチコ(3Dキャラクター)に反映するアプリをApp Storeにて公開しました。

ミチコン-VisionPose Single3D-ミチコンアイキャッチ

本アプリは、現在開発中の「VisionPose Single3D(以下 Single3D)」の利用例として3月にデモアプリを公開した際に、大変多くのご反響をいただいたため、ユーザーの皆様にもご体験いただけるよう、この度正式アプリとしてApp Storeより公開する運びとなりました。動画の小ネタや、Single3Dを利用したアプリのお試し版としてご利用ください。

また、推奨端末は最新のプロセッサを積んだiPhone XR、iPhone XS/XS MAXです。

▼アプリはこちらからDLできます。
https://itunes.apple.com/jp/app/id1461437373

■スマホだけで全身モーションキャプチャが可能!

スマホカメラに映した人の動きを、当社バーチャル広報担当の「未確認仮想広報担当ミチコ」にリアルタイムで反映できます。通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要がありますが、当アプリではカメラ1台で3D座標を取得可能なため、特別なデバイスを体には一切装着せず、従来より手軽なモーションキャプチャをお楽しみいただけます。

■グリーンバック機能搭載!動画配信の小ネタにも

ライブ配信や、動画編集にもご利用しやすいよう、背景をグリーンバックに変更する機能を搭載しました。別途ライブ配信ソフトや、動画編集ソフト等を利用することで、クロマキー合成も可能です。

■ミチコンに搭載!VisionPose Single3Dと今後の展開について

Single3Dは当社が提供するVisionPoseシリーズの1つであり、深度センサに依存せずAIの技術要素であるディープラーニング(深層学習)を使うことで、骨格の3D座標の検出をカメラ1台のみで可能にしたシステムです。同シリーズのステレオカメラ版VisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能です。カメラが1台しか用意できないケースや、スマートフォンへの搭載時などにオススメです。

Single3D提供方法:PC版とiOS版をそれぞれSDKとして提供します。
PC版 :C#/C++向けのライブラリ
iOS版:Swift向けのライブラリ
※Unityサンプルコードあり

また、現在当アプリは当社バーチャル広報担当のミチコに動きを反映できるのみとなりますが、Single3D、並びに当アプリの有用性を広げるため、今後は次のような機能拡張を検討しています。

・キャラクターを変更・作成できる機能
・背景を変更できる機能
・動画撮影時にモーションデータをCSVで保存する機能
・全身だけではなく上半身のみでもモーショントラッキングできる機能

■『未確認仮想広報担当ミチコ』とは?

未来からネクストシステムの歴史を学ぶ研修生として、2019年3月末ネクストシステムの広報担当に着任した。その体が3DCGであることを生かした広報活動を行う。

▼未確認仮想広報担当ミチコについてのご紹介はこちらから
https://www.next-system.com/michico

■「ミチコン-VisionPose Single3D-」製品概要
アプリ名   : ミチコン-VisionPose Single3D-
カテゴリ   : エンターテイメント
価格     : 無料
App Store URL: https://itunes.apple.com/jp/app/id1461437373

参考動画:
・VisionPoseプロモーションビデオ
( https://youtu.be/c5mVNV7JJlE )

・「ミチコン」プロモーション用動画
( https://youtu.be/wBU8xoAt2TY )

・「ミチコン」操作方法
( https://youtu.be/HfFlqmGeLw0 )

■株式会社ネクストシステム
URL:https://www.next-system.com/