サイバーとフィジカルが融合したコミュニケーション空間の実現【XR Kaigi 2020レポート】

2021.02.26

サイバーとフィジカルが融合したコミュニケーション空間の実現【XR Kaigi 2020レポート】

セッションの冒頭で両氏は自己紹介を行い、取り組んでいる研究分野、両社の共同研究の内容について説明しました。

目黒: 博報堂ＤＹホールディングスの目黒です。研究開発部門に所属しておりまして、ARクラウドや、空間コンピューティングと呼ばれる技術領域の研究を進めています。
取り組んでいることについて簡単にご説明します。
空間コンピューティングとは、物理空間をデータとして認識することを通じて、サイバー空間にある情報と融合させたり重ねたりと、２つの空間を統合的に扱うことを可能にする技術です。例えば、あるレストランについて友達が「美味しい」とSNSで投稿した場面を想像してください。現在はその投稿はインターネットにしか存在しません。しかし近い将来、実際にそのレストランの前を通りかかった時などにスマホやMRグラスなど何らかのデバイスを通じてお店の入り口を見ると、その友達の投稿が店前に貼り付けられて表示されるようになります。現実に我々が生きている物理空間と、データが行き交うサイバー空間とが融合するようになると、今までなかったような体験が次々と生まれ、生活者の行動やコミュニケーションの形も変わっていくだろうと考えています。

小林: MESONでCOOをしている小林です。目黒さんとあるイベントでご一緒して意気投合し、それをきっかけに共同研究を始めました。MESONは様々な企業と一緒にAR・VRなどの空間コンピューティング技術のユースケースとUXを研究しながら、実際に人々に使っていただけるようなプロダクトの企画や実装を行っています。最近だと、「PORTAL」というファッション分野でのARアプリを開発し、世界最大のAR/VRアワード「Auggie Awards」を日本のソフトウェアとしては初めて受賞しました。企画開発だけではなく、日本発のグローバルARコミュニティ「ARISE」の運営などもしています。

目黒: 博報堂ＤＹホールディングスとMESONは2年ほど前から共同研究をしています。これまで、ARの街作り体験「AR CITY in Kobe」、未来のコミュニケーションをコンセプトにした周遊型のAR体験「Spatial Message」、AR時代の写真コミュニケーションを体験できる空間写真共有サービス「mirr」を発表してきました。このうち今日はmirrについて重点的にご説明します。

イベント中止が新たなアイデアを生む

mirrはAR時代の自撮りコミュニケーションをコンセプトとしたサービスです（リンク）。自撮り写真を目の前の空間に配置して、3DCGによるデコレーション素材を周囲に配して飾り付け、様々な角度から撮影することができます。撮影した写真はネット上でシェアすることも可能です。

目黒: 80年代くらいまでは写真は紙焼きして写真アルバムの中に保存しておくものだったように思います。それが90年代以降になるとパソコンやスマートフォンなどのコンピュータの中に、あるいはクラウド上に保存されるようになりました。さらにこの先、空間コンピューティング技術が一般的になる未来を考えた時、写真は街中に保存されるようになるのではないか？と考えました。撮影した写真を街の地形に紐づけて配置しておくことで、再びその場所を訪れた時にかつて自分が置いた写真を見つけたり、友達が撮影した写真と出会うこともあるでしょう。思い出との付き合い方を変える新たな体験になるようにも思っています。

mirrは元々、渋谷キャストの3周年イベントにてARのサービスとして体験展示を行う予定でしたが、新型コロナウイルスの流行を受けて、渋谷キャストをVR空間上に再現してその中で体験を行って頂く形に変更しました。VR空間の構築には実際の渋谷キャストの建物や空間の3Dスキャンを行い、現実のデジタルコピーとして渋谷キャストを再現しています。

この作業を進める中で我々が気付いたのは、「実際の渋谷キャストとVR上の渋谷キャストは全く同じ大きさなのだから、フィジカル空間のAR体験とバーチャル空間のVR体験を組み合わせることもできるはずだ」ということでした。
　
例えば、渋谷のスクランブル交差点をARグラスやスマホなどを通じて覗くと、虎とアルパカが向き合っている様子がAR技術によって見えるとします。この実際の渋谷のスクランブル交差点を3DスキャンによってVR空間に再現し、VRデバイスでアクセスできるようにすると、そこでは実際の渋谷のスクランブル交差点でARで見ているのと同じように、虎とアルパカが向き合っている姿を見ることができます。どちらの空間でも交差点が見えて、動物が向き合っているように見える、という点は同じです。また、見えているイベントだけではなく、物理空間にいる人とサイバー空間にいる人それぞれの位置や存在も、相互に位置情報を送り合うことで共有することができ、同じ景色を目撃しながら、そしてその存在を感じながら、音声を通じて会話をすることができるようになります。ここに、Webストリーミングで交差点の様子を俯瞰して見る人が加わり、その会話にチャットで参加できるようにしても良いかもしれません。

　つまり、場所や使用するデバイス、ARやVRなど、それぞれ異なる次元をつないだコミュニケーション空間を作り得るのではないかと考えたわけです。この概念を今は「クロスバース」という言葉で呼んでいるのですが、それを実現すべく取り組んだのが2020年12月3日に発表した「GIBSON」（リンク）です。

フィジカル空間を常にセンシングしてサイバー空間と同期させる

小林: GIBSONでは、mirrで実現しようとしたことをより深掘りしようと考えました。実際にあるフィジカル空間のデジタルツインを作って、リアルとバーチャルを相互でコミュニケーションするプラットフォームの構築を目指しています。
　我々の取り組みは共同研究なので、常に新しい技術的なチャレンジが必要だと考えています。GIBSONでは、フィジカル空間とサイバー空間をつなぐクロスバースを実現するために、mirrではできなかったことを実現させようと考えました。その一つが、フィジカル空間からサイバー空間への環境情報の同期です。現状ではセンサーやカメラ映像を使い、フィジカル空間を常にセンシングしてサイバー空間に同期することを考えています。例えば、フィジカル空間の渋谷キャストでイベントが行われていて中庭に期間限定のポップアップショップが設置されているとか、天候で雰囲気が変わったといった環境の変化を、リアルタイムにセンシングしてサイバー空間側の渋谷キャストに同期します。そうすることでmirrにVRからアクセスした人にも現実の渋谷キャストの様子を共有しながらコミュニケーションすることができるわけです。現状我々が実装してるmirrではデジタルコピーを1回しかやっていないんですが、これを“デジタルツイン”と呼べるレベルにするには、常にセンシングする必要があります。
　もう一つはサイバー空間で机や椅子を動かした場合に、これと同様の動きを現実空間でモーターなどを使って再現することですね。

目黒: そうなると現実空間では心霊現象みたいになりますよね（笑）

小林: そうなんです。GIBSONで取り組んだのは、前者のフィジカル空間からサイバー空間への環境情報の同期です。今回は開発の効率性などを考慮していただき、MESONのオフィスを活用させていただいています。オフィスの執務エリアのデジタルコピーを、Appleの最新のiPad Proが搭載している「LiDARスキャナ」を使って撮影して制作しました。LiDARスキャナは撮影した画像の奥行きを測ることができるので、その情報を基に空間のデジタルコピーを作ることができるんです。このサイバー空間のオフィスは、当社のオフィスに来ていただことがある方なら、本物とそっくりなのがお分かりいただけるかと思います。

　こうしてフィジカル空間のデジタルコピーを制作した後、リアルタイムにフィジカル空間の環境情報をRGBカメラで2D映像も撮影し、サイバー空間へ送れるようにしました。その他のセンサーを使って常にセンシングすることも考えたのですが、一般の人々でも手軽に使うことができる身近なセンシングデバイスはスマートフォンのRGBカメラだと考え、RGBカメラで撮影された映像が常にサイバー空間の同じ場所に表示され、簡単にフィジカル空間の様子が分かるようにしました。
　今回はオフィスに出社した人と、リモートで働いている人がコミュニケーションを取りながら働く、というシナリオを意識してユーザー価値検証も実施しました。実際にMESONと博報堂の皆さんでGIBSONを使ってデモを実施した際にもフィジカル空間の人が片手にスマホを持って移動しながら、オフィス内に設置された備品をカメラで映しながら説明したり、冷蔵庫や引き出しの中を見せたりしました。まだまだ改良の余地はあるものの、変化し続けるフィジカル空間の環境情報をサイバー空間に転送する手段としてかなり価値を感じました。
基本的にフィジカル空間でARを使う人も、VRでログインして空間に入る人も、バーチャル空間上ではアバターとして動きます。ただ、フィジカル空間のオフィスに居る人がRGBカメラに映った場合は、アバターが実画像にシームレスに切り替わる仕様にしています。これによって、身振り手振りが必要なコミュニケーションなどもスムーズに行えます。こうした工夫によって、単にリモートでWeb会議するよりも遥かに円滑なコミュニケーションが実現できたと実感しています。
　現在は新しいユースケースについても検討はじめていて、「買い物」、「観光」、「ライブパフォーマンス」の三つに注力して検証を始めています。

目黒: オフィスだと、その環境自体に価値は見出しにくいですよね。オフィスに置いてあるものを、「これは何ですか」と聞いたりするシチュエーションはあまりないですし。でも観光や買い物であれば、置いてある物をトリガーにコミュニケーションが発生します。

小林: そうですね。先ほど挙げた三つのユースケースは、環境自体も変わり続けるので、チャレンジすることで新しい発見も生まれてくるのではないかと考えています。; 移動の選択肢のオルタナティブとしてVRを選ぶ

この後、話題はVRが進化した後の人間の価値観の変化に及びました。

小林: サイバー空間内にフィジカル空間のデジタルツインがどんどん増えてくると、「外出しなくてもVRで旅行先にいけばいいや」と考える人がでてくるかもしれませんよね。サイバー空間でも旅行先の空間にアクセスできるわけですから、移動が面倒くさい人や様々な理由で移動が困難な人にとっては絶対サイバー空間内での移動のほうがいい。旅行や買い物の行動にも大きな変化がうまれそうです。

目黒: 新型コロナウィルスの影響によって世界の航空産業が大打撃を受けているというニュースを耳にします。今後は海外旅行自体が以前よりも難しくなり、移動の選択肢のオルタナティブとしてVRを選ぶ、ということも出てくるかもしれませんね。また、移動が制限されたことで、増えつづける一方だったCO2排出量が減少しているという話も聞きます。気候変動の影響が年々深刻になり、地球危機がアジェンダとなっている昨今の状況も踏まえると、新型コロナウィルス収束後の世界で、我々がどのような価値観・生活様式で暮らしていくかは議論もある部分だろうと思います。

小林: Web会議が一般化したことで、人々がバーチャル上で何かをやる、ということが普通に選択肢に入って来ましたよね。

目黒: バーチャルをやっていると、逆にリアルの価値、物理的に移動することの価値が今よりも高まっていくことも考えられますよね。例えば、お伊勢参りは伊勢神宮を詣でることから始まり、各所に作られた系列の神社を詣でても同じ御利益があると考えるようになったと聞きますが、伊勢自体は今も特別な場所です。富士山に登ったことにする機能を持つ富士塚などを考えても、これも一種のバーチャルだと思うのですが、本物の価値が失われることは無く、今も富士山は日本人にとって特別な霊山であり続けています。VRで多くの場所に気軽にアクセスできるようになればなるほど、実際に行く価値はむしろ高まるのかもしれません。

小林: 「移動」という概念や価値観への多様性が生まれてきそうですよね。「海外旅行にいくなら絶対リアルがいい」「自分は行かなくてもVRにログインするだけでいい」といった具合に。VRで移動費が浮いた分、旅行先でリッチに買い物するなど旅行でのお金のかけ方も価値観によって変わると思います。我々が取り組んでいるクロスバースはそういった価値観が違う人同士でも、結果全員旅行先に集うことができ、一緒にいるかのようにコミュニケーションできる場になりそうですね。; バーチャルブースに共同研究の成果を展示

XR Kaigiでは、Mozilla「Hubs Cloud」を使用したブラウザベースのバーチャル空間に展示エリアが設けられ、1社1ブースの展示を行っていました。参加者は音声やチャットでコミュニケーションができるほか、オンライン上での名刺交換も可能です。博報堂ＤＹホールディングスとMESONも共同研究ブースの出展を行い、バーチャル空間内に、「AR CITY in Kobe」、「Spatial Message」、「mirr」、「GIBSON」の展示スペースを設けました。

バーチャルブースの開発を担当したMTCの加島直弥は「博報堂ＤＹホールディングスがバーチャルブースに出展するのは初めてだったのですが、単なるポスター展示に留まらず、Spatial Messageとmirrに関しては過去に展示を行った際の体験をVR空間上にできる限り再現しようと力を注ぎました」と説明します。

バーチャルブースの設計に当たっては苦労もあったそうです。「空間の設計は難しかったですね。最初は各展示を洞窟のような通路で繋ぐ設計にしたんです。これは空間設計時にツール上から俯瞰して見る分にはよくできていたのですが、実際にバーチャルブースにログインして体感してみるとかなり閉塞感を感じることが分かりました。それで作り直すことを決め、次は大きめの開けた空間にしました。ただこれも、初めは空間が広すぎて、アバターで展示間を移動するのに時間がかかり過ぎてしまったんです。それでもう一度作り直すことにして、今回の形になりました」（加島）。

展示の仕方についてもバーチャルならではの難しさがあったそうです。加島は「四つの展示があり、それぞれの展示スペースにアバターで移動する形式なので、例えば一つのスペースから流れる音が、空間のどこに行ってもずっと一定の音量で流れていたりしたらおかしいですよね。なので各展示から音が届く領域を音源からの距離によって決めました。展示から離れると音量も小さくなり、隣の展示物の音と被らないようにしています」と説明します。この他にも「展示の文字のサイズについても、小さいとブラウザからは読みにくく、大きすぎると展示品として違和感があるといった難しさがあり、調整に苦労しました」（加島）。

筆者も実際にブースを体験したところ、アバターを使った移動の操作に最初は戸惑いましたが、すぐに思った通りに動かせるようになり、四つの展示を簡単に行き来できるようになりました。複雑なコミュニケーションを取るシチュエーションではなかったのでリアルな展示会との比較は難しい部分もあるのですが、現時点でも状況を限定すればリアルな展示会と遜色ない体験ができると感じました。

「我々が今回得たノウハウを生かし、クリエイティブチームが設計したブースを外部にご提供することも可能です。バーチャルブースを作る機会がございましたら、是非ご相談ください」（加島）

この記事はいかがでしたか？

送信

目黒慎吾

株式会社博報堂ＤＹホールディングス
マーケティング・テクノロジー・センター開発１グループ
上席研究員兼株式会社博報堂研究開発局

University College London MA in Film Studiesを修了後、2007年に博報堂入社。FMCG領域におけるデジタルマーケティング業務、グローバルPR業務に従事。2018年より現職で、ARクラウドや空間コンピューティング技術などを始めとした生活者との新たなタッチポイントやコミュニケーションを生みうる先端技術の研究を行っている。
加島直弥

株式会社博報堂ＤＹホールディングス
マーケティング・テクノロジー・センター開発１グループ

2020年に博報堂入社。前職ではゲーム業界でプロデューサーやディレクターとしてゲーム開発に従事。博報堂ではARCloudなどXRに関わる研究開発やゲーム業界の経験を生かしたコンテンツビジネス研究に携わっている。
小林佑樹

MESON
取締役COO

大学にてネットワーク工学、大学院にてソフトウェア工学を専攻。学業の傍ら、在学中はいくつかのスタートアップでエンジニアとして開発プロジェクトに携わる。大学院卒業後、代表の梶谷とMESONを創業。エンジニアのバックグラウンドを活かしながらプロデューサーとして博報堂DYホールディングス様との共同研究プロジェクトを始めとした複数のARプロジェクトに携わる。MESONが主催する日本発のグローバルコミュニティイベント「ARISE」のオーガナイザーも務め、日本におけるXRコミュニティの醸成にも取り組む。