落合陽一氏が語る「テクノロジー×プロモーションの未来」体験を拡張する新しいバーチャル世界とは？

2020.11.27

落合陽一氏が語る「テクノロジー×プロモーションの未来」体験を拡張する新しいバーチャル世界とは？

新型コロナウイルス感染拡大の影響によって生活者の行動が制限される中、リアルの代替えとして脚光を浴びたバーチャル世界は、テクノロジーの進化によってリアルの「代替」にとどまらず「体験拡張」という新たな役割を担い始めています。アナログとデジタルが融合したその先に見えてくる「新しいバーチャル世界」において、今後どのようなサービス・プロモーションが生まれてくるのでしょうか。時代の流れを読む博報堂プロダクツ PRプランナーの宮広明、XRを中心にテクノロジー開発に携わる博報堂プロダクツテクニカルプロデューサーの福田里佳子、そして、スペシャルゲストとして落合陽一さんをお迎えしてお話を伺います。

コロナ禍に見えてきた、新しいバーチャル世界

— 新型コロナウイルス感染拡大で、世界が大きく変わろうとする中、最近どのような取り組みをされているのでしょうか。

落合: 最近の取り組みでいうと、アナログとデジタルを組み合わせた初めての試み「双生する音楽会」を開催しました。日本フィルハーモニー交響楽団のみなさんと一緒に、「テクノロジーによってオーケストラを再構築する」というテーマで2018年から取り組んでいるプロジェクトで、今回は4回目の開催となります。コロナ禍、大きな影響を受けているクラシック音楽業界において、リアルの代替手段としてのオンライン観賞ではなく、まったく新しい鑑賞体験を創り出したいという想いで、この企画を実現させました。舞台上演を8Kカメラ7台で撮影し、CGを組み合わせた生配信に加えました。また例年のように聴覚障がいを持つ方も感覚的に音楽を楽しめるための工夫としましては、xDiversityで開発した音声感知によって振動するアプリの周知と事前ダウンロードのお願いをしました。AR実装、映像演出、オーケストラという3つの要素をほぼ同時進行でリハーサルしたのですが、技術面の調整と音楽面の深堀りを両立することは想像以上に大変なチャレンジでした。

落合陽一×日本フィルプロジェクトVOL.4 《＿＿する音楽会》

—　開催してみての反響はいかがでしたか？

落合: これまで通りに音楽を味わうことができない世界において、すべての人が離れて繋がる新しい合奏のカタチを共有することができたのではないかと思います。オーケストラの音質は当然、現場で直接聞いた方が良いのですが、オンライン配信では、カメラをズームすれば近くまで寄ってみることもできるし、CG融合によって視覚からも音を感じることができるので「臨場感を超える体験」となりました。クラシック音楽としてのクオリティも追求しながら、新しいバーチャル体験を生み出す取り組みは、今後も実験と共有を続けていきたいと思っています。

—　リアルの代替ではない、全く新しいバーチャル体験について、PR領域を担う宮さんと、XR領域を担う福田さんは、どのように捉えられていますか。

宮: 私は、落合さんが主宰されているデジタルネイチャー研究室にて、最先端のメディアアートやテクノロジーの勉強をさせていただいたり、PR起点のプロダクト開発にも供に携さわらせていただきテクノロジー領域にも対応の幅を広げてきましたが、コロナ禍によって生まれたバーチャルやオンラインの新しい体験拡張は、今のプロモーションの形に大きな影響を与えていると思います。PR観点では、これまではメディア向けだったシンポジウムやPR発表会はオンライン化により生活者にも発信したり、生活者が参加したりすることが可能になりました。より生活者と世の中の距離が近くなったように感じます。一方で、すべてがオンライン化されたかというとそうではなくて、例えば打ち合わせはオンラインが主流ですが、リモート飲みの機会は減ってきているように、オンラインに不向きな領域・コミュニケーションもみえてきましたよね。コロナ禍による変化は不可逆のような論調がありますが、ライフスタイルに応じて取捨選択されていくものだと捉えています。

福田: 私は主にXR領域で開発とプロデュースを専門にしているのですが、これまでリアルでやっていたことを、うまくバーチャルに置き換えることができないか？といった相談もまだまだ多く寄せられています。
製造ラインが止まって商品が間に合わないから、ARで表現したものを先に店頭で見てもらうというような、これまでになかった販売手法も生まれてきています。見せたいシーンを見せたいアングルで体験してもらいたい場合は従来通り映像の方が伝わりやすいし、世の中にまだないものや、双方向でのタスクがあるようなものはVRやARというように、「どう伝えるか」という選択肢が広がったことで、本質的な部分に力を注げるようになりました。生活者のデジタルシフトが一気に進んだ今、まさにバーチャルはリアルの代替要素という役割を超えた、新しい体験価値をもたらし始めていると感じています。

バーチャル世界で感じる「居心地の良さ」と「手触り」

—　新しいバーチャル世界では、どのようなことが起こりうるのでしょうか。

落合: コロナ禍、自宅からの配信が増えたので、スピーカーやマイクもこだわったものを選ぶようになりました。機材関係がどんどん増えて、常に大型モニター7枚に囲まれながら過ごしています。VRチャットやARアプリで面白いものがたくさんあるし、eスポーツも楽しんでいます。つい先日、カメラ60台を使用して全身モデリングした、超高精細アバターを作ってもらったのですが、とにかくリアリティを追求した方がいいのかと言うと必ずしもそうとは言えず、デフォルメされたローポリアバターの方がフィットする空間もあるのだと言うことに気づきました。今後、バーチャル空間の解像度に合わせたTPOみたいなものが居心地の良さを左右するようになるかもしれませんね。

福田: 落合さんの環境すごいですね、私もモニター大型7枚欲しいです（笑）。おっしゃる通り、現実世界での居心地の良さを私たちが追及していきたいのと同じように、バーチャル世界でも同じような居心地の良さを追及したい欲が出てくると思います。具体的には、VR空間に何度も足を運ぶと、だんだんアバターに愛着が湧いてくるので、バーチャルマーケットで服を買っておしゃれを楽しむというような市場も、今後どんどん拡大していくと思います。バーチャルアイテムは在庫を持つ必要がなく、需要に応じた供給ができるため、効率的なビジネスモデルが成立しそうです。ちなみに、弊社にはアバター制作を得意とするクリエイターも在籍しているので、今流行りのソーシャルVRの世界観にフィットするような落合さんのアバターを手土産に作ってみました（笑）。いかがでしょうか。

落合: デフォルメされたアバターがほしいと思ってたところだったので嬉しいです。TPOに合わせて今後使わせてもらいますね。ありがとうございます。

福田: 新しいバーチャル世界では、解像度に合わせた「居心地の良さ」だけではなく「手触り」を表現する動きも広がっています。私は、XRに関する技術などの最新技術の情報収集・研究する博報堂グループ横断のプロジェクトチームに参画しているのですが、VR空間でのシズル表現や、オンライン会議やバーチャル空間で感情を伝えるための「感情エフェクト」などの研究を進めています。触覚や嗅覚を伝えるテクノロジーにより、繊細な香りや質感にこだわる食品メーカーが、生活者の五感を刺激するバーチャル体験を提供する日もそう遠くはないと思います。

落合: アナログのものをデジタルに用いたり、デジタルでできることをアナログに拡張したり、両者を行ったり来たりすることが新しいバーチャル世界の象徴ですね。

VR空間における最適なUIUXの追求　

—　バーチャル空間での体験がもっと豊かになるためには何が必要なのでしょうか。

落合: 研究室メンバーがxDiversityのプロジェクトで考案したリモートミーティングにおける音声文字変換の活用方法は、本当に大きな反響がありました。文字変換アプリを使って、テレビ会議の映像の上にリアルタイムで字幕を出すというシンプルなものなのですが、このアイディアひとつで、聴覚障がい者とのコミュニケーションがスムーズに行えるようになりました。多様な個性に適応するテクノロジーが実装され、さらに、それが人を介してシェアされていくことで、社会をも変えることができる。こういったサービスがどんどん出てくることで、日本においてもダイバーシティが加速していくと良いなと願っています。

今後、手話の自動翻訳、自動生成に関する研究はもっと進めていきたいですし、バーチャル空間で、より快適に過ごすための方法論についても、まだまだ改善していけるのではないかと考えています。

宮: オンラインは急激に進化しましたが、すべての人がその進化の中でコミニュケーションできるようになる配慮が必要ですよね。

福田: バーチャル空間が、誰かと共有したくなるような楽しいものになると、もっと普及していきそうですね。スマートフォンが出始めた頃、カメラ撮影のボタンを押すと、一眼レフカメラのシャッター音が鳴っていたように、新しく触れる世界でのUI UXを考える際には、現実世界で既に馴染みのある音や体験を手がかりにすることが効果的と言われています。まずはそのような体験デザインをしていくことが大切だと思います。

落合: 今は、どちらかと言うとCGクリエイターなど専門性の高いUIが採用されていますが、近い将来、正確にハンドトラッキングできるようになれば、バーチャル空間の中に操作性に優れたスマホを持ち込むことで、一気に老若男女が直感的に操作できる快適な空間へと変わるはずです。

福田: 操作性に加えて、距離感を表現するための立体音響の実装、聴覚障がいモード、弱視モードなど、様々な個性を持つ人が快適に共存できる空間づくりが実現されると良いですね。テレビ会議システムでは、人が動いている様子を伝えるカメラ配信は、滑らかに表現できるようにフレームレートをあげて解像度を下げるのですが、逆に、資料をきれいに見せるための画面共有は、解像度を上げてフレームレートを落とすなど、伝える内容によって細かい調整が施されています。バーチャルイベントでは、2倍速で見たい人、ゆっくり見たい人、何度も見たい人、多言語対応など、多様な視聴ニーズに合わせて、より快適でより楽しい体験を提供していきたいです。

テクノロジー×プロモーションの未来　

―　ソーシャルメディアの重要性が高まり、生活者の価値観や消費行動が多様化する中、テクノロジーｘプロモーションの未来はどのような方向に進むのでしょうか？

福田: テクノロジーの活用によって広告プロモーションは、私たちの生活のあらゆる面を拡張することになると考えています。マーケティングオートメーションの進化で、よりパーソナルなコンテンツを、最適なタイミングで伝え、ホットリード（購入の確度が高い見込み顧客）か否かでプロモーションを使い分けることが、よりストレスなく行われるようになります。購入の決め手を販売員が握っているようなビジネスモデルの場合でも、販売上手な販売員のアバターが魅力的に商品を説明できるようなVRやARのコンテンツを提供するなど、無限の可能性が広がっています。

宮: 生活者一人ひとりの発信力が高まっている今、サービス・商品の口コミ形成は今後も非常に重要になってくると考えます。口コミを生み出すのはサービス・商品の体験プロモーションです。体験価値を高めるためにVRをはじめとするテクノロジーの活用は不可欠ですし、体験の中身により口コミの質や商品、企業に対する理解度も大きく左右されます。ただ、先ほどの落合さんのお話にも合ったようになんでもリアルであればいいかというとそうではありません。それぞれの商品・サービスにあったTPOで、どのテクノロジーを選択し、どういったコンテンツで体験を提供するかというPR的な視点が生活者と良好なリレーションを築く上で重要になってくるのではと思います。コロナ禍をきっかけにいい意味でオンライン体験が拡充したため企業や団体から生活者へのダイレクトなコミュニケーションがとりやすくなりました。新しいプロモーションもこれからどんどん生まれてきそうですね。

落合: ダイレクトになったのは、コミュニケーションにとどまらないですよね。コロナ禍、ありとあらゆるお店がECを始めたことで、世界中の個人商店から直接購入できるようになったというのは大きな変化です。そこに行かなければ味わうことができなかった名店料理や、大手スーパーの棚には並ぶことがなかったこだわりのハンドメイド商品など、商品そのものの魅力で勝負しているものを選ぶことができる、おもしろい時代になりました。価値観の多様性に合わせた小ロット開発によって、コミュニケーション自体も不特定多数に対して語りかける必要がなくなるので、良質に消費してくれる個人にスペシャルな体験を提供し続けるというLTV（ライフタイムバリュー）の考え方が、今後より重要になると思います。不確実性が高まった今の世の中、まずやってみること、すぐに行動にうつせるかどうかが成否を分ける局面が増えています。社会的な意義を持たないものは淘汰される時代、本当の課題は何かということを常に問い続けながら、本質的なイノベーションを生み出していきたいです。

この記事はいかがでしたか？

送信

落合陽一

筑波大学デジタルネイチャー開発研究センターセンター長・図書館情報メディア系准教授
JST CREST xDiversityプロジェクト研究代表

1987年生。2015年東京大学大学院学際情報学府博士課程を早期修了。2015年に筑波大に着任しデジタルネイチャー研究室を発足。2017年より図書館情報メディア系准教授、JST CREST xDiversityプロジェクト研究代表。2020年より、デジタルネイチャー開発研究センターセンター長。
「xDiversity」では、AIやIoT技術の開発と運用を行うことで多様性を包摂できる社会に向けた計算機技術の社会実装を広げている。著作に『2030年の世界地図帳あたらしい経済とSDGs、未来への展望』（SBクリエイティブ）など。他に、ACCインタラクティブ部門審査員(2016/2017)、Spikes Asia Bronze(2017)、SXSW Creative Experience ARROW Awards(2019)、広告電通賞イノベーティブ・アプローチ最高賞・特別賞（2019）、カンヌライオンズミュージック部門ブロンズ / SDGs部門ショートリスト(2019)など。
福田里佳子

博報堂プロダクツ
デジタルプロモーション事業本部
テクノロジープロデュース部XRチームチームリーダー

エンジニアとしてキャリアをスタートし、2015年より博報堂プロダクツデジタル領域のプロデューサーとして、AR (Augmented Reality) / VR (Virtual Reality) / MR (Mixed Reality) を活用した、体験コミュニケーションのプロデュースを多数行う。代表案件は「MRミュージアムin京都（第5回イベントアワード最優秀賞受賞経済産業大臣賞、2019年）」など。
宮広明

博報堂プロダクツデジタルプロモーション事業本部
PR部PRプロデュースチームプランナー

2015年博報堂プロダクツ入社。飲料・家電・クルマ・金融など商材を問わずＰＲプランニング業務を行う。時代に合わせて生み出される新たなPR手法を積極的に取り入れながらPR戦略を立案する。