.svg){kind=logo}
はじめに
本マガジンでは広く「コミュニケーション」を特集しています。
コミュニケーションの形は、時代の変化とともにアップデートされてきました。紙が主媒体の時代は「手紙」、電話が登場すれば「音声通話」、動画配信が普及すると「映像通話」に形を変えてきています。
テクノロジーの進化は、私たちのコミュニケーションに大きく影響を与えることは言うまでもありません。それではARやVRはどのようにコミュニケーションを変化させるのでしょうか。空間コンピューティング視点から見る、近未来のコミュニケーションを広く紹介していきます。
Chapter1. 新たなコミュニケーション・デバイス
Story 1. 鏡越しの会話が流行る？世界中で広がる「ミラー・インタフェース」の未来
「魔法の鏡」の登場
Googleは5月18日、開発者会議「Google I/O」を開催しました。遠隔地同士のユーザーが、ミラー型ディスプレイ越しに、まるでその場にいるかのようなコミュニケーションを取れるデバイスを発表。立体感のある3D映像を映し出すための本デバイスは、「Project Starline」と呼ばれるプロジェクトの一環として開発が進んでいます。
在宅ワークが世界共通の生活様式として広まった現代、「Zoom」や「Skype」を筆頭に様々なリモートツールが活躍しています。
「Slack」のような非同期チャット形式、「Discord」みたいなリアルタイム音声通話に至るまで、市場に出回る多様なツールが仕事場で使われるようになりました。それでもなお、距離の隔たりによるコミュニケーションコストが減らない場面もあるでしょう。たとえば上司との距離感や言葉のトーン、感情の起伏をWebカメラ越し、チャット越しに伝え切るのは至難。こうした遠隔コミュニケーションならではの課題解決を目的としたのが、今回発表されたStarlineです。
導入ハードルの高さ
Starlineは未だに実験的なデバイス。ただ、このまま一般市場に投入していくと仮定すると、弱点ともなるのはデバイスの導入モチベーションと言えるかもしれません。
仮に市場投入となった場合、これほど大きなデバイスを、現在の単一ユースケースを楽しむだけの利用用途では、どの家庭にも普及するほどのコミュニケーションデバイスになるとは考えにくいでしょう。というのも、ディスプレイ前という場所としての制限を受け、かつ座りつながら対話する体験は、すでにWebカメラを活用したZoomやSkypeなどの体験で実装されているためです。
先述したように、リッチな3D表現でのコミュニケーションに体験として新規性を感じます。しかしそれは「Pain Killer - 課題解決」のアプローチではなく、「Vitamin - 価値増強」のアプリーチであって、「絶対にStarlineを選ばないといけない」といった理由に乏しいのです。それゆえ、体験としてすでに登場しているものに対して、ユーザーがデバイス配置の場所とコストを費やすと考えるのは難しい印象。
足りないのは利用価値やユースケース。そこで参考となるのが、フィットネス企業「Lululemon」に5億ドルで買収されたミラーデバイス「Mirror」。
「Mirror」が教えてくれること
同デバイスは在宅フィットネス向けの端末で、値段は約1,500ドル。鏡越しに映される動画コンテンツを視聴しながら、トレーナーの身体の動きを実寸大で真似ることができるサービスを展開。コロナ禍でジムに直接行けない中、バーチャルでジムレッスン体験を再現できる点がウケています。
Mirrorは家庭用としてはそこそこ広いスペースを要しますが、それでも購入されているのは事実。買収前の2019年には、月間で100万ドル相当（約650台）の売り上げを達成していたとのこと。現在はその倍以上、1,500台ほどが月間の売り上げ台数となっていることが見込めます。他に、Softbankが1億ドルの出資をする「Tempo」や、1.1億ドルの調達をした「Tonal」など、ミラー型のフィットネスデバイスは市民権を得つつあります。この点、Starlineのデバイスサイズがユースケース課題を超える大きなイシューとなるとはここでは考えません。
さて、鏡型のフィットネス・デバイスは、健康不安やジムに物理的に通えない課題を解決するものとして急速に市場認知されています。もしStarlineが市場投入のアプローチとしてフィットネス市場を選定し、その上で遠隔コミュニケーションも踏まえた幅広いユースケースを提案できるのならば、強い存在感を市場で醸し出せるかもしれません。
なにより、Googleは空中でデバイス操作ができる「Project Soli」の開発を進めており、この機能を活用すれば鏡を直接触れたくない、スマホをわざわざ使ってミラー操作するといった面倒なUIの改善が可能。競合他社のUXのさらなるアップデートが見込めます。同社の技術を考えれば、十分に参入検討余地があるでしょう。
「ミラー・インタフェース」の未来
Googleが3Dコミュニケーション表現に挑戦をしたのは、今回が初めてではありません。MRヘッドセット「Magicleap」上で展開される映像コミュニケーション「Google Meet」を活用すれば、その場にいるかのように相手ユーザーを映し出し、オンライン対話をすることが可能です。
このGoogle Meetは3Dではなく、2D映像を元にグラス上にユーザーを表示しています。目の前の障害物を検知し、2D映像と組み合わせることで奥行きを表現。たとえば自宅内で歩き回っているような映像表現が可能となっています。
本記事で紹介しているStarlineは、ディスプレイ前に座る必要があるため「制限的」なコミュニケーションとなっています。しかしそこで使われている技術は、MagicLeapのようにウェアラブル・グラスを装着していれば自由に動き回りながらコミュニケーションを取れる「非制限的」な体験にも応用できるでしょう。なかでも注目される技術の1つが、「ライトフィールドディスプレイ」です。
ライトフィールドディスプレイは、ヘッドマウントディスプレイなしで、立体視を楽しむことができるディスプレイを指します。具体的にはビジョンセンサーを使ってユーザの顔の位置を感知、リアルタイムレンダリング・アルゴリズムによって立体的な映像情報をリアルタイムで生成するものです。3Dディスプレイ技術では特定の視点からの眺めを再現していますが、ライトフィールドディスプレイを使えば、広い角度から見ても立体的に見える映像を再現します。
Googleは2019年4月にこのディスプレイ技術に繋がる特許を取得しています。もともとライトフィールドディスプレイ技術を開発していたスタートアップ「Lytro」の技術を買収して本特許の取得に至ったとも言われています。一度センサーが取得した画像・映像データの荒くて見えない箇所を読み込んで、綺麗に視認できるまで修正する技術が特許に組み込まれているとのこと。
ライトフィールドディスプレイの技術開発をGoogleが進めれば、Google Glassを筆頭とする自社グラス端末上に、鮮明に解析された相手ユーザー像を映し出すことが可能となるはず。Magic Leapに搭載されたGoogle Meetのように多少荒いデータではなく、Starlineのミラー上に映し出されるより高精度なものへと進化していくと考えられます。こうした未来を描くためには、グラス上で膨大なデータ分析を可能とするエッジコンピューティング技術と、ユーザーに受け入れられるグラスの軽量化およびUX改善が求められます。この点においては、まずは大型ミラー端末が市場に先行していくのを追いかける形で課題をキャッチアップしていくと考えています。
ユーザーを拘束しない、ストレスをかけない「非制限的」なコミュニケーションデバイスが市場で求められるのは必至。この未来を実現するために必要な技術開発は、Project Starlineで活用されているライトフィールドディスプレイを見る限り進んでいると思われます。また、グラス端末が普及する布石となるユースケースは、Starlineのようなミラー型端末が自宅に置かれ始めている状況から徐々に始まっていると推し量れます。私たちの生活は「ミラー志向」から「グラス志向」へと移り変わっていくことでしょう。
Chapter 2. 感情の理解
Story 1. 大統領選でも実施された「全米呼気調査」— 感情がスケスケになる未来
「全米呼気調査」
米国サンフランシスコに拠点を置くIoTスタートアップ「Spire」。同社はズボンに簡単にクリップ形式に装着するだけで呼吸データを取得できるデバイスを発売していました（現在は企業向けのデバイスとして展開。クリップ式も廃止）。
呼吸の状態を知ることで、ユーザーの緊張状態をリアルタイムに知ることができます。仮に緊張してきたとわかれば、バイブレーション機能が働き、適度に休むように指示される仕組みのデバイスを開発しています。
そんなSpireが2016年に実施したのが、全米3,000機のデバイスを通じ、ストレス度合いをリアルタイムにマッピング化した調査でした。当時はちょうど共和党からトランプ（時期）大統領が選挙に出馬していた時。メディアの下馬評では、民主党のヒラリー氏が勝利すると報じられており、リベラル派が引き続き優勢とみなされていました。
しかし、周知のように当選はトランプ氏。各州の開票作業が進むにつれ、雲行きは怪しくなります。それにつれて、Spireユーザーのストレス度合いも高まっていることが、集計データからも定量的に記されています。こうした定性的な観察では測れない心の状態を、大規模かつ自動的にデータ化することを可能としているのがSpireです。
身体と融け合う「感情デバイス」
私たちの身の回りには、あらゆるデータ接点が存在します。それらは徐々に「ハードウェア」として認識されるものから、日用品に融け込むように小型化が進んでいます。
実際、Spireは市販されていた5年前とは違い、洋服に取り付けられるほど薄い形状にまで進化しています。服の内側に装着することで呼吸データなどの生体データの取得を可能にする技術の特許を取得。さらに、呼吸のデータをアクセラレータなどを他の機材と連結して取得するシステムに関する特許も獲得しており、小型化したデバイスの関連機材連携も強化しつつあるようです。
ただ、呼吸データから得られる情報は比較的少ないと一般的にはされています。取得できるデータも、呼吸頻度などからわかる生体信号のみで、そこから帰結される結果はストレス値などに限定されてしまっています。そのため、呼吸データだけを解釈するデバイスには限界があるように思えます。具体的には、感情データに関して考える上で重要な次の3つのレイヤーの内、上位2つしか満足させていません。
- 生体情報：センサーから取得した情報の可視化
- 感情（ストレスや緊張）：センサーから取得した情報のパターン分析
- 言語と行動：センサーから取得した情報を具体的な行動に紐づく解析
現状は2つ目の感情レイヤーまでは実行できますが、最後のレイヤーにたどり着くのは難しいとされています。そこで全てを満足させるデバイスの到来が待望されています。次に紹介するBMI（Brain Machine Interface）は、まさに3つの条件を満たす次世代デバイスとして注目されています。
脳とグラス端末
近い将来、グラス型端末が市場に普及するとした場合、私たちは日常的に頭にデバイスをリンクさせることになります。そうなった場合、視界に情報表示されるだけでなく、頭からしか取得できないデータも分析される未来がやってきます。
従来、頭に付けるとすればAirPodsのようなイヤホン型デバイスしか参入の余地はありませんでしたが、グラスとなるとより幅広いデータ獲得が期待できます。iPhoneにバイオメトリックデータや表情データの取得までできたように、デバイスが進化する度に分析対象は広がると考えられます。
ゆくゆくは、グラス端末はARデバイスとしてだけでなく、脳波を分析してフィードバックするBMIとしても活躍すると想像できるでしょう。実際、前段で説明したような「言語と行動レイヤー」までの全てのレイヤーを満足させるには、BMI（Brain Machine Interface）を取り入れたほうが筋が良いです。
それゆえ、呼吸からでなく、脳波からより詳細に感情を分析し、私たちの視界にどういった行動をすべきかを瞬時に表示する一連の体験が実装されると考えられます。Spireが自社デバイスとスマホの通知機能を使って実現している体験フローを、より精度高く、よりシームレスにフィードバックする仕組みの確立が望まれます。
BMIの分野で参考となるのは、InteraXonが開発する「Muse」かもしれません。同デバイスは瞑想用の脳派分析ヘッドセットとなっています。脳波活動・呼吸・心拍データから、心の落ち着きをもたらすような設計がされています。
InteraXonは、Museの世界観を実現するために、次のような特許を取得しています。
- 生体センサーと脳波センサーを活用して情報を蓄積しデータベースを構築。その関係性を機械学習で学習させるためのアプローチに関する特許
- 歌や音楽を聞くことによって現れる脳の反応を関連付け、データベースを構築する技術に関する特許。これにより音による脳や感情の変化を判別し、任意の脳や感情の変化を引き起こせるようになる
- 装着した脳波を含む、生体センサーとデバイス操作アクションの関連付け画像など、ビジュアルフィードバックを表示させる事に関する特許
- 生体センサーを取り付けたユーザーがVR空間内のコンテンツに変化を起こすことができる技術に関する特許。脳波の通常状態をまず計測し、それからの変化に応じてVR空間内にあるコンテンツを操作する
- 脳波によりコンテンツを動かしたり操作できることを示した特許
感情データの分析から、バーチャル空間のUI設計に至るまでを睨んだプロダクト開発を行っていることがわかります。他にも市場には、「NextMind」のようなBMIデバイスが登場。同デバイスは画面を見つめることでカーソルを動かし、簡単な操作のできる体験を実現。たとえば障害の持つ人の新たなコミュニケーションインタフェースとして活躍が期待されます。
さて、Spireは洋服をデータ分析デバイスへと変貌させました。普段私たちが着用する日用品に、スマートデバイスを融け込ませました。これでもう、ストレスなく心の動き・感情の揺らぎにどう対処すれば良いのかが理解できるようになりました。MuseやNextMindのデバイスは未だ重量的に大きいですが、将来的には市場に出回るメガネに、その機能が実装されるかもしれません。
現在、私たちの手元にはすでに未来の「感情デバイス」に必要な要素は揃っています。これら要素はグラス時代へ活きてくることでしょう。
具体的には、洋服が肌に触れることで取得できる呼吸データ、そしてグラス端末経由で取得される脳波を合わせて分析。フィードバックデータをARで最適な形に表現し、グラス越しに行動提案が表示される未来が到来するかもしれません。これら一連のデータ群および体験フローの確立によって、現在のような単にARとして情報表示する以外のサービスが無数に実装されるはずです。
スマートデバイスが頭、そして目元に来ることを睨み、データを結びつけた新しいコミュニケーションやライフスタイルを早めに検討する時期に来ています。
Chapter 3. 人とモノの対話（仮）
※ 今後ストーリー記事が追加されていきます。
Chapter 4. AIアバターが代替するコミュニケーション（仮）
※ 今後ストーリー記事が追加されていきます。
Chapter 5. ARと脳波が交わる時（仮）
※ 今後ストーリー記事が追加されていきます。
