「ヒアラブル」の実験②～イヤホンで従業員をサポートする「サイバーアシスト」

July / 06 / 2018

前回の「ヒアペイ」のご紹介に続き、具体的なチャレンジの第2弾として「いかにしてイヤホンを通じてヒト（今回は従業員）の活動をサポートできるか？」ご紹介します。

羽田空港の案内スタッフの方にヒアラブルを装着して頂いたところ

ヒアラブルは、どんな形でヒトの役にたつか？

すでに皆様の中にはAirPodsなどのヒアラブル端末（マイク付ワイヤレスイヤホン）をお持ちの方も多いと思いますが、どのような使い方をしていますか？昔からあったイヤホンの延長線上で、音楽を聴いたり動画の音声を聞くことが多いのではないでしょうか。マイクがついているので、ハンズフリーで電話をしたり、音声アシスタント（SiriやGoogle Assistantなど）も使えますが、ブツブツ独り言を言っているみたいでまだ恥ずかしいと感じる方々も多いことでしょう。

このようにヒアラブルの新しい使い方は日常生活の中ではまだ発展途上ですが、もし職場で使うことができ仕事が楽になるならすぐにでも使いたくなりませんか？

イヤホンを通じてネットワークに人をつなげる

ここ数年の「IoTブーム」が起こるはるか前の2000年初頭、日本ではサイバー世界から人間をサポートする「サイバーアシスト計画」がありました。下の図のようにインターネット上の「デジタル世界」の情報と「実世界」のヒトやモノをつなぐという先進的なプロジェクトでしたが、「10年早かった」と言われ、あまりうまく行かなかったようです（詳しくはこちらの論文をご覧ください）。

2000年代初頭に産業技術総合研究所で示された「サイバーアシスト」の概念図

しかしそれから10年以上たち通信環境もセンサーやデバイスも急速に進化した今、期が熟しました。スマホを肌身離さず携帯している今の状況は、ヒトがいつでもデジタル世界につながっていると言えます。さらに進めると、本連載でテーマにしている「ヒアラブル」は常時身に付けられる「ウェアラブル端末」ですので、文字通り「肌身離さず」ネットワークにつながることができます。電通ライブでは、イヤホンを通じてネットワークとヒトがつながるとどのようなことが可能になるかを実験しています。

今年の2月5日（月）から8日（木）の4日間、羽田空港国内線旅客ターミナルを管理する日本空港ビルデング株式会社の協力を得て、空港を舞台に従業員やスタッフにヒアラブルを活用してもらう実験を行いました。

例えばイヤホンを装着することで両手が使えるので、手を使う作業（重い荷物を持ったりパソコンで何かを打ち込んだり）をしながら音声で情報のやりとりをしたり、遠隔地とのコミュニケーションを円滑化したり、スタッフ同士の相互扶助を推進したり、人員配置を可視化したりと、さまざまなユースケースが考えられます。その中で、まずは基本となる以下の二つを試してみました。

①【従業員の屋内位置情報の可視化】
各スタッフが今どこにいるかのマップをPCやパネルで分かりやすく表示する。
②【ハンズフリーでの常時同時通話】
イヤホンをトランシーバにして、リアルタイムでみんなと会話のやりとりをする。

※本実験では日本電気（株）より技術のご提供および運営のご協力を頂きました。

イヤホンで居場所がリアルタイムで分かる

外でスマートホンを持って地図アプリを開くと今自分がどこにいるかが分かりますよね。これはGPS等の衛星から発信する電波によってスマートホンの位置を把握しているからなのですが、実はビルの中などの屋内では衛星からの電波が届かないのでGPSでは位置が分かりません。屋内で位置を計測するためには、WiFiやBluetooh(BLE)などの電波を利用する方法がありますが、それらを発信する端末（ルーターやビーコン）を設置する必要があります。

そこで今、屋内の位置測位で実用化が進められているのが「電子コンパスで地磁気を計測する方法」です。大型の建造物は鉄筋構造ですが、その鉄筋が磁石化するので電子コンパスは北を指さず、場所によってコンパスの向きが狂います。その狂い方の特徴を地図に落とし込んだ地磁気マップを作成すれば、その電子コンパスを持っている人がその地磁気マップのどこにいるかがリアルタイムでわかる、というものです。

今回は、実験開始前にあらかじめ空港ビル内の地磁気マップを作成した上で、実験期間中は電子コンパス入りのヒアラブル端末を3名のスタッフが装着し、旅客ターミナルの簡易地図上でだれがどこにいるかを表示しました。

実験当日は人のスタッフが赤青緑の3色のタスキをつけて歩き回り（写真）、簡易地図上にその色に対応した点で位置を表示した（図）。

イヤホンをトランシーバにしてみんなでハンズフリー会話

また、今回はトランシーバをハンズフリーで使用できないかと考えました。スマホでは1対1の会話だけではなく、複数の人と同時に通話できるトランシーバアプリがあるのですが、このアプリを起動した後はスマホをポケットやカバンにいれっぱなしにして、出来る限りヒアラブルのマイクとイヤホンだけでやりとりをするということです。

今回の実験ではそのアプリ自体を音声で操ることができればベストだったのですが、市販のアプリではそこまで対応できなかったので、Bluetoothボタンを前述のタスキにくっつけて必要な時だけタスキをさわってのボタンを押せばよい形にしました。その結果、スマホの画面操作が不要になり最低限のアクションで視線を奪われることなく移動中も安全に音声でやりとりすることができました。

また通常のマイク付イヤホンは耳に装着した状態で耳の「外側」にマイクが搭載されていますが、今回活用したNECのヒアラブル端末は耳の「内側」にマイクが搭載されているのが特徴です。その内側のマイクに向けて体内経由（口蓋や鼻腔など）で自分の声を送るので、工夫次第では口を大きく開けなくても音声を発信することができます。実験ではスタッフがまるで「腹話術」のようにほとんど口を動かさないで話をしているように見えることもありました。

冒頭で「ヒアラブルでの会話は、ブツブツ独り言を言っているみたいでまだ恥ずかしい」と書きましたが、内側マイクはこういったことも解消する可能性があるのです。

次回はいよいよ最終回となりました。
「ヒアラブルは、どのように未来を変える可能性があるか？」をお伝えできればと思います！

日塔史

電通ライブ　第1クリエーティブルーム　チーフ・プランナー

テクノロジーを活用したビジネス・プロデュースを手掛けており、現在「ヒアラブル」（聴覚の拡張デバイス）によるソリューション開発などを行っている。日本広告業協会懸賞論文「論文の部」金賞連続受賞（2014年度、2015年度）。電通Watsonハッカソン「日本IBM賞」受賞（2017年）。AIおよび先端テクノロジーに関する講演、寄稿多数。

「ヒアラブル」の実験①～イヤホンで手ぶら決済「ヒアペイ」

June / 04 / 2018

前回、「ヒアラブルとは何か？」をご説明しました。今回は具体的な取り組みとして、イヤホンを通じた決済実験についてご紹介します。

「ヒアペイ」実証実験当日の様子

進化するキャッシュレス決済

現在クレジットカード、SuicaのようなICカードでの支払いや、スマートホンを利用した支払いのように、直接現金を使用しない「キャッシュレス決済」が多数登場しています。iPhoneで決済できる「ApplePay」が話題になりましたし、中国では既に「Alipay」「WeChatPay」でのスマホ決済が既に主流となっています。日本でも「楽天ペイ」「LINEペイ」などのスマホ決済が続々と登場していて、経済産業省はキャッシュレス決済比率を2015年時点で2割だったものを2025年までに倍の4割に高める目標を発表しました。

以上のように世界中で現金を使用する手間やわずらわしさを解消するためにキャッシュレス決済が進んでいます。海外では日本よりもキャッシュレス決済が進んでいる国が多数あり、例えば2016年時点で韓国では9割、中国では6割、アメリカでは5割弱くらいと言われていたので、今はもっと進んでいるでしょう。日本でも海外からの観光客（インバウンド）が増えていて、さらに沢山の観光客がやってくる2020年の東京オリンピック・パラリンピックに向けて、ますますキャッシュレス化が加速していくと考えられます。

イヤホンで手ぶら決済！

そのような中で、「もしかしたらヒアラブルを活用すれば、カードやスマホのように手を使う方法よりももっと便利なキャッシュレス決済体験を実現できるのではないか？」と考えました。これが今回ご紹介する「ヒアペイ」で、「聴く(Hear)」と「払う(Pay)」をくっつけました。「○○ペイ」が既に世の中に沢山でているので、それに合わせるのがストレートで分かりやすいからです。

ヒアペイロゴ

もう少し具体的に言うと、ワイヤレスイヤホンを通じて音声でスマホを操作できるようになってきているので、店員さんから「お支払方法は？」と聞かれた時に「現金で」「カードで」と同じように、「ヒアペイで」といえば、スマホ決済を音声指令で自動化することによって、店員さんとの会話のやりとりだけで決済できるはずです。そうすれば、現金のように「ポケットやカバンから財布を取り出し、さらにそこからお金を取り出して、さらにおつりをうけとる」といった長い作業から解放されます。そして他のキャッシュレス決済と違い、カードやスマホを取り出す手間も必要なくなります。ここまで来るとイヤホンをつけていれば決済のための動作がほぼなくなり、夢のように便利ではないか、と考えました。

ちなみにアメリカではAmazonが「Amazon Go」という実験店舗を発表していて、店舗内のカメラ画像や様々なセンサーを組み合わせて決済を自動化しています。しかしこのAmazon Goであっても、入店の時のチェックインではスマホを取り出す必要があるので「手」はまだ使用しています（とはいえ、AmazonGoのポイントは「レジがいらない」ということなので、違った次元で画期的です）。

イヤホンで生体認証ができる

「ヒアペイ」では、NECが開発しているイヤホンでの生体認証技術が活用できると考えました。これはマイク付イヤホンで耳の奥に音を発信し、その反響音をマイクで拾うことで耳の穴の形（外耳道）を計測できるので、その耳穴の形状の個人差で生体認証するというものです。その背景として生体認証による決済はホットな領域で、様々なトライアルがなされていることがあげられます。例えば、顔認証で本人確認をして社食の支払いをしたり、指紋認証で利用者側はデバイスなしで決済する、といったものです。

まずヒアペイの第一歩としてスタジアムでの屋台販売で実験することにしました。自分のスポーツ観戦を思い出すと、「すでに焼きそばポップコーンを買っていて、さらにビールも欲しいけど、手が焼きそばとポップコーンで塞がっているので財布はおろかカードも取りだせない」といったことが発生します。そのような時にイヤホンでハンズフリー決済ができれば便利ですし、同じようなことが起こる他イベント（音楽フェス等）にも応用できるからです。

幸いにしてJリーグチーム「湘南ベルマーレ」とのコラボレーションが決定し、「Shonan BMW スタジアム平塚」で行われた2017年の最終試合の日（11月19日）に、野外ビール販売で実証実験を行うことができました。あらかじめ湘南ベルマーレのホームページで一般のお客様を対象にモニター募集の告知をしてもらい、天候にも恵まれ、69名の皆様にヒアペイによるハンズフリー決済を体験して頂きました。

（こちらから動画がご覧いただけます）https://youtu.be/Z3QWCOl1lCc

決済体験を無くしていきたい

アンケートではほぼ全員（96％）の方から「新しい決済経験である」、多くの方(84%)の方から「便利である」という好意的な回答を頂きました。

しかし、映像をご覧いただければ分かりますが、まだ試行錯誤をしている段階のため「ヒアペイで」と言えば即支払いができるものには至っておらず、店員さんが複数いるヒアペイ利用者のうち、誰が今お支払をしたいお客様なのかを判別するためのキーワード（映像中では「ベルマーレビール大好き！」「ヒアペイ最高！」などの合言葉）が必要となりました。

ヒアペイでは、現在ヒアラブルや生体認証技術を活用して決済を便利にすることにチャレンジしていますが、そもそも利用者としては「お金を支払う」という行為自体がわずらわしいので、目指すのは「決済体験自体をなくすこと」と考えています。

次回は、ヒアラブル端末を活用して働く人々をコンピュータ・ネットワークでサポートする「サイバー・アシスト」の取り組みをご紹介いたします！