注目の記事 PICK UP!

iOSのSiriの回答率は78.5%、Google Assistantは85.5%

このエントリーをはてなブックマークに追加

デジタルAIのテストでGoogleに敗れる

Loup Venturesは、複数の企業のスマート・スピーカーがさまざまなカテゴリーでどれほど優れたパフォーマンスを発揮したかを決定するテストを実施しました。

今回はデジタルAIのアシスタントに全面的に焦点を当てたテストを行いました。

必要な結果を得るために、研究者は、Siri、Google Assistant、Alexa、Cortana 800にスマートフォンでそれぞれ質問し、その結果を2017年4月に開催された以前のAIテストと比較しました。

新しいテストのSiriにとって、AppleのAIヘルパーはクエリの99%を理解し、その78.5%に正しく答えました。

これは、2017年4月の同様のAI中心テスト(800件の質問のうち66.1%が正しく答えられた)の改善です。

Loup Venturesは、2月にスマート・スピーカーをテストする際に同様の方法論を検討していたが、「デジタル・アシスタントとスマート・スピーカーのユースケースが大きく異なるため、これらのテストで結果を比較する価値はない」と説明しています。

これは、Siri on HomePodでは特に有効です.Siri on HomePodは、特定の分野では優れたパフォーマンスを発揮しますが、スピーカー自体で実行できるアクションの量に大きく制限されています。

これにより、2月のLoup Ventureのスマートスピーカー研究で、AIのアシスタントパフォーマンステストでAppleのHomePodが一番低いレベルまで降格され、Siriは782の質問の52.3%の正答率でした。

AIテストの二つの評価基準

Loup Venturesは、各デジタルアシスタントを2つの指標で評価します。

「何が尋ねられたのか理解しましたか?」 「正しい返答を出しましたか?」

質問はローカル(例:「最寄りの喫茶店はどこですか?」)、コマース(「もうペーパータオルを注文できますか?」)、ナビなどの5つのカテゴリからの質問です(「バスの乗降はどうすればいいですか?」 )、情報(「ニュースを教えて?」)、そしてコマンド(「今日の午後2時にはスティーブに電話してください。」)

iOS 11.4を搭載したiPhone、Pixel XLのGoogle Assistant、iOSアプリのAlexa、iOSアプリのCortanaに関するSiriの質問がありました。

Siriの最も優れたカテゴリはCommand(質問の90%が正しく答えられた)であり、iPhone、スマートホーム製品、Apple Musicなどの側面を制御するよう求められたとき、すべてのライバルを上回っていました。

Command(79%)、Navigation(83%)、Information(70%)、Commerce(60%)の順となっています。

Google Assistantは、コマンドを除くすべてのカテゴリに優位性があります。

このカテゴリのアシスタントに対するSiriのリードは、サードパーティのアプリ(CortanaとAlexaのように)で生活するのではなく、携帯電話のOSに焼き付けられているので、奇妙です。

スマートフォン、スマートホーム、音楽などを制御する上