デジタルAIのテストでGoogleに敗れる
Loup Venturesは、複数の企業のスマート・スピーカーがさまざまなカテゴリーでどれほど優れたパフォーマンスを発揮したかを決定するテストを実施しました。
今回はデジタルAIのアシスタントに全面的に焦点を当てたテストを行いました。
必要な結果を得るために、研究者は、Siri、Google Assistant、Alexa、Cortana 800にスマートフォンでそれぞれ質問し、その結果を2017年4月に開催された以前のAIテストと比較しました。
新しいテストのSiriにとって、AppleのAIヘルパーはクエリの99％を理解し、その78.5％に正しく答えました。
これは、2017年4月の同様のAI中心テスト（800件の質問のうち66.1％が正しく答えられた）の改善です。
Loup Venturesは、2月にスマート・スピーカーをテストする際に同様の方法論を検討していたが、「デジタル・アシスタントとスマート・スピーカーのユースケースが大きく異なるため、これらのテストで結果を比較する価値はない」と説明しています。
これは、Siri on HomePodでは特に有効です.Siri on HomePodは、特定の分野では優れたパフォーマンスを発揮しますが、スピーカー自体で実行できるアクションの量に大きく制限されています。
これにより、2月のLoup Ventureのスマートスピーカー研究で、AIのアシスタントパフォーマンステストでAppleのHomePodが一番低いレベルまで降格され、Siriは782の質問の52.3％の正答率でした。
AIテストの二つの評価基準
Loup Venturesは、各デジタルアシスタントを2つの指標で評価します。
「何が尋ねられたのか理解しましたか？」 「正しい返答を出しましたか？」
質問はローカル（例：「最寄りの喫茶店はどこですか？」）、コマース（「もうペーパータオルを注文できますか？」）、ナビなどの5つのカテゴリからの質問です（「バスの乗降はどうすればいいですか？」 ）、情報（「ニュースを教えて？」）、そしてコマンド（「今日の午後2時にはスティーブに電話してください。」）
iOS 11.4を搭載したiPhone、Pixel XLのGoogle Assistant、iOSアプリのAlexa、iOSアプリのCortanaに関するSiriの質問がありました。
Siriの最も優れたカテゴリはCommand（質問の90％が正しく答えられた）であり、iPhone、スマートホーム製品、Apple Musicなどの側面を制御するよう求められたとき、すべてのライバルを上回っていました。
Command（79％）、Navigation（83％）、Information（70％）、Commerce（60％）の順となっています。
Google Assistantは、コマンドを除くすべてのカテゴリに優位性があります。
このカテゴリのアシスタントに対するSiriのリードは、サードパーティのアプリ（CortanaとAlexaのように）で生活するのではなく、携帯電話のOSに焼き付けられているので、奇妙です。
スマートフォン、スマートホーム、音楽などを制御する上で、Siriは多少役立ち、汎用性が高い（より柔軟な言語に対応している）ことがわかりました。
質問セットにはかなりの量の音楽関連のクエリも含まれています。
AIアシスタントテストの結果は？
以下のグラフがテストの結果です。
Appleは、その根元に迫っており、Siriはモバイルデバイスとスマートスピーカーの両方で音楽を楽しむことができます。
Google AssistantはCommand以外のすべてのカテゴリでトップのデジタルアシスタントであり、Loup Venturesは特に音声特典の検索結果を読み上げる「特集記事」を好んでおり、多くの場合「探しているもの」です。
AlexaとCortanaはどちらも、iOSのアプリが原因でiPhoneで何ができるかを制限しているため、テストではパフォーマンスが低下していました。
合計800件の質問のうち、85.5％が正しく回答され、すべて理解されました（Siriの78.5％が正しく、11が誤解されています）。
アレクサは正確に61.4％に答え、13を誤解していたが、コルタナは「遅れ」であり、正しく答えたのは52.4％であり、誤解していた。
2017年4月以来の15ヶ月間で、Siriは13％ポイント改善しました。
Loup Venturesは、ほとんどのアシスタントにとって「技術が進歩する速度に感銘を受けた」と語っています。
研究者は、昨年の課題が「自然言語処理とデバイス間の接続性の改善」によって改善されていると説明しました。
Loup Venturesは、特にSiriは、さらに多くの改善が見られています。
この秋、デジタルアシスタントは、iOS 12に登場するAppleの今後の「Siri Shortcuts」機能を利用して新しい機能を追加し、音声コマンドで簡単に起動できるアプリ間で自動化を実現します。
Source:MacRumors
