AIが読解力テストで人間を上回った！　MicrosoftとAlibabaの快挙

「AIは理解せず、高得点を取る」

　MicrosoftはSQuADでの成果をブログ記事で報告しながら、「機械が読解力を身につければ、コンピュータが本やドキュメントにある情報を迅速に解析し、最も簡単な方法で、必要な情報を提供できる」とメリットを説明する。こうした技術によって、弁護士や医師などの専門職は、必要な情報をすぐに得られるようになるという。

　SQuADに提出したモデルの基盤はすでに同社の検索エンジン「Bing」に適用しており、もっと複雑な問題にも拡大していくという。「検索クエリを入力してリンクのリストを得るのではなく、率直な言葉で返す方向に向かっている」と同社は説明している。

　だが、AIが本当に読解力で人間を超えたというわけではない。

　Washington Postは「コンピュータに読解を教えることは、長い間AIの“聖杯”（人が探し求めるもの）だった」としながらも、「（企業のマーケティングにとっては）大きなステップだが、人類にとっては小さなステップ」（Allen Institute for Artificial IntelligenceのCEO、Oren Etzioni氏）という見解を紹介する。

　「AIシステムはまだもろく、段落に小さな変更が生じるだけで行動に悪い影響が出る」（Etzioni氏）からだ。2つの文章から結論を導いたり、示唆されているアイデアを理解するとなると、現在のモデルは、大きく遅れているという。人間が無意識でできることさえ、まだまだ機械にはできないとEtzioni氏は指摘する。

　SalesforceのAI研究者Stephen Merity氏も、Washington Postに「素晴らしい到達」ではあるが、「モデルには、質問に答えるには段落が不十分だと思う信号を送ったり、決定する機能が組み込まれていない」と述べている。

　The Vergeは、これらのAIは「対象となるものを全く理解することなく、テストで高得点を取る学生のようなもの」というPercy Liang氏のコメントを紹介している。Liang氏はSQuAD開発にかかわったスタンフォード大学のコンピュータ科学者だ。