課題

以前からMarvinでも紹介していたように「ロボットは東大に入れるか」プロジェクト（以下、東ロボプロジェクト）では、これまで東京大学の入試を突破する人工知能の開発を進めてきました。一旦プロジェクトは2016年に終了したものの、個別科目の技術開発は続けられてきました。中でも英語のテストは当初「文系で一番難しいのではないか」（新井教授）とされ、意味の理解が必要とされています。

最近はBERTやXLNetなど、自然言語処理のためのニューラルネットワークが発明され、次々に自然言語処理タスクの最高性能を更新しています。東ロボプロジェクトでも、BERTを用いたモデルのテストも行われ成績が向上していましたが、さらなる向上が期待されていました。

解決方法

NTTコミュニケーション科学基礎研究所（NTT CS研）と国立情報学研究所（NII）の研究グループは、自然言語処理のニューラルネットワークとして提案されているXLNetを独自に改善したモデルを開発して、2019年度のセンター試験英語に適用しました。

BERTやXLNetは大量の自然言語文を用いた事前学習と、解きたいタスクのための少数の教師データを用いた転移学習を組み合わせてモデルを訓練します。XLNetは、BERTの元になったTransformerモデルの欠点である固定長の入力しか扱えない制約（実際には十分な長さの入力を用意して、文の終了後は文字なしを意味する記号で埋める）を克服して、再起結合型のネットワークを用いずに固定長以上の入力を扱うことができます。ただし、XLNetでは、不要文除去、段落タイトル付与、発音問題については解答が困難となっていました。今回、NTT CS研を中心とした東ロボ英語チームは独自技術を開発して、センター英語に適用しました。

グループは技術的な要点として以下の3点をあげています。

• 自動的に作成した疑似問題を用いた不要文除去問題の高精度化
• 段落タイトル付与問題の自動解答
• アクセント・発音問題に対する辞書を活用した自動解答

どうなったか

200点満点中185点を達成しました。人間の受験者の中での偏差値は64.1（独自技術適用前57.0）となりました。この技術を過去3年間のセンター本試験・追試験に対して適用した結果も、安定して偏差値60以上を達成したとしています。

まとめ

中国の英語テストデータセットを用いたタスクでは人間の成績を超える成果が出ていましたが、日本の英語テストでも最新のモデルが性能向上させることがわかりました。BERT、XLNet、ALBERTなど、昨年から今年にかけて自然言語処理に革命を起こすようなモデルが次々に発表されました。次は、どんな問題に適用されて、（ほとんどの）人間を超えるのでしょうか？

参考情報

• 2019年大学入試センター試験英語筆記科目においてAIが185点を獲得！ [国立情報学研究所]
• 2019年大学入試センター試験英語筆記科目においてAIが185点を獲得！ [日本電信電話株式会社]
• ロボットは東大に入れるか：センター試験英語の要約問題に対する BERT を用いた自動解答手法 [Marvin.news]
• Devlin et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018 [arxiv.org]
• Yang et al., XLNet: Generalized Autoregressive Pretraining for Language Understanding, 2019 [arxiv.org]
• BERTを超えたXLNetの紹介 [mc.ai]
• Lan et al. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, 2019 [arxiv.org]