LEGALブログ（リーガル社員のここだけの話）: AIにノイズを与えると精度が上がる意外な研究結果

こんにちは、開発部の森です。
最近話題のChatGPTのようなAIは、人間のように自然な文章を生成し、私たちの質問にも的確に答えてくれます。しかし、実はAIも時折「カンニングペーパー」を参照しながら回答を生成していることがあるのです。
もちろん、実際に紙のカンニングペーパーが存在するわけではありません。AIが質問に答える際、事前に学習した膨大な知識に加え、「外部の情報源」からリアルタイムで情報を取得し、それを参考にすることがあります。この仕組みは、専門用語で「RAG（ラグ）」と呼ばれています。
例えば、「今日の天気は？」とAIに尋ねると、AIは気象情報のデータベース（これがカンニングペーパーの役割を果たします）を参照し、「晴れです」や「午後から雨が降るでしょう」といった情報を提供してくれます。これがRAGのイメージです。

さて、ここで皆さんに一つ質問です。もしAIに最高のパフォーマンスを発揮させたい場合、どのような「カンニングペーパー」を準備するでしょうか？
一般的に考えれば、「質問に関連する情報のみを網羅したカンニングペーパー」が最適だと考えるでしょう。余計な情報がなければ、AIも迷うことなく正しい答えを見つけ出せそうです。実際、私たち人間も、テスト勉強で関係のないことまで記憶してしまうと、かえって混乱してしまうものです。
ところがAIの世界では、私たちの直感とは異なる、非常に不思議な研究報告がなされています。
それは「AIに渡すカンニングペーパーに、意図的に質問とは全く関係のない情報を加えた方が、AIの回答精度が向上する場合がある」というものです。

「一体どういうことだろう？」と疑問に思われるかもしれません。
例えるなら、歴史のテストで「徳川家康について説明しなさい」という問題が出題されたとします。その際、カンニングペーパーには徳川家康に関する情報がちゃんと書かれている上で、さらに「昨日の夕食の献立」や「好きなアニメのキャラクター」といった、一見すると全く関係ない情報も少しだけ混じっていた方が、なぜか徳川家康に関する説明がより上手になる、といったイメージです。にわかには信じがたい話かもしれませんね。

この研究を発表した研究者たちも、当初は「無関係な情報を加えると、AIは混乱し精度が低下するだろう」と予測していました。しかし実験の結果、予想とは異なる興味深い結果が得られたのです。
「なぜそのような現象が起こるのか？」という疑問が生じますね。明確な理由はまだ研究段階ですが、いくつかの興味深い仮説が提唱されています。
・多くの情報の中にごく少量の無関係な情報が混在することで、かえって本当に重要な情報が際立ち、AIがそれに集中しやすくなるのではないか。
・少量のノイズ（無関係な情報）が存在することで、AIが情報をより慎重に吟味するようになり、結果として誤りが減少する可能性。
・質問と「少し関連があるものの、詳細を見ると誤っている情報」は、実はAIをより混乱させる可能性があります。それと比較すると、「全く無関係な情報」はAIにとって「これは無視すべき情報だ」と判断しやすく、結果的に処理の邪魔にならないのではないか。

一見すると邪魔に思える「ノイズ」が、意外な形でAIの性能向上に寄与するというのは、実に興味深い現象です。
我々は、このような生成AI技術の進化にこれからもキャッチアップし続け、実用的な形でお届けできるよう、今後も一層努力してまいります。