ざっくり言うと

ベンチマークとは、AIの賢さを測るために用意された、共通のテスト問題集のことです。

どの会社のAIにも同じ問題を解かせて、何問解けたかで比べます。各社が「うちのAIはこのテストで何点」と発表するときの、点数のもとになっているものです。

ニュースで「GPT-◯はMMLUで何%」「ClaudeがHumanEvalで何点」といった話を見かけますよね。あれは、その共通テストでどれくらい解けたかを示した数字です。

イメージ

名前だけ見ると難しそうですが、やっていることは科目ごとの試験と変わりません。ですから、点数を見たら、まず「どの科目の試験なのか」を確かめてください。

正確には

ベンチマークの正体は、問題と正解をセットにしたデータのかたまりです。研究者がこれを作り、公開しています。

そのデータの問題を、どのAIにも同じ条件で解かせて正解率を出す仕組みです。テストによっては、正解率ではなくそのテスト専用の計算方法で点をつけることもあります。条件をそろえて測るからこそ、モデル同士を横並びで比べられるわけです。

中身は、元になった論文やデータと一緒に公開されていることが多く、論文をそのまま公開しているarXivで読めるものもあります。ただし査読を受けたかどうか、どう更新されるかは、ベンチマークごとに違うので注意してください。

ニュースでよく見るベンチマーク

名前測ろうとしている力どんな問題か出典
MMLU幅広い知識57分野・約1.6万問の4択問題（歴史・法律・医学など）Hendrycksらの論文（arXiv）
HumanEvalコードを書く力関数の仕様からPythonのコードを書かせ、実行テストで採点OpenAIの研究者らの論文（arXiv）
GPQA専門知識物理・化学・生物の難問。専門外の人にはWeb検索を使っても難しいよう設計2023年公開の論文（arXiv）
AIME数学米国の高校生向け数学コンテスト問題MAAの大会情報
SWE-bench実務でのコード修正GitHubにあった実際のバグ修正タスクをモデルに解かせる論文（arXiv）

ベンチマークは、ずっと同じものが使われ続けるわけではなく、定期的に見直されます。多くのモデルが高い点を取るようになって差がつきにくくなると、「飽和した」と言われることがあります。

そこで、より難しいGPQAや、実務に近いSWE-benchのように、別の力を測るテストも使われます。

では、各社の発表以外で点数を見比べたいときは、どこを見ればよいのでしょうか。Stanford HAIが公開するAI Index Reportに、主要な評価指標や技術性能の移り変わりがまとまっています。

Hugging FaceのOpen LLM Leaderboardでは、オープンモデルを共通の評価設定で比べられます。旧版は2024年6月にアーカイブされました。いまのOpen LLM Leaderboard 2で何を測っているかは、公式ドキュメントで確認できます。

注意点

点数が高いAIが、自分の仕事で使えるとは限りません

ベンチマークは、全体の傾向をつかむための目安であって、最終判断の根拠にはなりません。

もうひとつ確かめてほしいのが、測り方の条件です。どのテストが選ばれたのか、データの版はどれか、採点方法や指示文はどうか、AIに道具を使わせたのか。ここが違えば、同じ名前のテストでも点数はそろいません。

読む資料も、AIを作っている会社の発表だけで済ませないでください。Stanford HAIの整理や、Hugging Faceの評価基盤のような、提供元以外の資料と照らし合わせると、作った会社の言い分だけに寄らずにすみます。

使う場面

自分専用の小さなテストを作りましょう

小さな会社や個人事業主にとって、公開されている点数は、候補をしぼるための材料のひとつです。そこから先は、自分の仕事に近い作業をいくつか試すほうが、用途との相性を直接確かめられます。

比べるときは、次の4つをそろえてください。

  • どのAIにも、同じ文章と同じ条件を渡す
  • 1回で決めず、似た依頼を数回ためす
  • 直さずにそのまま使えたかどうかをメモする
  • 迷ったら、いちばんよく使う作業を優先する
ここまでやると、点数だけでは見えなかった相性がつかめます。

関連用語

やってみよう