ベンチマークって何?
この記事は約6分で読めます
ざっくり言うと
ベンチマークとは、AIの賢さを測るために用意された、共通のテスト問題集のことです。
どの会社のAIにも同じ問題を解かせて、何問解けたかで比べます。各社が「うちのAIはこのテストで何点」と発表するときの、点数のもとになっているものです。
ニュースで「GPT-◯はMMLUで何%」「ClaudeがHumanEvalで何点」といった話を見かけますよね。あれは、その共通テストでどれくらい解けたかを示した数字です。
イメージ
名前だけ見ると難しそうですが、やっていることは科目ごとの試験と変わりません。ですから、点数を見たら、まず「どの科目の試験なのか」を確かめてください。
正確には
ベンチマークの正体は、問題と正解をセットにしたデータのかたまりです。研究者がこれを作り、公開しています。
そのデータの問題を、どのAIにも同じ条件で解かせて正解率を出す仕組みです。テストによっては、正解率ではなくそのテスト専用の計算方法で点をつけることもあります。条件をそろえて測るからこそ、モデル同士を横並びで比べられるわけです。
中身は、元になった論文やデータと一緒に公開されていることが多く、論文をそのまま公開しているarXivで読めるものもあります。ただし査読を受けたかどうか、どう更新されるかは、ベンチマークごとに違うので注意してください。
ニュースでよく見るベンチマーク
| 名前 | 測ろうとしている力 | どんな問題か | 出典 |
|---|---|---|---|
| MMLU | 幅広い知識 | 57分野・約1.6万問の4択問題（歴史・法律・医学など） | Hendrycksらの論文（arXiv） |
| HumanEval | コードを書く力 | 関数の仕様からPythonのコードを書かせ、実行テストで採点 | OpenAIの研究者らの論文（arXiv） |
| GPQA | 専門知識 | 物理・化学・生物の難問。専門外の人にはWeb検索を使っても難しいよう設計 | 2023年公開の論文（arXiv） |
| AIME | 数学 | 米国の高校生向け数学コンテスト問題 | MAAの大会情報 |
| SWE-bench | 実務でのコード修正 | GitHubにあった実際のバグ修正タスクをモデルに解かせる | 論文（arXiv） |
ベンチマークは、ずっと同じものが使われ続けるわけではなく、定期的に見直されます。多くのモデルが高い点を取るようになって差がつきにくくなると、「飽和した」と言われることがあります。
そこで、より難しいGPQAや、実務に近いSWE-benchのように、別の力を測るテストも使われます。
では、各社の発表以外で点数を見比べたいときは、どこを見ればよいのでしょうか。Stanford HAIが公開するAI Index Reportに、主要な評価指標や技術性能の移り変わりがまとまっています。
Hugging FaceのOpen LLM Leaderboardでは、オープンモデルを共通の評価設定で比べられます。旧版は2024年6月にアーカイブされました。いまのOpen LLM Leaderboard 2で何を測っているかは、公式ドキュメントで確認できます。
注意点
点数が高いAIが、自分の仕事で使えるとは限りません
ベンチマークは、全体の傾向をつかむための目安であって、最終判断の根拠にはなりません。もうひとつ確かめてほしいのが、測り方の条件です。どのテストが選ばれたのか、データの版はどれか、採点方法や指示文はどうか、AIに道具を使わせたのか。ここが違えば、同じ名前のテストでも点数はそろいません。
読む資料も、AIを作っている会社の発表だけで済ませないでください。Stanford HAIの整理や、Hugging Faceの評価基盤のような、提供元以外の資料と照らし合わせると、作った会社の言い分だけに寄らずにすみます。
使う場面
自分専用の小さなテストを作りましょう
小さな会社や個人事業主にとって、公開されている点数は、候補をしぼるための材料のひとつです。そこから先は、自分の仕事に近い作業をいくつか試すほうが、用途との相性を直接確かめられます。
比べるときは、次の4つをそろえてください。
- どのAIにも、同じ文章と同じ条件を渡す
- 1回で決めず、似た依頼を数回ためす
- 直さずにそのまま使えたかどうかをメモする
- 迷ったら、いちばんよく使う作業を優先する
関連用語
- LLM（大規模言語モデル） — テストを受ける側の主役にあたるAI本体
- リーズニングモデル — 難しい問題で点数を伸ばすことを狙って作られたタイプのAI
やってみよう
よくある質問
- Q. ベンチマークとは何ですか?
- A. AIの賢さを測るために用意された、共通のテスト問題集のことです。どの会社のAIにも同じ問題を解かせて比べます。各社がうちのAIは何点と発表するときの、点数のもとになっています。
- Q. MMLUやHumanEvalは、それぞれ何を測っているのですか?
- A. 科目が違います。MMLUは歴史や法律、医学まで含む幅広い知識、HumanEvalはプログラムを書く力、GPQAは大学院レベルの専門知識、SWE-benchは実務でのコード修正を測ります。
- Q. 点数がいちばん高いAIを選べば、間違いないのですか?
- A. そうとは限りません。よく名前を見るベンチマークは英語中心のものが多く、出題も4択や短い課題に偏りがちです。日本語の仕事での強さや、長い文章の要約の出来は、別に確かめる必要があります。
- Q. 自分の仕事に合うAIは、どう選べばいいですか?
- A. 普段よく頼む作業を3つ選び、候補のAIに同じ依頼を出して見比べてください。正確さ、読みやすさ、直しの少なさをメモすると、公開されている点数より実感に近い判断ができます。
公開: 更新: ✓ 公式情報と照合:
参考ソース
- Stanford HAI - AI Index Report(公式情報)
- Hugging Face - Open LLM Leaderboard(公式情報)
- arXiv - Measuring Massive Multitask Language Understanding (MMLU)(公式情報)
- arXiv - Evaluating Large Language Models Trained on Code (HumanEval)(公式情報)
- arXiv - GPQA: A Graduate-Level Google-Proof Q&A Benchmark(公式情報)
- arXiv - SWE-bench: Can Language Models Resolve Real-World GitHub Issues?(公式情報)
- Mathematical Association of America - MAA Invitational Competitions(公式情報)
判断クイズ
「MMLUで90点」を、自分の仕事の判断材料に変えられますか？
3問です。答えるとその場で解説が出ます。全問終えたら、「回答を記録する」で学習の記録に残せます。
全問に答えると、回答を記録できます。
残るのは「答えたかどうか」だけで、正解数は保存されません。この端末の中だけに残り、別の端末には引き継がれません。
この教科書は無料で全文公開しています。仕事で使えるところまで進みたい方は、実習と資料がそろった生徒プランをどうぞ。