ベンチマークって何?

ざっくり言うと

ニュースで「GPT-◯ は MMLU で何%」「Claude が HumanEval で何点」みたいな話が出てきたら、それは「この共通テストでこれだけ解けました」という意味だと思ってください。

イメージ

正確には

ベンチマークは、多数の問題と正解がセットになったデータセット として研究者が公開しています。各 AI モデルに同じ問題を解かせ、正解率(または各タスク固有のスコア)を算出することで、モデル同士を横並びで比較できるようにする仕組みです。

代表的なベンチマークの出どころは、ほとんどが arXiv に投稿された 査読前論文 で公開されています。たとえば MMLU は Hendrycks らによる 2020 年の論文、HumanEval は OpenAI の研究者らによる 2021 年の論文、GPQA は 2023 年の論文がそれぞれ初出です。

Stanford HAI が毎年公開している AI Index Report では、こうした主要ベンチマークの公開時点で確認できるスコアと、年ごとの伸び方が整理されています。Hugging Face の Open LLM Leaderboard では、オープンモデルのベンチマーク結果が継続的に更新されており、誰でも閲覧できます。

よく見るベンチマークの一覧

名前	何を測る?	ざっくり中身
MMLU	幅広い知識	57分野・約1.6万問の4択問題(歴史・法律・医学など)
HumanEval	コード生成力	関数仕様から Python コードを書かせて実行テストで採点
GPQA	専門知識	物理・化学・生物の大学院レベル問題(Google で検索しても解けない難度を狙った設計)
AIME	数学	米国の高校生向け数学コンテスト問題
SWE-bench	実務コード修正	GitHub の実際のバグ修正タスクをモデルに解かせる

点数の読み方の注意

個人事業主やビジネスユーザーにとって、ベンチマークの点数は 「どのモデルが比較記事や発表で注目されているか」を知るための話題作り くらいに考えておくのが安全です。実際の判断は、自分の業務タスクで何個か試してみる のが結局いちばん早くて正確です。

ミニベンチマークを作るときは、次の点だけ揃えると比べやすくなります。

• 全モデルに同じ文章・同じ条件を渡す
• 1回だけで決めず、似た依頼を数回試す
• 「修正なしで使えたか」をメモする
• 迷ったら、自分が一番よく使う作業を優先する

これで、点数では見えない相性が見えます。

やってみよう

「ベンチマーク = AI の模試の点数」「点数は目安、最終判断は実地テスト」。この2つだけ押さえておけば、各社のスコア自慢に振り回されずに済みます。

関連用語として、ベンチマークを受けている主役である LLM(大規模言語モデル) や、特にベンチマークで高得点を狙う設計の リーズニングモデル も合わせて読むと、ニュースの読み解きがかなり楽になります。