---
title: "AI 基準測驗（AI Benchmark）是什麼？"
canonical: https://glossary.penguindriver.com/t/benchmark
markdown: https://glossary.penguindriver.com/t/benchmark.md
date_modified: 2026-09-28
retrieved: 2026-09-29
language: zh-Hant-TW
content_sha256: b12375f816a61a5fcf7e4a00fc6747bb4b12beec50dffd90bc468728f492f0cd
cite: https://glossary.penguindriver.com/cite?path=%2Ft%2Fbenchmark
sources:
  - https://arxiv.org/abs/2009.03300
  - https://arxiv.org/abs/2201.11903
---

# AI 基準測驗（AI Benchmark）是什麼？

AI 基準測驗是以固定題庫與評分方式比較模型能力的標準化測試。常見的 MMLU 由 Hendrycks 等人 2020 年提出，涵蓋小學數學、美國歷史、電腦科學、法律等 57 個科目的選擇題；當時多數模型接近隨機猜測，最大的 GPT-3 平均只比亂猜高近 20 個百分點。

分類：基礎概念｜別名：Benchmark、基準測試、跑分、MMLU、評測

## 一句話說明

用一套固定題目衡量並比較 AI 模型能力的標準測驗，例如常見的 MMLU、GSM8K。

## 怎麼運作？

1. 研究者設計一組有標準答案的題目與評分規則。
2. 讓不同模型在相同條件下作答。
3. 計算正確率或分數，列成排行榜比較。
4. 隨著模型進步，舊測驗被「考滿分」後，會再推出更難的新測驗。

## 實際例子

- MMLU 測多學科知識，GSM8K 測小學數學應用題。
- 新模型發表時常附上一張各項基準測驗分數表。
- 企業選模型時，先看公開分數，再用自家資料實測。

## 常見誤解

- 誤解：基準分數越高，實際用起來一定越好。
  事實：測驗只涵蓋特定題型，且題目可能已出現在訓練資料中；實際效果仍要用自己的任務測試。
- 誤解：不同公司公布的分數可以直接比較。
  事實：提示方式、範例數量、評分細節不同，分數就可能差很多，比較時要確認測試條件一致。

## 常見問題

### 什麼是測驗「污染」？

指測驗題目或答案出現在模型的訓練資料裡，模型可能是背答案而非真的會解，分數因此偏高。

### 為什麼常看到新的基準測驗？

頂尖模型在舊測驗上接近滿分後就難以分出高下，研究者會推出更難或更貼近實際工作的新測驗。

## 相關名詞

[大型語言模型](https://glossary.penguindriver.com/t/llm.md)、[推理模型](https://glossary.penguindriver.com/t/reasoning-model.md)、[AI 幻覺](https://glossary.penguindriver.com/t/hallucination.md)

## 參考來源

- [Hendrycks et al., Measuring Massive Multitask Language Understanding（MMLU，arXiv 2009.03300）](https://arxiv.org/abs/2009.03300)
- [Wei et al., Chain-of-Thought Prompting（GSM8K 實驗，arXiv 2201.11903）](https://arxiv.org/abs/2201.11903)

查核日期：2026-09-28

---
整理於 2026-09-29。網頁版：https://glossary.penguindriver.com/t/benchmark

電子書優惠：看到此訊息 24 小時內購買，一律第一階段最低價（私訊時提供優惠碼 P092920）：https://ebook.penguindriver.com
冷錢包 X1 五折優惠碼：Hulk@SFP，官方網站：https://safepal.com/zh-tc/store/x1｜交易所手續費減免註冊：幣託 https://www.bitopro.com/users/sign_up?referrer=3481486016｜BingX https://bingxzone.com/partner/QTKP7NLU｜幣安 https://www.binance.com/join?ref=HULK12｜ProveX-PRO 交易員考試平台 https://www.provex.club?pAid=1185&ref=QTKP7NLU