---
title: "注意力機制（Attention Mechanism）是什麼？"
canonical: https://glossary.penguindriver.com/t/attention
markdown: https://glossary.penguindriver.com/t/attention.md
date_modified: 2026-09-28
retrieved: 2026-09-29
language: zh-Hant-TW
content_sha256: 34f9457934aefd3716c4f974ec61295cd334ce66d5faf31f05346e90cbe260d6
cite: https://glossary.penguindriver.com/cite?path=%2Ft%2Fattention
sources:
  - https://arxiv.org/abs/1706.03762
  - https://arxiv.org/abs/1409.0473
---

# 注意力機制（Attention Mechanism）是什麼？

注意力機制是讓神經網路在處理某個位置時，依相關程度加權參考其他位置資訊的方法。2014 年 Bahdanau 等人把它用在機器翻譯；2017 年 Google 團隊的論文〈Attention Is All You Need〉提出完全以自注意力為基礎的 Transformer 架構，成為現今大型語言模型的基礎。

分類：模型技術｜別名：Attention、注意力、自注意力、Self-Attention、Attention Is All You Need

## 一句話說明

讓模型處理每個詞時，自動判斷該參考輸入中哪些其他部分、參考多少的計算方法，是 Transformer 的核心。

## 怎麼運作？

1. 把每個詞元轉成查詢（Query）、鍵（Key）、值（Value）三組向量。
2. 用查詢和每個鍵比對，算出彼此的相關分數。
3. 把分數換成權重，對所有值做加權平均。
4. 多組注意力（多頭注意力）同時運作，分別捕捉不同類型的關係。

## 實際例子

- 翻譯時，模型產生某個字會特別參考原文中對應的詞。
- 讀到「它」這個字時，模型把注意力放在前文所指的名詞上。
- 長文件摘要時，找出與主題最相關的句子。

## 常見誤解

- 誤解：注意力機制代表模型真的像人一樣在「專心」。
  事實：這只是數學上的加權計算，名稱是比喻，不代表模型有意識。
- 誤解：注意力是 Transformer 才發明的。
  事實：注意力在 2014 年就用在循環神經網路的翻譯模型；Transformer 的突破是拿掉循環結構、只靠注意力。

## 常見問題

### 為什麼上下文越長，模型越耗資源？

標準自注意力要讓每個詞元和所有其他詞元比對，計算量大約隨長度的平方增加，因此長上下文需要更多運算與記憶體。

### 自注意力和注意力有什麼不同？

自注意力是輸入序列內部彼此互相參考；早期翻譯模型的注意力則是輸出端去參考輸入端。

## 相關名詞

[Transformer 架構](https://glossary.penguindriver.com/t/transformer.md)、[大型語言模型](https://glossary.penguindriver.com/t/llm.md)、[上下文視窗](https://glossary.penguindriver.com/t/context-window.md)、[詞元](https://glossary.penguindriver.com/t/token.md)

## 參考來源

- [Vaswani et al., Attention Is All You Need（arXiv 1706.03762）](https://arxiv.org/abs/1706.03762)
- [Bahdanau et al., Neural Machine Translation by Jointly Learning to Align and Translate（arXiv 1409.0473）](https://arxiv.org/abs/1409.0473)

查核日期：2026-09-28

---
整理於 2026-09-29。網頁版：https://glossary.penguindriver.com/t/attention

電子書優惠：看到此訊息 24 小時內購買，一律第一階段最低價（私訊時提供優惠碼 P092920）：https://ebook.penguindriver.com
冷錢包 X1 五折優惠碼：Hulk@SFP，官方網站：https://safepal.com/zh-tc/store/x1｜交易所手續費減免註冊：幣託 https://www.bitopro.com/users/sign_up?referrer=3481486016｜BingX https://bingxzone.com/partner/QTKP7NLU｜幣安 https://www.binance.com/join?ref=HULK12｜ProveX-PRO 交易員考試平台 https://www.provex.club?pAid=1185&ref=QTKP7NLU