---
title: "LoRA 低秩適應（Low-Rank Adaptation (LoRA)）是什麼？"
canonical: https://glossary.penguindriver.com/t/lora
markdown: https://glossary.penguindriver.com/t/lora.md
date_modified: 2026-09-28
retrieved: 2026-09-29
language: zh-Hant-TW
content_sha256: cc0c601da6a7032066d0208f7a6505884a686d739b1b6a8720be162539fa5429
cite: https://glossary.penguindriver.com/cite?path=%2Ft%2Flora
sources:
  - https://arxiv.org/abs/2106.09685
---

# LoRA 低秩適應（Low-Rank Adaptation (LoRA)）是什麼？

LoRA（低秩適應）是一種參數高效的微調方法，凍結預訓練模型的權重，只在 Transformer 各層加入可訓練的小型低秩矩陣。微軟研究者 2021 年的論文指出，以 GPT-3 1,750 億參數為例，LoRA 可把需要訓練的參數減少 1 萬倍、GPU 記憶體需求降為三分之一，效果與完整微調相當或更好。

分類：模型技術｜別名：LoRA、Low-Rank Adaptation、低秩適應、參數高效微調、PEFT

## 一句話說明

凍結原本模型、只額外訓練一小組參數的微調方法，用很少的運算與記憶體就能讓模型學會新任務或風格。

## 怎麼運作？

1. 保留原本模型的權重不變（凍結）。
2. 在指定的層旁邊加入兩個很小的矩陣，只訓練這些新參數。
3. 推論時把小矩陣的效果加回原本的權重。
4. 同一個基礎模型可以換上不同的 LoRA，快速切換任務或風格。

## 實際例子

- 用自家客服紀錄訓練一個 LoRA，讓開放權重模型用公司口吻回答。
- AI 繪圖社群分享特定畫風的 LoRA 檔。
- 在一張消費級顯示卡上微調中小型語言模型。

## 常見誤解

- 誤解：LoRA 會產生一個全新的完整模型。
  事實：LoRA 只是一組附加參數，檔案通常很小，必須搭配原本的基礎模型使用。
- 誤解：用 LoRA 就能讓模型學會任何新知識。
  事實：LoRA 適合調整風格、格式或特定任務；要讓模型掌握大量、常更新的知識，通常仍以 RAG 為主。

## 常見問題

### LoRA 和完整微調差在哪？

完整微調會更新所有參數，需要大量 GPU 記憶體；LoRA 只訓練很少的新增參數，成本低很多，也方便保存多個版本。

### LoRA 只能用在語言模型嗎？

不是。原論文以語言模型為例，但同樣方法廣泛用在圖片生成等其他 Transformer 或擴散模型上。

## 相關名詞

[微調](https://glossary.penguindriver.com/t/fine-tuning.md)、[開放權重模型](https://glossary.penguindriver.com/t/open-weight-model.md)、[模型量化](https://glossary.penguindriver.com/t/quantization.md)、[擴散模型](https://glossary.penguindriver.com/t/diffusion-model.md)

## 參考來源

- [Hu et al., LoRA: Low-Rank Adaptation of Large Language Models（arXiv 2106.09685）](https://arxiv.org/abs/2106.09685)

查核日期：2026-09-28

---
整理於 2026-09-29。網頁版：https://glossary.penguindriver.com/t/lora

電子書優惠：看到此訊息 24 小時內購買，一律第一階段最低價（私訊時提供優惠碼 P092920）：https://ebook.penguindriver.com
冷錢包 X1 五折優惠碼：Hulk@SFP，官方網站：https://safepal.com/zh-tc/store/x1｜交易所手續費減免註冊：幣託 https://www.bitopro.com/users/sign_up?referrer=3481486016｜BingX https://bingxzone.com/partner/QTKP7NLU｜幣安 https://www.binance.com/join?ref=HULK12｜ProveX-PRO 交易員考試平台 https://www.provex.club?pAid=1185&ref=QTKP7NLU