LoRA 低秩適應（Low-Rank Adaptation (LoRA)）是什麼？
LoRA（低秩適應）是一種參數高效的微調方法，凍結預訓練模型的權重，只在 Transformer 各層加入可訓練的小型低秩矩陣。微軟研究者 2021 年的論文指出，以 GPT-3 1,750 億參數為例，LoRA 可把需要訓練的參數減少 1 萬倍、GPU 記憶體需求降為三分之一，效果與完整微調相當或更好。
模型技術LoRALow-Rank Adaptation低秩適應參數高效微調PEFT
一句話說明
凍結原本模型、只額外訓練一小組參數的微調方法，用很少的運算與記憶體就能讓模型學會新任務或風格。
LoRA 低秩適應怎麼運作？
- 保留原本模型的權重不變（凍結）。
- 在指定的層旁邊加入兩個很小的矩陣，只訓練這些新參數。
- 推論時把小矩陣的效果加回原本的權重。
- 同一個基礎模型可以換上不同的 LoRA，快速切換任務或風格。
實際例子
- 用自家客服紀錄訓練一個 LoRA，讓開放權重模型用公司口吻回答。
- AI 繪圖社群分享特定畫風的 LoRA 檔。
- 在一張消費級顯示卡上微調中小型語言模型。
常見誤解
誤解：LoRA 會產生一個全新的完整模型。
事實：LoRA 只是一組附加參數，檔案通常很小，必須搭配原本的基礎模型使用。
事實：LoRA 只是一組附加參數，檔案通常很小，必須搭配原本的基礎模型使用。
誤解：用 LoRA 就能讓模型學會任何新知識。
事實：LoRA 適合調整風格、格式或特定任務；要讓模型掌握大量、常更新的知識，通常仍以 RAG 為主。
事實：LoRA 適合調整風格、格式或特定任務；要讓模型掌握大量、常更新的知識，通常仍以 RAG 為主。
常見問題
LoRA 和完整微調差在哪？
完整微調會更新所有參數，需要大量 GPU 記憶體；LoRA 只訓練很少的新增參數，成本低很多，也方便保存多個版本。
LoRA 只能用在語言模型嗎？
不是。原論文以語言模型為例，但同樣方法廣泛用在圖片生成等其他 Transformer 或擴散模型上。
相關名詞
參考來源
查核日期：2026-09-28。API：/api/term?id=lora