微調（Fine-tuning）是什麼？
微調是在預訓練好的模型上，用特定任務的範例資料繼續訓練、調整模型參數的方法。2021 年 Edward Hu 等人提出的 LoRA 技術，只訓練少量新增參數，論文指出可讓可訓練參數比完整微調 GPT-3 少約一萬倍，大幅降低成本。
模型技術Fine-tuningFine-tune模型微調精調LoRASFT
一句話說明
拿已訓練好的模型，再用特定領域或任務的資料額外訓練，讓它更擅長某件事。
微調怎麼運作？
- 準備大量「輸入＋理想輸出」的範例資料。
- 選一個已預訓練的基礎模型。
- 用範例資料繼續訓練，調整全部或部分參數（例如 LoRA）。
- 用測試資料比較微調前後表現，確認真的有進步。
實際例子
- 用客服對話紀錄微調，讓模型回覆符合公司語氣。
- 用標註好的資料微調，讓模型更準確分類客訴類型。
- OpenAI 的 InstructGPT 用人工示範與回饋微調，讓模型更會遵循指令。
常見誤解
誤解：微調是讓模型學會最新知識的最好方法。
事實：頻繁更新的知識通常用 RAG 更合適；微調較適合調整格式、語氣或特定任務的表現。
事實：頻繁更新的知識通常用 RAG 更合適；微調較適合調整格式、語氣或特定任務的表現。
誤解：微調一定要從頭訓練整個模型。
事實：微調是在現成模型上繼續訓練，而且像 LoRA 這類方法只需訓練很小一部分參數。
事實：微調是在現成模型上繼續訓練，而且像 LoRA 這類方法只需訓練很小一部分參數。
常見問題
什麼情況下適合對模型做微調？
當提示工程已經試過仍不穩定、需要大量重複產出固定格式或風格、或特定分類任務要更準時，可以考慮微調。建議先準備好評估方式，確認微調後真的比原模型好。
LoRA 是什麼？和一般微調差在哪？
LoRA（低秩適應）是 2021 年提出的微調方法，把原模型參數凍結，只在各層加入少量可訓練的小矩陣，能大幅減少訓練所需的參數與記憶體，而且推論時不增加延遲。
延伸閱讀
相關名詞
大型語言模型、檢索增強生成、提示工程、Transformer 架構
參考來源
- Hu et al., LoRA: Low-Rank Adaptation of Large Language Models（arXiv 2106.09685）
- Ouyang et al., Training language models to follow instructions with human feedback（arXiv 2203.02155）
查核日期：2026-09-26。API：/api/term?id=fine-tuning