全量微调和 LoRA 微调怎么选?

成本、效果、灾难性遗忘三个角度的选型判断

原题：用自有数据微调大模型时,全量微调和 LoRA 微调应该怎么选?请从成本、效果、灾难性遗忘三个角度谈谈你的判断。

模型微调

30 秒回答

1. 全量微调更新模型全部参数,效果上限高但成本极高;LoRA 只训练少量新增的低秩矩阵,成本低、易部署
2. 显存是第一道门槛:全量微调 7B 模型往往需要多卡 A100,LoRA 单卡 24G 显存即可起步
3. 灾难性遗忘:全量微调容易「学了新的忘了旧的」,LoRA 因为冻结原模型权重,遗忘风险天然更小
4. 大多数业务场景(风格调整、领域问答)LoRA 足够;只有数据量大、任务与预训练差异极大时才考虑全量

回答与解析

答案要点

• 全量微调更新模型全部参数,效果上限高但成本极高;LoRA 只训练少量新增的低秩矩阵,成本低、易部署

• 显存是第一道门槛:全量微调 7B 模型往往需要多卡 A100,LoRA 单卡 24G 显存即可起步

• 灾难性遗忘:全量微调容易「学了新的忘了旧的」,LoRA 因为冻结原模型权重,遗忘风险天然更小

• 大多数业务场景(风格调整、领域问答)LoRA 足够;只有数据量大、任务与预训练差异极大时才考虑全量

• 给出「默认 LoRA,必要才全量」的决策框架,比背参数更加分

核心概念

全量微调(Full Fine-tuning)是指用新数据更新模型的全部参数;LoRA(Low-Rank Adaptation,低秩适配)则冻结原模型权重,只在部分权重矩阵旁边插入两个很小的低秩矩阵进行训练,训练参数量通常不到原模型的 1%。打个比方:全量微调像把整本教材重写一遍,LoRA 像在教材上贴便利贴——原文不动,只补充重点。

三个角度对比

维度	全量微调	LoRA
成本	要存全部参数的梯度和优化器状态,7B 模型动辄多卡 A100	只训练不到 1% 的参数,消费级显卡可跑
效果	上限更高,适合大数据量、任务差异大的场景	中小数据量下与全量接近,多数场景够用
灾难性遗忘	风险高,原有通用能力可能被新任务覆盖	原权重冻结,通用能力保留更好,适配器可随时摘掉还原

决策建议

1. 数据几千到几万条、任务偏风格或领域适配 → 首选 LoRA

2. 数据百万级、任务与预训练分布差异极大(如全新语言)→ 才考虑全量微调

3. 一个基座模型要服务多个业务 → LoRA 适配器可按需插拔,全量做不到

入门之后,可以继续深入 QLoRA(量化 + LoRA 进一步省显存),以及 LoRA 的秩 r、alpha 等超参数怎么设置。

口语版讲法(约2分钟)

• 一句话定位：选全量还是LoRA本质是成本和效果的取舍
• 边界划分：LoRA适合大多数场景，全量只在数据量极大且任务差异大时必要
• 真实业务场景：客服退款政策适配，LoRA够用；跨语言任务才考虑全量
• 落地风险与判断：显存和灾难性遗忘是主要考量，默认LoRA，必要才全量

这道题其实是在问，当你有一批自有数据，想微调一个大模型时，怎么在成本和效果之间做取舍。我一般会从三个维度来想：成本、效果和灾难性遗忘。先说结论：默认用LoRA，只有数据量特别大、任务跟预训练差异特别大的时候，才考虑全量微调。

具体说一下。全量微调是把模型所有参数都更新一遍，效果上限确实高，但成本也高得吓人。一个7B的模型，全量微调需要多卡A100，显存得存下全部参数的梯度和优化器状态，一般团队根本扛不住。而LoRA是在原模型权重旁边插入两个很小的低秩矩阵，只训练不到1%的参数，单卡24G显存就能跑。你可以这么理解：全量微调像把整本教材重写一遍，LoRA像在教材上贴便利贴，原文不动，只补充重点。

效果方面，大多数业务场景LoRA已经够了。举个例子，做客服退款政策适配，数据量几千条，任务就是把模型的语气和知识库对齐到公司内部政策上，LoRA微调出来的效果跟全量几乎没区别。但如果是把模型从中文变成阿拉伯语，或者从通用领域变成医疗诊断这种专业领域，数据量百万级，任务跟预训练分布差异极大，那全量微调的上限优势才能体现出来。

再一个，灾难性遗忘的风险。全量微调容易学了新的忘了旧的，比如你让模型学会了客服话术，它可能把原有的常识问答能力丢了。LoRA因为冻结了原模型权重，遗忘风险天然小很多，而且适配器可以随时摘掉，恢复成原模型。如果你一个基座模型要服务多个业务，LoRA可以按需插拔，全量微调做不到。

这里有个坑：LoRA也不是没缺点。它的秩r和alpha这些超参数需要调，不然效果可能不如预期。而且如果数据量特别大，LoRA的参数量可能不够表达新任务，这时候就得考虑全量。

所以我的判断是：把LoRA当成默认选项，全量微调作为备选。上线前我会先跑一个小规模的LoRA实验，看看效果能不能满足指标；如果不行，再评估是否需要全量。这个顺序能帮团队省下大量算力和时间。

如果你想继续深挖，可以聊聊LoRA的秩r怎么选，以及QLoRA这种量化加LoRA的组合怎么进一步省钱。

关键一句:LoRA的秩r和alpha超参数设置经验，以及QLoRA如何进一步降低显存需求

面试官还可能这样问

1. 问法 1 · 场景切入假设你们组要基于开源 7B 模型做一个法律领域问答助手,手里有 2 万条标注数据和一张 A100,你会选全量微调还是 LoRA?为什么?
2. 问法 2 · 追问边界你说 LoRA 大多数场景够用,那有没有 LoRA 明显不行、必须上全量微调的情况?你判断的依据是什么?