训练 · 深度词条
LoRA(Low-Rank Adaptation,低秩适配)
冻结原模型大部分参数,只训练少量低秩附加矩阵,用更少显存完成任务适配。
四层解释
通俗
冻结原模型大部分参数,只训练少量低秩附加矩阵,用更少显存完成任务适配。
专业
LoRA 假设权重更新具有较低内在秩,把增量矩阵分解为两个小矩阵并注入目标层。
机制
原权重 W 保持冻结,训练 ΔW=BA;秩 r 远小于原维度,因此可训练参数显著减少。
工程
应记录基座版本、目标层、秩、缩放、数据和合并方式;多个 Adapter 组合后仍需做完整回归。
全链路位置
INPUT基础模型与领域训练样本
→PROCESS训练低秩权重增量
→OUTPUT轻量可切换或合并的适配参数
常见用途
- 领域微调
- 个性化风格
- 低资源实验
专业边界
- 节省训练资源不代表推理一定更快
- 小参数更新仍可能造成能力回归
常见误解
- LoRA 会把整个模型压缩变小
- 任何任务都只需很低的秩
改小矩阵,而不是重新训练全部参数
LoRA 在冻结基础权重的条件下训练低秩增量。可把权重更新写成 ΔW = BA:两个较小矩阵的乘积近似一个较大更新矩阵。它减少需要训练的参数,但不意味着数据准备、训练计算和质量评测都可以省略。
什么时候优先考虑它
工程判断
本站的选择建议是:需要持续改变输出风格或任务行为时,比较 LoRA 与提示词基线;需要频繁更新且可追溯的事实时,先检查 RAG 是否更合适。训练后必须在未参与训练的数据上验证,并核对基础模型、适配器与部署配置是否匹配。
Worked Example
让分类模型适应工单术语
虚构教学示例,不对应真实业务数据或性能承诺。
- 准备数据
整理代表性工单与标签,分开训练集和留出测试集,检查重复泄漏。
- 比较基线
先测原模型加提示词,再测适配器,比较类别混淆而非只看总体分数。
- 上线前核验
固定基础模型版本与适配器,对新类别和缺失信息保留回退路径。
参数高效不等于任务一定有效,价值必须由独立评测证明。
来源与核对记录
S1LoRA: Low-Rank Adaptation of Large Language ModelsHu et al. · 原始论文 · 查阅 2026-10-22
↗S2On the Opportunities and Risks of Foundation ModelsStanford CRFM · 研究报告 · 查阅 2026-09-07
↗S3Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 原始论文 · 查阅 2026-10-22
↗基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。