训练 · 深度词条

LoRA(Low-Rank Adaptation,低秩适配)

冻结原模型大部分参数,只训练少量低秩附加矩阵,用更少显存完成任务适配。

专题词条基础释义核对 2026-10-20专题核对 2026-10-203 条来源
本页目录 12 节

四层解释

通俗

冻结原模型大部分参数,只训练少量低秩附加矩阵,用更少显存完成任务适配。

专业

LoRA 假设权重更新具有较低内在秩,把增量矩阵分解为两个小矩阵并注入目标层。

机制

原权重 W 保持冻结,训练 ΔW=BA;秩 r 远小于原维度,因此可训练参数显著减少。

工程

应记录基座版本、目标层、秩、缩放、数据和合并方式;多个 Adapter 组合后仍需做完整回归。

全链路位置

INPUT基础模型与领域训练样本
→
PROCESS训练低秩权重增量
→
OUTPUT轻量可切换或合并的适配参数

常见用途

  • 领域微调
  • 个性化风格
  • 低资源实验

专业边界

  • 节省训练资源不代表推理一定更快
  • 小参数更新仍可能造成能力回归

常见误解

  • LoRA 会把整个模型压缩变小
  • 任何任务都只需很低的秩

改小矩阵,而不是重新训练全部参数

LoRA 在冻结基础权重的条件下训练低秩增量。可把权重更新写成 ΔW = BA:两个较小矩阵的乘积近似一个较大更新矩阵。它减少需要训练的参数,但不意味着数据准备、训练计算和质量评测都可以省略。

依据LoRA: Low-Rank Adaptation of Large Language Models

什么时候优先考虑它

工程判断

本站的选择建议是:需要持续改变输出风格或任务行为时,比较 LoRA 与提示词基线;需要频繁更新且可追溯的事实时,先检查 RAG 是否更合适。训练后必须在未参与训练的数据上验证,并核对基础模型、适配器与部署配置是否匹配。

依据LoRA: Low-Rank Adaptation of Large Language ModelsRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Worked Example

让分类模型适应工单术语

虚构教学示例,不对应真实业务数据或性能承诺。

  1. 准备数据

    整理代表性工单与标签,分开训练集和留出测试集,检查重复泄漏。

  2. 比较基线

    先测原模型加提示词,再测适配器,比较类别混淆而非只看总体分数。

  3. 上线前核验

    固定基础模型版本与适配器,对新类别和缺失信息保留回退路径。

参数高效不等于任务一定有效,价值必须由独立评测证明。

来源与核对记录

S1
LoRA: Low-Rank Adaptation of Large Language ModelsHu et al. · 原始论文 · 查阅 2026-10-22
S2
On the Opportunities and Risks of Foundation ModelsStanford CRFM · 研究报告 · 查阅 2026-09-07
S3
Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 原始论文 · 查阅 2026-10-22

基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。