训练 · 深度词条
LoRA（Low-Rank Adaptation，低秩适配）
冻结原模型大部分参数，只训练少量低秩附加矩阵，用更少显存完成任务适配。
四层解释
通俗
冻结原模型大部分参数，只训练少量低秩附加矩阵，用更少显存完成任务适配。
专业
LoRA 假设权重更新具有较低内在秩，把增量矩阵分解为两个小矩阵并注入目标层。
机制
原权重 W 保持冻结，训练 ΔW=BA；秩 r 远小于原维度，因此可训练参数显著减少。
工程
应记录基座版本、目标层、秩、缩放、数据和合并方式；多个 Adapter 组合后仍需做完整回归。
全链路位置
INPUT基础模型与领域训练样本
→PROCESS训练低秩权重增量
→OUTPUT轻量可切换或合并的适配参数
常见用途
- 领域微调
- 个性化风格
- 低资源实验
专业边界
- 节省训练资源不代表推理一定更快
- 小参数更新仍可能造成能力回归
常见误解
- LoRA 会把整个模型压缩变小
- 任何任务都只需很低的秩
关联概念
来源与核对记录
S1LoRA: Low-Rank Adaptation of Large Language ModelsHu et al. · 原始论文 · 查阅 2026-09-07
↗S2On the Opportunities and Risks of Foundation ModelsStanford CRFM · 研究报告 · 查阅 2026-09-07
↗编辑核对：2026-09-07。本状态表示内容与来源已登记，不代表经过外部专家审稿。