首页 / LoRA（低秩适配）
🪡 LoRA（低秩适配） 是什么？
微调的「省钱版」，动一点点就够
⚡ 一句话秒懂
微调的「省钱版」，动一点点就够
📖 举个故事
一家小公司想微调一个AI模型，但全参数微调需要8张A100显卡训练好几天，租一次要花几万块。工程师发现了LoRA：不用动整个模型，只在关键地方加一些小补丁。就像给一件西装不重做，只改一下扣子和袖口。结果效果和全量微调差不多，但只要一张显卡、几个小时、几百块钱。小公司也能做AI微调了。
💡 类比理解
暂未补充。
🧩 真实例子
暂未补充。
🛠️ 怎么实际使用
LoRA是目前最流行的微调方法。用LoRA微调一个客服模型：①准备几百条问答对→②用`pip install peft`安装→③加载基座模型→④用LoRA配置包装（设置rank=8或16）→⑤训练→⑥保存的LoRA权重只有几十MB。推理时合并到基座模型或动态加载。模型微调后上传到Hugging Face可以分享给团队。
📚 进阶原理
LoRA（Low-Rank Adaptation）基于低秩分解原理：预训练权重矩阵ΔW的更新量可分解为两个低秩矩阵A×B的乘积（r远小于d）。训练时只更新A和B，冻结原始权重。推理时可合并回原始权重，零额外延迟。常用秩r=8/16/32，r越大适配能力越强但参数更多。QLoRA进一步将基座模型4bit量化，降低显存需求。