Lora
Lora
LoRA (Low-Rank Adaptation) 是一种参数高效微调方法，主要目标是通过低秩矩阵分解高效地微调预训练语言模型。
核心思想：
冻结预训练模型的原始权重 WWW，通过引入低秩矩阵 AAA 和 BBB 来表示权重更新： $W′=W+ΔW,ΔW=\frac{\alpha}{r} AB$ 其中：
$A \in \mathbb{R}^{d \times r}$
$B \in \mathbb{R}^{r \times d}$
r 是低秩分解的秩，通常 $r \ll d$，以减少参数量。
$\alpha$为LoRA 的缩放因子。
特点：
高效微调：只需学习两个小矩阵 A 和 B 的参数，而不需要调整整个预训练模型权重。
参数量小：相比全参数微调，LoRA 显著减少了需要调整的参数量，适合低资源场景。
通用性强：可以应用于各种预训练模型（如 Transformer）。
[Read More]
