什么是Prefix Tuning？
Prefix Tuning（前缀调优）是一种参数高效微调（Parameter-Efficient Fine-tuning, PEFT）技术，专为大型语言模型设计。它通过在输入序列前添加一个可学习的连续向量（称为「前缀」），仅优化这个前缀参数 […]
标签： 参数高效微调
什么是PEFT（Parameter-Efficient Fine-tuning）？
参数高效微调（PEFT，Parameter-Efficient Fine-tuning）是一种针对大型预训练语言模型（如GPT或BERT）的微调技术，它通过仅训练少量额外参数或冻结大部分原始模型权重来实现高效适应，从而显著降低计算资源消耗和 […]
什么是LoRA（Low-Rank Adaptation）？
LoRA（Low-Rank Adaptation，低秩适配）是一种参数高效的微调技术，专为适配大型预训练语言模型（如GPT或LLaMA）而设计。它通过将模型的权重更新分解为两个低秩矩阵的乘积，显著减少训练参数的数量（通常降至原模型的1%以下 […]