标签： 低秩适应

QLoRA（Quantized Low-Rank Adaptation）是一种高效的大型语言模型微调技术，它结合了权重量化和低秩适应方法，通过在量化后的低精度模型参数上应用低秩矩阵分解，显著减少了训练过程中的内存占用和计算资源需求，同时保持 […]

QLoRA（Quantized Low-Rank Adaptation）是一种高效微调大型语言模型的技术，它通过量化（将模型权重压缩到低精度如4位）和低秩适应（仅更新少量参数）的结合，大幅降低训练所需的内存占用和计算资源，同时保持模型性能接 […]