什么是Prefix Tuning？
Prefix Tuning（前缀调优）是一种参数高效微调（Parameter-Efficient Fine-tuning, PEFT）技术，专为大型语言模型设计。它通过在输入序列前添加一个可学习的连续向量（称为「前缀」），仅优化这个前缀参数 […]
分类： AI产品术语
什么是Adapter？
Adapter（适配器）是一种在人工智能领域广泛使用的高效模型微调技术，通过在预训练模型（如大型语言模型）中插入小型可训练模块，实现在特定任务上的快速适应，同时保持原模型参数不变，从而显著降低计算资源需求和训练时间，提升模型的可扩展性和泛化 […]
什么是PEFT（Parameter-Efficient Fine-tuning）？
参数高效微调（PEFT，Parameter-Efficient Fine-tuning）是一种针对大型预训练语言模型（如GPT或BERT）的微调技术，它通过仅训练少量额外参数或冻结大部分原始模型权重来实现高效适应，从而显著降低计算资源消耗和 […]
什么是QLoRA？
QLoRA（Quantized Low-Rank Adaptation）是一种高效微调大型语言模型的技术，它通过量化（将模型权重压缩到低精度如4位）和低秩适应（仅更新少量参数）的结合，大幅降低训练所需的内存占用和计算资源，同时保持模型性能接 […]
什么是LoRA（Low-Rank Adaptation）？
LoRA（Low-Rank Adaptation，低秩适配）是一种参数高效的微调技术，专为适配大型预训练语言模型（如GPT或LLaMA）而设计。它通过将模型的权重更新分解为两个低秩矩阵的乘积，显著减少训练参数的数量（通常降至原模型的1%以下 […]
什么是知识蒸馏（Knowledge Distillation）？
知识蒸馏（Knowledge Distillation）是一种机器学习技术，通过让小型的学生模型（Student Model）模仿大型的教师模型（Teacher Model）的预测输出，实现知识的有效传递和模型压缩。教师模型通常在特定任务上 […]
什么是剪枝（Pruning）？
剪枝（Pruning）是一种在机器学习中用于优化神经网络模型的技术，通过识别并移除模型中冗余或不重要的权重、神经元或层来减小模型规模，从而降低计算复杂度、减少存储需求并提升推理效率，同时尽可能保持原有的预测准确性和性能。这种技术使模型更轻量 […]
什么是量化（Quantization）？
量化（Quantization）在人工智能领域，特指一种模型优化技术，通过降低神经网络权重和激活值的数值精度（如从32位浮点数降至8位整数），来压缩模型大小、提升推理速度并减少计算资源消耗。这一过程在保持模型性能的前提下，使其更易于部署于资 […]
什么是模型压缩？
模型压缩（Model Compression）是一种人工智能技术，旨在通过减小深度学习模型的参数量、计算复杂度和存储需求，在保持预测性能的前提下，使其更轻量化和高效。该技术利用知识蒸馏（Knowledge Distinction）、网络剪枝 […]
什么是数据蒸馏（Data Distillation）？
数据蒸馏（Data Distillation）是一种机器学习技术，旨在从大规模原始数据集中提取核心信息，生成一个更小、更紧凑的数据子集，该子集保留了原始数据的分布特征和关键模式，从而在减少存储和计算资源需求的同时，维持模型训练和推理的效能。 […]