什么是BFloat16？
BFloat16（Brain Floating Point 16-bit）是一种由Google开发的16位浮点数格式，专为深度学习优化设计。它保留了32位浮点数（FP32）的动态范围，同时将位宽减半，从而在训练和推理过程中减少内存占用和计算 […]
标签： AI训练
什么是混合并行（Hybrid Parallelism）？
混合并行（Hybrid Parallelism）是指在深度学习模型训练中，通过结合多种并行策略如数据并行（Data Parallelism）、模型并行（Model Parallelism）和流水线并行（Pipeline Parallelis […]
什么是优化器（Optimizer）？
优化器（Optimizer）在机器学习中，是指用于在模型训练过程中迭代调整参数以最小化损失函数的算法。它基于梯度信息更新模型的权重和偏差，逐步减少预测误差，从而优化模型的性能。常见的优化器包括随机梯度下降（SGD）、Adam、RMSprop […]