AI产品术语2025年6月26日2025年6月28日 什么是BPE（Byte Pair Encoding）？ 字节对编码（BPE，Byte Pair Encoding）是一种基于统计的子词切分算法，它通过迭代合并训练文本中出现频率最高的字节对来构建词汇表，从而将稀有词或未知词分解为更小的可处理单元，有效提升自然语言处理模型的泛化能力和效率。 在AI […]
