标签： 分词算法

WordPiece是一种在自然语言处理（NLP）中广泛使用的分词算法，它基于字节对编码（BPE）原理，通过迭代合并高频出现的字符对来构建子词单元（subword units），从而将文本分解为更细粒度的部分，有效处理稀有词和未登录词（OOV […]