标签： 掩码注意力

掩码注意力（Masked Attention）是一种在自注意力机制中应用的技术，通过在注意力计算中引入一个掩码矩阵来屏蔽序列中的特定位置，从而限制模型只能关注序列中当前或过去的信息，而不能访问未来的位置。这种设计在训练序列模型（如语言模型） […]