GQA
-
Transformer 与自注意力:从缩放点积到多头机制的完整推导
本文系统推导 Transformer 核心机制,从缩放点积注意力的数值稳定性出发,深入解析多头子空间分解、因果掩码下的自回归训练,以及残差连接与归一化的工程权衡。通过量化计算复杂度与显存开销,厘清架构设计背后的数学逻辑与硬件约束,为理解大模型预训练及推理优化奠定坚实基础。
本文系统推导 Transformer 核心机制,从缩放点积注意力的数值稳定性出发,深入解析多头子空间分解、因果掩码下的自回归训练,以及残差连接与归一化的工程权衡。通过量化计算复杂度与显存开销,厘清架构设计背后的数学逻辑与硬件约束,为理解大模型预训练及推理优化奠定坚实基础。