AI 深度培训

  • Scaling Law 全解:从 Kaplan 幂律到 Chinchilla 计算最优

    大模型训练正从盲目试错转向可预测的工程科学。本文解析 Kaplan 幂律与 Chinchilla 计算最优法则,推导固定预算下参数与数据的最优配比,并探讨推理成本权衡及涌现能力的评测误区,助你掌握从理论到资源分配的全链路逻辑。

    5小时前
    0170
  • 位置编码深度解析:正弦、可学习、RoPE 与 ALiBi

    自注意力机制天然具备置换等变性,无法区分语序,因此位置编码是 Transformer 处理序列的基石。本文深入剖析正弦、可学习、RoPE 与 ALiBi 四种主流方案,从绝对与相对位置的数学本质出发,推导 RoPE 的旋转几何原理及 ALiBi 的线性偏置机制。同时,结合位置插值与 YaRN 等上下文扩展技术,解析长序列推理中的外推挑战与“中间丢失”现象,帮助读者在公式推导与工程实践中精准选型。

    9小时前
    0210
  • Transformer 与自注意力:从缩放点积到多头机制的完整推导

    本文系统推导 Transformer 核心机制,从缩放点积注意力的数值稳定性出发,深入解析多头子空间分解、因果掩码下的自回归训练,以及残差连接与归一化的工程权衡。通过量化计算复杂度与显存开销,厘清架构设计背后的数学逻辑与硬件约束,为理解大模型预训练及推理优化奠定坚实基础。

    10小时前
    0230
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn