位置编码深度解析:正弦、可学习、RoPE 与 ALiBi

自注意力机制天然具备置换等变性,无法区分语序,因此位置编码是 Transformer 处理序列的基石。本文深入剖析正弦、可学习、RoPE 与 ALiBi 四种主流方案,从绝对与相对位置的数学本质出发,推导 RoPE 的旋转几何原理及 ALiBi 的线性偏置机制。同时,结合位置插值与 YaRN 等上下文扩展技术,解析长序列推理中的外推挑战与“中间丢失”现象,帮助读者在公式推导与工程实践中精准选型。

本文属于《AI 深度培训》系列 · 难度:专家 · 篇幅:约 7000 字

自注意力机制天然具备置换等变性,无法区分语序,因此位置编码是 Transformer 处理序列的基石。本文深入剖析正弦、可学习、RoPE 与 ALiBi 四种主流方案,从绝对与相对位置的数学本质出发,推导 RoPE 的旋转几何原理及 ALiBi 的线性偏置机制。同时,结合位置插值与 YaRN 等上下文扩展技术,解析长序列推理中的外推挑战与“中间丢失”现象,帮助读者在公式推导与工程实践中精准选型。

1. 导读:置换等变与位置信息的必要性

在深入探讨具体编码方案之前,我们需要先厘清一个核心矛盾:标准自注意力机制本身并不具备对序列顺序的感知能力。这一特性源于其数学结构的对称性。若我们将输入序列 X 中的 token 进行任意置换,只要不改变 token 本身的向量表示,自注意力计算的结果仅会随输入向量的置换而相应置换,而不会改变 token 之间的相对交互逻辑。这种性质被称为置换等变(Permutation Equivariance)。 这意味着,如果不引入额外的位置信息,模型无法区分“我 爱 你”与“你 爱 我”,因为在注意力矩阵中,它们产生的计算结果在结构上是完全同构的。对于自然语言处理而言,语序是语义的核心载体,因此位置编码(Positional Encoding, PE)并非可选的“装饰”,而是 Transformer 架构能够处理序列数据的基石(Vaswani et al., 2017)。 理解位置编码的关键,在于区分两种不同的位置概念:

  • 绝对位置(Absolute Position):指 token 在序列中的索引(如第 1 个、第 50 个)。正弦编码和可学习嵌入主要关注于此。
  • 相对位置(Relative Position):指两个 token 之间的距离(如相隔 3 个词)。RoPE 和 ALiBi 的设计初衷则是为了更优雅地捕捉这种相对关系,因为语言中的语法和语义往往更依赖于词与词之间的距离,而非它们在文档中的绝对坐标。

为什么这一区分对大模型工程师至关重要?因为在长上下文推理中,模型往往需要泛化到训练时未见的长度。绝对位置编码在超出训练长度时往往失效,而基于相对位置的编码方案(如 RoPE)通常具有更好的外推特性。然而,即使是相对位置编码,在极长序列中也面临着“中间丢失”(Lost in the Middle)等挑战(Liu et al., 2023)。 本文将沿着从基础到进阶的路径展开:

  1. 经典基线:回顾正弦位置编码与可学习嵌入的数学形式及其局限性。
  2. 旋转几何:解析 RoPE 如何通过复数旋转将相对位置信息注入注意力分数,并推导其多尺度频率的物理含义(Su et al., 2021)。
  3. 线性偏置:探讨 ALiBi 如何通过简单的线性惩罚项实现长度外推,及其背后的几何直觉(Press et al., 2021)。
  4. 上下文扩展:分析位置插值(PI)与 YaRN 等技术在长文本场景下的工程实践与权衡(Chen et al., 2023; Peng et al., 2023)。

通过本文,读者将不仅掌握各类位置编码的公式推导,更能理解其在 Transformer 架构中的几何本质,从而在面对长上下文需求或模型微调时,做出更精准的技术选型。

2. 正弦位置编码与可学习位置嵌入

在 Transformer 架构中,自注意力机制本身对输入序列具有置换等变性(Permutation Equivariance)。这意味着如果不显式注入位置信息,模型无法区分“猫追狗”和“狗追猫”,因为注意力分数仅依赖于词向量本身,而与它们在序列中的顺序无关。因此,位置编码(Positional Encoding, PE)的核心任务是打破这种对称性,赋予模型感知相对或绝对位置的能力。

正弦位置编码:解析式注入绝对位置

Vaswani et al. (2017) 提出的原始 Transformer 采用了一种基于正弦和余弦函数的解析式位置编码。其核心思想是利用不同频率的正弦波叠加,生成一个在数学上具有唯一性的向量来表示每个位置。对于位置 pos 和维度索引 i,编码值定义为:

PE(pos, 2i) = sin(pos / 10000^2i/d)
PE(pos, 2i+1) = cos(pos / 10000^2i/d)

其中 d 是模型隐藏层维度。这种设计有两个关键性质:

  1. 唯一性与有界性:正弦和余弦函数的值域始终在 [-1, 1] 之间,避免了数值爆炸。同时,不同维度的频率呈几何级数衰减(10000^2i/d),从高频(快速振荡,捕捉局部细节)到低频(缓慢变化,捕捉全局结构)覆盖了一个宽广的频谱范围。
  2. 相对位置的线性表示:虽然这是绝对位置编码,但数学上可以证明,任意常数距离 k 的相对位置关系可以通过线性变换从绝对位置编码中推导出来。即 PE_pos+k 可以表示为 PE_pos 的线性函数。这使得模型能够通过学习线性变换来感知相对距离,尽管这种能力不如直接编码相对位置(如 RoPE 或 ALiBi)那样直接和高效。

可学习位置嵌入:数据驱动但受限

另一种常见策略是使用可学习的位置嵌入(Learned Positional Embeddings)。在这种方法中,每个位置 pos 对应一个可训练的向量 E_pos ∈ ℝ^d,直接加到输入词嵌入上。

# 伪代码:可学习位置嵌入的初始化与使用
import torch.nn as nn
class LearnedPosEmb(nn.Module):
    def __init__(self, max_len, d_model):
        super().__init__()
        # 初始化一个 [max_len, d_model] 的张量
        self.embedding = nn.Embedding(max_len, d_model)
    def forward(self, x):
        # x: [batch, seq_len, d_model]
        seq_len = x.size(1)
        # 生成位置索引 [0, 1, ..., seq_len-1]
        positions = torch.arange(seq_len).to(x.device)
        # 获取对应的位置向量 [seq_len, d_model]
        pos_vecs = self.embedding(positions)
        # 广播相加
        return x + pos_vecs.unsqueeze(0)

长度上限问题: 可学习位置嵌入存在一个显著的工程缺陷:长度硬上限。由于嵌入层的大小在初始化时固定为 max_len,模型只能处理长度不超过 max_len 的序列。如果推理时输入序列长度超过训练时的最大长度,模型将无法获取超出部分的位置信息,导致性能急剧下降甚至报错。 此外,可学习嵌入完全依赖数据驱动,缺乏正弦编码那种基于三角函数性质的归纳偏置(Inductive Bias)。在数据量有限或分布外(Out-of-Distribution)场景中,正弦编码往往表现出更好的外推能力,因为它隐含了位置之间的周期性结构,而可学习嵌入则可能过拟合到训练集的具体位置模式上。

工程含义与常见误区

  1. 正弦编码的“懒惰”优势:在早期 Transformer 研究中,正弦编码因其无需训练、计算开销极小且易于实现而成为默认选择。然而,随着模型规模扩大,研究发现其相对位置表达能力较弱,导致在长距离依赖任务上表现不如后续的相对位置编码方案(如 RoPE)。
  2. 可学习嵌入的“灵活性”陷阱:虽然可学习嵌入能更灵活地拟合数据中的位置模式,但其长度限制使其不适合需要动态上下文长度的应用场景(如 RAG 或长文档处理)。此外,嵌入矩阵的参数数量与序列长度成正比,在超长上下文场景下会增加内存占用。
  3. 混合策略:在实际工程中,许多现代模型(如 LLaMA)放弃了绝对位置编码,转而采用旋转位置编码(RoPE)等相对位置方案,以更好地平衡长度外推能力和相对位置感知。但在某些特定任务(如图像 Transformer)中,可学习位置嵌入仍因其灵活性而被保留。

提示:正弦编码和可学习嵌入都是绝对位置编码。它们通过给每个位置一个独特的“标签”来区分顺序,但并未直接建模位置之间的关系。相比之下,RoPE 和 ALiBi 通过直接操作注意力分数或旋转向量,更自然地建模了相对位置,这是理解后续章节的关键。

3. RoPE:用旋转实现相对位置

RoPE(Rotary Position Embedding)的核心思想是将位置信息编码为对查询(q)和键(k)向量的旋转操作。与直接相加正弦值不同,RoPE 利用复数平面的旋转性质,使得注意力得分天然地只依赖于相对距离。 首先回顾二维旋转矩阵。对于角度 θ,旋转矩阵 R(θ) 定义为:

R(θ) = [[cos θ, -sin θ],
[sin θ, cos θ]]

在复数域中,这对应于乘以 e^iθ。对于 d 维向量,RoPE 将其视为 d/2 个二维子空间,每个子空间对应一个特定的频率 θ_i。频率定义为 θ_i = 10000^-2i/d(i = 0, dots, d/2-1)(Su et al., 2021)。这种几何级数分布意味着低维分量对应高频(短波长),高维分量对应低频(长波长)。如下图所示,这种多尺度结构让模型既能捕捉相邻 token 的细微差异,又能感知远距离的宏观结构。 相对位置的证明 RoPE 的关键性质是:对位置 m 的查询 q_m 和位置 n 的键 k_n 分别应用旋转后,它们的内积仅依赖于相对位置 m-n。 设 q, k ∈ ℝ^d。RoPE 操作可表示为 R_m q 和 R_n k,其中 R_m 是对角块矩阵,每个块为 R(θ_i m)。 由于旋转矩阵是正交矩阵(Rᵀ R = I),且 R_a R_b = R_a+b,我们有:

⟨R_m q, R_n k⟩ = (R_m q)ᵀ (R_n k) = qᵀ R_mᵀ R_n k = qᵀ R_n-m k

注意 R_mᵀ = R_-m,因此 R_mᵀ R_n = R_n-m。 展开 R_n-m 的作用,对于第 i 个二维子空间:

q_iᵀ R(θ_i(n-m)) k_i = q_2i k_2i cos(θ_i(n-m)) + q_2i+1 k_2i+1 cos(θ_i(n-m)) - q_2i k_2i+1 sin(θ_i(n-m)) + q_2i+1 k_2i sin(θ_i(n-m))

显然,结果中不包含 m 或 n 的绝对值,只包含差值 n-m。这证明了 RoPE 成功将绝对位置编码转化为相对位置依赖。 高效实现 在实际工程中,避免显式构造旋转矩阵或复数乘法,而是利用三角恒等式直接操作实数向量。对于向量 x = [x_1, x_2, dots, x_d],RoPE 后的向量 x' 计算如下:

import numpy as np
def apply_rope(x, pos, base=10000.0):
    """
    x: [d] 向量
    pos: 整数位置
    base: 频率基数
    """
    d = len(x)
    # 计算频率 θ_i
    # i = 0, ..., d/2 - 1
    i = np.arange(d // 2)
    theta = base ** (-2.0 * i / d)
    # 计算角度
    angles = pos * theta  # [d/2]
    # 将 x 分为奇偶索引部分
    x_even = x[0::2]  # [d/2]
    x_odd  = x[1::2]  # [d/2]
    # 应用旋转公式:
    # x'_even = x_even * cos(θ) - x_odd * sin(θ)
    # x'_odd  = x_even * sin(θ) + x_odd * cos(θ)
    cos_t = np.cos(angles)
    sin_t = np.sin(angles)
    x_new_even = x_even * cos_t - x_odd * sin_t
    x_new_odd  = x_even * sin_t + x_odd * cos_t
    # 交错合并回原形状
    x_new = np.empty(d)
    x_new[0::2] = x_new_even
    x_new[1::2] = x_new_odd
    return x_new

这种方法避免了复数运算的开销,且易于在 GPU 上向量化执行。在多头注意力中,每个头独立应用此变换,且 q 和 k 使用各自的位置索引。这种设计不仅保留了相对位置信息,还通过频率的多尺度特性,为后续长上下文扩展(如 NTK 缩放)提供了天然的频率调节接口。

RoPE 各维度对的波长(head_dim = 128)
图 1:RoPE 各维度对的波长(head_dim = 128)

θ_i = base^(−2i/d)。低编号维度旋转快、刻画局部顺序;高编号维度旋转慢、覆盖长距离。增大 base 会整体拉长波长(曲线按公式计算)。

4. ALiBi:线性偏置与外推

线性偏置的几何直觉与形式化定义

ALiBi(Attention with Linear Biases)的核心思想极为简洁:它完全摒弃了显式的位置向量(如正弦或可学习嵌入),转而直接在注意力得分矩阵上施加一个与词元距离成正比的负偏置。这种设计源于对注意力机制本质的洞察——模型需要感知“远近”,而非绝对的“坐标”。 在标准的自注意力计算中,得分 S_ij = q_i · k_j 衡量的是查询向量 q_i 与键向量 k_j 的相似度。ALiBi 在此基础上引入了位置惩罚项。对于第 h 个注意力头,修正后的得分 S'_ij 定义为:

S'_ij = q_i · k_j - m_h · |i - j|

其中 i 和 j 分别是查询和键的位置索引,m_h 是该头特定的斜率系数。这里的 |i - j| 直接量化了两个词元之间的相对距离。距离越远,负偏置越大,从而在 softmax 归一化后,远处的键获得的注意力权重被指数级抑制。这种机制天然地实现了“局部优先”的归纳偏置,且由于仅依赖相对距离 |i - j|,它具备平移不变性,这与 RoPE 的相对位置特性在数学结构上具有异曲同工之妙,但实现路径完全不同。

多尺度斜率的几何序列设计

如果所有注意力头使用相同的斜率 m,模型将陷入单一的时间尺度感知,无法同时兼顾局部语法细节与长程语义依赖。ALiBi 的精髓在于为不同的头分配不同的斜率,形成一组几何序列。 具体而言,设有 H 个注意力头,斜率 m_h 按照以下公式生成(Press et al., 2021):

m_h = 2^-(h-1) · (H)/(8), h = 1, dots, H

这一设计使得斜率从较大的值(对应强局部性,快速衰减)平滑过渡到较小的值(对应弱局部性,缓慢衰减)。例如,在 H=8 的典型配置中,第一个头的斜率为 1,最后一个头的斜率为 2^-7 ≈ 0.0078。 这种多尺度分布赋予了模型丰富的时间分辨率:

  • 大斜率头:注意力分布集中,主要用于捕捉邻近词元的语法结构或短语边界。
  • 小斜率头:注意力分布平坦,能够跨越较长的上下文范围,捕捉主题一致性或长距离指代关系。

这种“频率分解”式的策略,类似于信号处理中的多尺度滤波器组,使模型能够并行处理不同时间尺度的信息流,而无需依赖 RoPE 中复杂的旋转矩阵运算或正弦编码中的频率叠加。

训练短、推理长的外推能力

ALiBi 最显著的优势在于其卓越的长度外推(Length Extrapolation)能力。传统的位置编码(如正弦 PE 或可学习嵌入)在训练时见过的位置索引范围有限,当推理时输入长度超过训练长度时,模型往往会遇到未见过的数值,导致性能急剧下降。 ALiBi 规避了这一陷阱,因为其偏置项 -m_h · |i - j| 是线性的。无论输入序列有多长,位置差 |i - j| 始终是一个线性增长的数值。模型在训练过程中学习的是“如何根据距离衰减注意力”这一通用规则,而非记忆特定位置索引的向量表示。因此,当推理时的序列长度远超训练长度时,模型只需将学习到的线性衰减规则外推即可。 实验表明(Press et al., 2021),使用 ALiBi 训练的模型在推理时能够处理比训练长度长数倍的序列,且困惑度(Perplexity)保持平稳,而使用正弦位置编码的模型则会出现明显的性能崩塌。这种特性使得 ALiBi 成为构建长上下文模型的一种低成本、高鲁棒性的选择,尤其适用于那些无法进行大规模长文本预训练的场景。

工程实现与注意事项

在工程实现上,ALiBi 的计算开销极低。它不需要额外的参数存储(无需位置嵌入表),也不需要复杂的矩阵乘法(如 RoPE 的旋转)。其核心操作是在注意力得分矩阵 S 上减去一个预计算的距离矩阵 D,其中 D_ij = m_h · |i - j|。

import torch
def alibi_bias(seq_len, slopes):
    # 生成距离矩阵 D, 形状 (seq_len, seq_len)
    positions = torch.arange(seq_len)
    distance = torch.abs(positions.unsqueeze(0) - positions.unsqueeze(1))
    # slopes 形状 (num_heads,), 广播到 (num_heads, seq_len, seq_len)
    # 注意:实际实现中通常将 slope 与 distance 相乘
    bias = distance.unsqueeze(0) * slopes.view(-1, 1, 1)
    return -bias # 返回负偏置
# 在 attention 计算中
# scores = q @ k.T / sqrt(d_k)
# scores = scores + alibi_bias(seq_len, head_slopes)
# attn_weights = softmax(scores)

需要注意的是,ALiBi 的线性偏置是双向的(|i-j|),这意味着它天然支持双向注意力(如 BERT 类模型)。对于因果语言模型,通常结合因果掩码(Causal Mask)使用,即只保留 i ≥ j 的部分,此时偏置变为 -m_h · (i - j)。这种非对称性确保了模型在生成时只能关注历史词元,且距离越近的过去词元权重越高。 尽管 ALiBi 在外推能力上表现优异,但其线性衰减假设在某些极端长文本场景中可能过于刚性。相比 RoPE 的对数频率特性,ALiBi 缺乏对超远距离信息的精细调节能力。因此,在实际应用中,ALiBi 常作为基线方法,或与 RoPE 结合使用,以平衡局部敏感性与长程依赖捕捉。

5. 上下文扩展:位置插值、NTK 缩放与 YaRN

当预训练长度远小于推理需求时,直接外推往往导致性能崩溃。核心矛盾在于:模型在训练时只见过特定的频率分布,超出该范围后,高频分量会进入“未见过”的相位区间,引发注意力分数震荡。解决思路主要围绕频率重映射展开。 位置插值(Positional Interpolation, PI) 是最直观的线性缩放方案。假设预训练最大长度为 L_train,目标长度为 L_target,PI 将位置索引 m 线性映射回训练范围:

m' = m × (L_train / L_target)

随后使用 m' 计算正弦编码或 RoPE 旋转角度(Chen et al., 2023)。这等价于将所有频率分量统一“压缩”,使长序列看起来像短序列。虽然实现简单,但 PI 对所有频段施加相同的缩放因子,导致高频分量被过度压缩,低频分量则可能未充分利用,造成信息分辨率损失。 NTK 缩放 提供了更精细的频率感知视角。RoPE 的频率 θ_i = 10000^-2i/d 呈现多尺度特性:低索引 i 对应低频(长周期),高索引 i 对应高频(短周期)。NTK 缩放的核心思想是:低频分量对位置变化不敏感,可保留原频率;高频分量对位置变化敏感,需适当降低频率以扩展有效范围。具体做法是动态调整 base 值(如从 10000 增大到 500000),使得低频几乎不变,高频被适度压低。这种“按频段插值”的直觉比 PI 更符合信号处理原理,能在不引入额外参数的前提下提升外推能力。 YaRN 进一步细化了这一策略,提出分段线性插值。它识别出一个“无衰减区间”(低频)和“衰减区间”(高频),对前者保持原频率,对后者进行线性缩放。YaRN 还引入注意力温度缩放,补偿因频率改变导致的注意力分布熵变化,从而在长上下文任务中取得更稳定的性能(Peng et al., 2023)。 然而,即使位置编码支持长序列,模型仍可能面临“中间丢失”(Lost in the Middle) 现象。研究表明,LLM 在检索长文档中位于中间部分的信息时准确率显著低于首尾部分(Liu et al., 2023)。这并非单纯的位置编码问题,而是注意力机制在长序列中倾向于关注开头和结尾的固有偏差。位置编码优化可缓解位置混淆,但无法完全消除这种注意力偏置,需结合训练策略(如位置感知损失)或推理时重排序来改善。 如下图所示,四类位置方案在频率处理策略上存在显著差异:正弦/可学习编码依赖绝对位置,RoPE 通过旋转实现相对位置,ALiBi 以线性偏置替代嵌入,而 PI/NTK/YaRN 则是对 RoPE 频率的自适应重映射。选择何种扩展策略,取决于目标长度与预训练长度的比值、计算预算以及对高频信息保留的需求。

四类位置方案对比
图 2:四类位置方案对比

依据 Vaswani et al. 2017;Su et al. 2021;Press et al. 2021;Chen et al. 2023。

6. 小结与思考题

回顾全文,位置编码的核心在于打破自注意力的置换等变性,同时平衡相对位置感知与长程外推能力。正弦编码(Vaswani et al., 2017)通过多尺度频率提供绝对位置信息,但外推性较弱;可学习嵌入虽灵活,却受限于训练时的最大长度,无法直接泛化到更长的序列。 RoPE(Su et al., 2021)是当前的主流方案,其核心公式为 θ_i = 10000^-2i/d。它通过旋转矩阵将位置信息注入查询和键向量,使得注意力得分 langle R_m q, R_n k rangle 仅依赖相对距离 m-n。这种设计不仅保留了相对位置特性,还具备天然的外推潜力,且实现高效。 ALiBi(Press et al., 2021)则采取了截然不同的路径:它完全摒弃了位置嵌入,转而在注意力得分上直接添加与距离成正比的负偏置 -m · |i-j|。各注意力头使用不同的斜率,形成几何序列。这种线性偏置机制在“短训练、长推理”场景下表现出优异的外推能力,且计算开销极低。 当模型需要处理超过预训练长度的上下文时,简单的直接推理往往失效。位置插值(Chen et al., 2023)通过线性缩放位置下标至预训练范围内,配合少量微调即可有效扩展上下文窗口。然而,长上下文模型常面临“中间丢失”现象(Liu et al., 2023),即模型对开头和结尾的信息记忆较好,而对中间部分的注意力显著下降。YaRN(Peng et al., 2023)通过按频段调整缩放策略,进一步改善了长上下文下的性能与稳定性。 思考题:

  1. RoPE 的频率选择与外推性:RoPE 的频率 θ_i 呈几何级数分布,从高频到低频。如果我们将所有频率统一缩放一个常数倍(即改变 base),会对模型的外推能力产生什么影响?请结合“多尺度”直觉解释为什么不能简单地线性缩放所有频率。 > 提示:考虑高频分量对局部细节的敏感度与低频分量对全局结构的捕捉能力之间的权衡。
  2. ALiBi 与 RoPE 的注意力分布差异:ALiBi 通过线性偏置抑制远距离注意力,而 RoPE 通过旋转保持相对位置不变性。假设在长序列检索任务中,目标信息位于序列中部,哪种编码方式可能更容易导致“中间丢失”?为什么? > 提示:分析两种编码方式对远距离 token 注意力权重的衰减特性,以及它们对中间区域信息的相对权重影响。
  3. 位置插值的局限性:位置插值(PI)通过线性缩放位置下标来扩展上下文,但为何在极长序列(如 100k+)中效果不佳?与 YaRN 的频段感知缩放相比,PI 在处理不同频率分量时存在什么根本缺陷? > 提示:思考不同频率的 RoPE 分量在缩放后对注意力得分的影响差异,以及为什么统一缩放会破坏原有的频率结构。

参考文献

  1. Vaswani et al., 2017. Attention Is All You Need. arXiv:1706.03762 arxiv.org/abs/1706.03762
  2. Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864 arxiv.org/abs/2104.09864
  3. Press, Smith, Lewis, 2021. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409 arxiv.org/abs/2108.12409
  4. Chen et al., 2023. Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595 arxiv.org/abs/2306.15595
  5. Peng et al., 2023. YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071 arxiv.org/abs/2309.00071
  6. Liu et al., 2023. Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172 arxiv.org/abs/2307.03172
  7. Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971 arxiv.org/abs/2302.13971

Paragoger衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/archives/10344

赞 (0)
Transformer 与自注意力:从缩放点积到多头机制的完整推导
上一篇 10小时前
Scaling Law 全解:从 Kaplan 幂律到 Chinchilla 计算最优
下一篇 5小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn