Up 位置エンコーディング (事前計算) 作成: 2025-05-16
更新: 2025-05-26

    記号法
    ・入力テクストS のトークン数を
    　　　　LEN(S)
    　で表す。

    整数 i, j に対し，pos_ij をつぎのように定義する：
    　　　j が偶数のとき：pos_ij = sin( i / 10000^(j/D) )
    　　　j が奇数のとき：pos_ij = cos( i / 10000^((j-1)/D) )

    L × D 行列の ( pos_ij ) を
    　　POS(Ｌ)
    と表す。

    「POS(L)」は，つぎのように読める：
      「NT×D 行列 POS の 1からｎ行まで」

    pos_ij は定数なので，POS は事前計算される。


    入力層では，入力テクスト S の I 番目のトークンに対応するトークンベクトルに，pos_i が加算される。
    <これには，「トークンベクトルに文脈の順序情報を注入」の意味が見込まれている。