Up 「テクストの糸」 作成: 2025-06-26
更新: 2025-06-26

    学習が済んた Transformer 脳は，固定される。
    即ち，TV, W の値が固定される。

    この脳にとって，テクスト
    　　　空 - の - 青 - と - 海 - の - 青
    　　　青 - の - 空 - と - 青 - の - 海
    は，どちらもあり，である。
    この２つのテクストは，同じトークンで構成されている：
    　　　"空"，"海"，"青"，"の"，"と"
    したがって，Transformer 脳のテクストは，D次元数空間の中のトークン点の位置で決まっているのではない。

    そこで，「テクストの糸」が必要になる。


    この糸は，トークン点を順番に通るだけでは，十分でない。
    異なるテクストの糸が同じトークン点を通るとき，それらの糸はそのトークン点で混線してはならない。
    １つの糸も，同じトークン点を複数回通るのが普通であり，そのトークン点で混線してはならない。

    そこで，「混線しないしくみ」が必要になる。
    混線させない方法は，「糸のトークン通過は，通過角度をユニークにする」である。
    トークン点 x での糸の通過は無数でも，Dの「高次元」がここで効いてくる。


    「テクストの糸」は，仮構「トークン点──D次元数空間の点」に乗った仮構である。
    実体は，W (｢重み｣) である。

    Transformer は，「自己参照・再帰」の方法で TV と W を調節して脳を実現した。
    この調節の幾何学表現が，「テクストの糸にトークン点を乗せる」である。


    Self-Attention および FFN は，テクストの糸があたかも見えているかのように，トークン点の移動 (Residual) を計算する。
    しかし，その移動は「暗闇の中の進向」である。

    やろうとしていることは，「見えないテクストの糸にトークン点を乗せる」である。
    この無理難題を，Transformer は試行錯誤でやってのける。
    ただし，試行錯誤がうまくいったのは，仮構「見えない糸にトークン点を乗せる」でアルゴリズムをつくったからである。

    これは，数学の形式主義を説くヒルベルトの「椅子，テーブル，ビアジョッキ」を連想させる。
    TV, W は，さながら「椅子，テーブル，ビアジョッキ」なのである。