Up ｢話の糸｣ の幾何学 作成: 2025-06-19
更新: 2025-06-19

    １本の糸は，同じトークン点を複数回通るのが普通である。
    ──例えば，助詞 "は" のトークン点。
    したがって糸は，堂々巡りしたり他の糸と重なったりしない仕組みになっている。
    どんな仕組み？

    「同じトークン点の糸の通過は，その角度によって区別される」ということになる。
    そこで「糸」には「なめらか」を考えることになる。
    トークン点が乗っている糸は，「スプライン曲線」がイメージになる。

    トークン点ｘを通る糸は無数にありそうなのに，「ｘを通る向きを互いに異なるようにする」なんてことができるのか？
    ここが，「大きい次元」の妙なのである。

    トークン点は，１万を超える次元の数空間の点あり，その数は高々10万。
    十分に疎に配置することで，通過する糸の向きを違えることができる。
    実際，Transformer はこれを実現しているわけである。