Up トークン点の分布は「意味分布」ではない 作成: 2025-06-19
更新: 2025-06-19

    トークンベクトル集合体 TV は，通説のことばでは「埋め込みベクトル」である。
    そして通説は, これの成長に対し，「意味分布の形成」のようなことばを使う傾向がある。

    しかし，トークン点の分布は，構造化できるようには見えない。
    「話の糸」をつくることが先ずあって，これはトークン点の位置の調整を含む。
    トークン点の分布は，この位置調整の結果である。

    通説は，トークン点の分布について，意味的あるいは文法的に近いトークンが集まる，みたいなことを言う。
    さらに，これを可視化した図を示したりする。
    しかし，「話の糸」をつくる上で，意味的/文法的に近いトークン点が集まることは，少しも必要でない。