Up エンコーダ・デコーダ構造 作成: 2025-06-13
更新: 2025-06-13

    Transformer 脳は，記憶脳として完成する：
    　1. 知識の記憶
    　2. 応答パターンの記憶

    この記憶脳の成長は，
    　1. 知識の記憶の場合は，言語の獲得
    　2. 応答パターンの記憶の場合は，応答の概念の獲得
    が，それぞれ前半になる。

    言語を獲得するにつれ，知識の吸収がめざましく進むようになる。
    応答の概念を獲得するにつれ，応答パターンの吸収がめざましく進むようになる。


    応答の概念の学習は，「エンコーダ・デコーダ」構造で実現する。
    この学習は，教師あり学習である。

    質問テクストを，「エンコーダ」に入力する。
    これはトークンベクトルの列に表現され，そして Self-Attention の例のアルゴリズムを通過して，Transformer のテクストになる。

    質問テクストに対する応答テクスト (正答) を，「デコーダ」に入力する。
    これも同じく，Transformer のテクストに変換される。

    あとは，この２つのテクストを突き合わせるアルゴリズムにかける。
    これが，「応答」の概念の注入になる。
    また，「応答」の概念が獲得されるにつれ，以上のプロセスは，応答パターンを覚えさせるものになる。