Up

｢Transforme がわかる｣ の形 ── ChatGPT に支援されて学習書づくり ──

作成: 2025-05-16 更新: 2025-06-21

---

導入 　　 本論考について 「野生の思考」 ChatGPT から支援を得るための作法 結論から：Transformer とは何か 　Transformer は＜話の糸＞をつくる 「話の糸」立論の理由 出力 [ p_1, ‥‥, p_m ] ｢話の糸｣ の幾何学 トークン点の分布は「意味分布」ではない 　　学習前 　　 インストール 「埋め込み (embedding)」 トークン ID (固定) トークベクトル (ランダム初期設定) 位置エンコーディング (固定) 重み行列 W_Q, W_K, W_V (ランダム初期設定) 重み行列 W_Ｏ (ランダム初期設定) 学習テクスト 学習データセット 入力テクストの長さ制限 　　テクストの記憶 入力層──学習テクストの入力 テクストの糸 レイヤー構造 Self-Attention Self-Attention がしていること 通説の「Query･Key･Value」解釈 Multi-Head Attention FFN (FeedForward Network) Residue & LayerNorm [ p_1, ‥‥, p_m ] の導出 ｢テクストの糸」 脳の調節 (成長) 処理の流れ 誤差 (得失) 誤差逆伝播 大数・複雑・冗長 知識の蓄積 　 「応答」の学習 エンコーダ・デコーダ構造 教師あり ｢教師あり」の意味 例 : ｢翻訳｣ の学習 例 : ｢応答｣ の学習 質問応答パターンの記憶 学習のゴール [ p_1, ‥‥, p_m ] 新種の学習は既成の脳を損なわないか？ 　　学習の終了 学習の終了 (切り上げ) ポテンシャルとしての Transformer ｢生成的｣ とは