Up Transformer 脳の空間的イメージ 作成: 2023-06-29
更新: 2025-06-29

    ChatGPT は，学習済みの Transformer を搭載し，これを脳とする。
    脳の実体は，
    　1. トークンベクトル集合体 TV (token vectors)
    　2. 各種重み W (weight)
    「学習済み」の意味は，「脳の固定化」である。
    即ち，TV, W の値固定である。


    一般に，物事の捉えには，2つの方向がある。
    実体と形象 (イデア) である。
    Transformer 脳の捉えも，この２方向がある。
    そして「形象 (イデア)」の方は
    　「TV, W を，高次元数空間の事象に表現する」
    になる。

    トークンは，固定次元 D のベクトルに表現される。
    このベクトルを，ここでは「トークンベクトル」と呼ぶ。
    D は現在は１万を超える。


    トークンベクトルは，D次元数空間の点に表現される。
    この点を，ここでは「トークン点」と呼ぶ

    この表象は，メリットがある。
    トークンベクトルに＜意味＞を見ようとする通説を，即座に却けるからである。
    実際，位置の違いは，個の違いである。
    トークンベクトルの値は，個別を立てるものであって，＜意味＞を見るものではない。
    個の違いを表現することばは「個性」であるが，個性に＜意味＞は無い。
    個性に意味を与えるのは, 「組織」である。
    トークンに意味を与えるのは，言語と呼んでいる組織である。

      Cf. Saussure :「言語は差異のシステム

    TV の D次元数空間表象であるトークン点は，W の D次元数空間表象と合わさることで，意味をもつようになる。
    その「W の D次元数空間表象」とはどういうものか？


    Transformer 脳にとって，テクスト
    　　　空 - の - 青 - と - 海 - の - 青
    　　　青 - の - 空 - と - 青 - の - 海
    は，どちらもあり，である。
    この２つのテクストは，同じトークンで構成されている：
    　　"空" × 1，"海" × 1，"青" × 2，"の" × 2，"と" × 1
    したがって，Transformer 脳のテクストは，D次元数空間の中のトークン点の位置で決まっているのではない。

    そこで，「テクストの糸」が必要になる。
    これが，W の D次元数空間表象ということになる。


    この糸は，トークン点を順番に通るだけでは，十分でない。
    異なるテクストの糸が同じトークン点を通るとき，それらの糸はそのトークン点で混線してはならない。
    １つの糸も，同じトークン点を複数回通るのが普通であり，そのトークン点で混線してはならない。

    そこで，「混線しないしくみ」が必要になる。
    混線させない方法は，
    　「糸のトークン通過は，通過角度をユニークにする」
    である。
    トークン点 x での糸の通過は無数でも，Dの「高次元」がここで効いてくる。


    以上が，Transformer 脳の空間的イメージである。
    脳に対する「ノードとエッジのネットワーク」「質点と引力の重力場」のイメージは，まったく不十分である。
    脳は，「ジャングル」の絵図がふさわしい。