- トークンは，ID が１から順につけられている。
ID が ｎ のトークンを T( n ) で現す。
トークンの数，即ち ID の最後を，NT (number of tokens) で表す。
- ID が n のトークンには，ID が ｎ のベクトル が対応づけられている。
──以下，トークンベクトルと呼ぶ。
ID が ｎ のトークンベクトルを TV( n ) で現す。
- トークンベクトルは，固定次元であり，これを D と表す。
いまの Transformer は，D が１万を超える。
トークンベクトルは，D次元数空間の点に見なせる──トークン点と呼ぶ。
|