トークン

生成AIが文章を処理するときの最小単位。単語をさらに細かく区切ったまとまりで、生成AIはこのトークン単位で「次に来るもの」を予測する。

関連する記事：生成AIとは何か

関連用語：生成AI