Token

Tokens sind die kleinsten Einheiten, die von Sprachmodellen zur Analyse und Erzeugung von Text genutzt werden. Sie bilden die grundlegenden Bausteine für das Verstehen und Generieren menschlicher Sprache. Ein Token kann ein ganzes Wort, ein Satzzeichen oder auch nur ein Teil eines Wortes darstellen. (vgl. AIHandwerk 2025)