Az AI-modellek nem betűket vagy szavakat dolgoznak fel, hanem tokeneket. Ebben mérik a díjat és a kontextus méretét is.
A token az AI-nyelvi modellek (LLM-ek) szövegfeldolgozásának alapegysége. A modell a bemenetet először tokenekre bontja: ez lehet egy rövid szó, egy szórészlet, egy írásjel vagy egy szóköz. Angol szövegnél egy token átlagosan nagyjából négy karakter, magyar szövegnél a ragozás miatt egy szó gyakran több tokenre esik szét.
Mire jó, hol találkozol vele
Tokenben mérik szinte mindent, ami egy AI-szolgáltatás használatánál számít:
- Díj: az API-alapú szolgáltatások külön árazzák a bemeneti és a kimeneti tokeneket, ezért egy hosszú dokumentum vagy egy sokszor ismételt utasítás gyorsan összeadódik.
- Kontextusablak: a modell egyszerre csak meghatározott számú tokent lát. Ami ezen kívül esik, azt a modell nem veszi figyelembe.
- Sebesség: a válasz generálása tokenről tokenre történik, a hosszabb kimenet tovább tart.
Ugyanez a szó a webfejlesztésben más jelentésben is előfordul: a hozzáférési token (access token) egy azonosító karaktersor, amellyel egy alkalmazás jelszó nélkül igazolja a jogosultságát, például az OAuth-folyamat végén. A kettőnek a nevén kívül nincs köze egymáshoz.
Ahol a tutorial.hu-n szerepel: