Educazione e AI 10 min di lettura

Cos'è un token nei modelli linguistici (e perché conta per chi studia)

L'unità minima di testo con cui l'AI legge e scrive: spiegata ai genitori, senza gergo, con esempi da usare a tavola.

Se tuo figlio usa ChatGPT o un tutor AI per studiare, prima o poi ti imbatterai nella parola "token". Compare nei prezzi degli abbonamenti, nelle conversazioni dei più grandi, nei limiti delle app. Capire cos'è un token non è un dettaglio tecnico per addetti ai lavori: è la chiave per spiegare a tuo figlio perché un'intelligenza artificiale a volte sbaglia a contare le lettere di una parola, perché in italiano "consuma" più risorse che in inglese, e perché certi strumenti dimenticano l'inizio di una lunga conversazione. Un token, nei modelli linguistici, è semplicemente l'unità minima di testo con cui l'AI lavora: un pezzo di parola, una parola intera o un segno di punteggiatura. Come spiega la documentazione tecnica di Microsoft, quando si usa un modello linguistico il testo viene prima suddiviso in queste unità da un componente chiamato tokenizer. In questo articolo ti spiego il concetto in modo concreto, senza gergo, con esempi che puoi usare a tavola per aiutare tuo figlio a capire che l'AI non "legge" come noi — e perché questo cambia il modo giusto di usarla per studiare.

Cos'è un token: l'unità minima di testo

Un token è la più piccola unità di testo che un modello linguistico elabora: può essere una parola intera, un frammento di parola (subword) o un singolo segno di punteggiatura. Non corrisponde quasi mai esattamente a una parola come la intendiamo noi. La frase inglese "I heard a dog bark loudly at a cat", riportata come esempio dalla documentazione Microsoft, viene divisa in nove token, uno per parola. Ma le parole rare o complesse vengono spezzate: secondo l'esempio ufficiale di OpenAI, la parola "tokenization" diventa due token separati, " token" e "ization".

Il motivo è di efficienza. L'insieme di tutti i token che un modello conosce si chiama vocabolario, e tenerlo di dimensioni gestibili (alcune decine di migliaia di voci) richiede un compromesso: le parole frequenti restano intere, quelle rare vengono ricomposte da pezzi più piccoli già noti. È così che un modello riesce a gestire parole mai viste, errori di battitura e nomi propri senza dover memorizzare ogni singola variante esistente.

Come funziona la tokenizzazione passo per passo

La tokenizzazione è il processo che trasforma il testo in una sequenza di numeri che il modello può calcolare. Avviene in tre fasi: prima il tokenizer divide il testo in token, poi assegna a ciascun token univoco un identificativo numerico (un ID), infine sostituisce ogni token con il suo ID. La frase "I heard a dog bark loudly at a cat", spiega Microsoft, può diventare la sequenza numerica [1, 2, 3, 4, 5, 6, 7, 3, 8] — dove il numero 3 ("a") compare due volte perché è la stessa parola.

Il metodo più diffuso nei modelli moderni come quelli di OpenAI si chiama Byte-Pair Encoding (BPE): parte dai singoli caratteri e unisce ripetutamente le coppie più frequenti finché non costruisce un vocabolario di subword utili. Per tuo figlio, la metafora migliore è quella dei mattoncini delle costruzioni: l'AI non scrive con le parole, scrive incastrando pezzi prefabbricati. "Gatto" potrebbe essere un mattoncino unico, "tokenizzazione" un insieme di tre o quattro mattoncini più piccoli. Il modello non vede le lettere dentro al mattoncino: vede il mattoncino.

Perché l'AI sbaglia a contare le lettere

Quanti "r" ci sono in "strawberry"? È diventata una domanda celebre perché molti modelli sbagliano la risposta. La causa, spiegata bene da questa analisi tecnica sui limiti della tokenizzazione, è proprio il token: il modello non vede la parola lettera per lettera, ma come pochi blocchi — per esempio "st", "raw", "berry". Sa che quei blocchi insieme formano "strawberry" e cosa significa, ma non "guarda" dentro ai blocchi per contare i singoli caratteri.

Per un genitore italiano questo è prezioso da spiegare. Se tuo figlio chiede a un'AI quante "a" ci sono in "banana" o di mettere in ordine alfabetico le lettere di una parola, e l'AI sbaglia, non è perché è "stupida": è perché lavora su token, non su lettere. È lo stesso motivo per cui può inciampare in giochi di parole, anagrammi o conteggi precisi di caratteri. Trasformare questo errore in una lezione — "vedi, l'AI ragiona a blocchi, non come te" — aiuta tuo figlio a sviluppare quel pensiero critico verso lo strumento che è il vero obiettivo educativo. È lo stesso spirito con cui conviene capire perché uno strumento che dà solo risposte non insegna un metodo: conoscere il limite per non fidarsi alla cieca.

L'italiano costa di più (in token)

Una verità poco nota: lo stesso testo costa più token in italiano che in inglese, e questo ha conseguenze concrete. Lo studio di Aleksandar Petrov e colleghi del 2023, intitolato "Language Model Tokenizers Introduce Unfairness Between Languages" e disponibile su arXiv, ha misurato che elaborare un testo in italiano o tedesco costa a ChatGPT e GPT-4 circa il 50% di token in più rispetto allo stesso testo in inglese; per alcune lingue con alfabeti diversi il divario arriva a 10-15 volte.

Il motivo è che questi modelli sono addestrati soprattutto su testo inglese, quindi il loro vocabolario contiene blocchi "su misura" per l'inglese, mentre l'italiano viene spezzettato in pezzi più piccoli e numerosi. Per te, genitore, questo significa due cose pratiche: gli strumenti che fatturano "a token" risultano più cari per chi scrive in italiano, e la quantità di testo che ci sta dentro un limite è inferiore. È una delle ragioni per cui uno strumento pensato sulla nostra lingua e sul nostro programma scolastico, come spiega cosa dice la scienza dell'apprendimento applicata all'AI, può gestire meglio l'italiano rispetto a un'AI generica nata in inglese.

Token, prezzi e limiti: cosa cambia per la famiglia

Il token è anche l'unità di misura con cui si pagano e si limitano i servizi AI. La maggior parte dei modelli applica un prezzo per token di input (quello che invii) e uno per token di output (quello che genera), e impone un tetto massimo di token al minuto. Una regola pratica utile, indicata da OpenAI per l'inglese, è che un token equivale a circa 4 caratteri o 0,75 parole: cento token sono all'incirca 75 parole inglesi. In italiano, per quanto detto sopra, lo stesso testo pesa di più.

Cosa farne da genitore? Prima di tutto, leggere i limiti delle app che tuo figlio usa con occhio diverso: "1000 messaggi" e "500.000 token" non sono la stessa cosa, e un compito lungo può esaurire una quota più in fretta di quanto sembri. Secondo, diffidare delle promesse di "AI illimitata": ogni token ha un costo reale di calcolo, quindi qualcosa, da qualche parte, viene limitato. Per inquadrare la prudenza economica e di privacy nella scelta di un'app, ti può servire la nostra guida alle domande da fare prima di affidare i dati di un minore.

La finestra di contesto: perché l'AI "dimentica"

Ogni modello ha un numero massimo di token che può tenere in considerazione contemporaneamente: si chiama finestra di contesto, e comprende sia ciò che leggi in ingresso sia ciò che genera in uscita. Quando una conversazione supera quel limite, le parti più vecchie escono dalla finestra e il modello, di fatto, le "dimentica": è il motivo per cui in una chat molto lunga l'AI può perdere il filo di ciò che era stato detto all'inizio.

Capire questo concetto cambia il modo in cui tuo figlio dovrebbe usare un'AI per studiare. Se all'inizio di una lunga sessione ha dato istruzioni importanti ("spiegamelo come a un ragazzo di terza media", "usa esempi di calcio") e dopo cinquanta scambi l'AI sembra averle dimenticate, non è un capriccio: quelle istruzioni sono uscite dalla finestra di contesto. La soluzione pratica è ricordare i punti chiave ogni tanto, oppure aprire una nuova conversazione per ogni argomento. È anche il motivo per cui un buon strumento di studio dovrebbe avere una memoria persistente strutturata, e non affidarsi solo alla finestra di contesto della singola chat — un principio che vale tanto quanto i metodi di studio validati dalla scienza per fissare davvero ciò che si impara.

Token contro comprensione: cosa l'AI non sa

Il fraintendimento più pericoloso, per uno studente, è confondere la fluidità con la comprensione. Il modello costruisce le frasi prevedendo, un token alla volta, quale pezzo è statisticamente più probabile che venga dopo, sulla base degli schemi visti durante l'addestramento. È una macchina probabilistica raffinatissima, ma resta una macchina che incastra mattoncini secondo le probabilità, non una mente che "capisce" il significato come lo intendiamo noi.

Questo spiega due cose. La prima: perché un'AI può scrivere un paragrafo perfettamente grammaticale e plausibile che però contiene un'informazione falsa — il token successivo "suonava giusto" anche se il fatto era sbagliato. La seconda: perché affidare a un'AI il compito al posto dello studente non produce apprendimento. Sapere come funziona un token serve esattamente a questo: aiutare tuo figlio a usare l'AI come strumento che stimola il ragionamento, non come scorciatoia che lo sostituisce. È la differenza tra chiedere "fammi il tema" e chiedere "aiutami a capire dove la mia tesi è debole".

Come Metod·IA usa i token (e perché conta)

Metod·IA è costruito sapendo esattamente come funzionano i token, e usa questa conoscenza per proteggere l'apprendimento di tuo figlio. I tutor AI italiani non danno la risposta pronta: usano un approccio socratico che guida con domande, perché l'obiettivo non è "spendere meno token" ma far ragionare lo studente. La conoscenza delle materie è ancorata al curricolo MIUR, così le spiegazioni partono da contenuti italiani verificati invece di affidarsi solo a ciò che il modello ha "incastrato" statisticamente.

Soprattutto, Metod·IA non si affida alla sola finestra di contesto della chat: ha una memoria strutturata e persistente che ricorda i progressi di tuo figlio nel tempo, gli argomenti su cui è incerto, gli errori ricorrenti — informazioni che in una semplice conversazione "uscirebbero dalla finestra" e andrebbero perse. La frase chiave è questa: un'AI per studiare non vale per quanti token consuma, ma per come li usa al servizio del metodo. È la differenza tra uno strumento che risponde e uno che insegna a pensare.

Domande frequenti

Un token è la stessa cosa di una parola?

No. Un token è l'unità minima con cui l'AI elabora il testo e può essere una parola intera, un frammento di parola o un segno di punteggiatura. Come regola pratica OpenAI indica che un token equivale a circa 4 caratteri o 0,75 parole in inglese; in italiano servono in media più token per dire la stessa cosa.

Perché dovrei spiegare i token a mio figlio?

Perché capire che l'AI lavora a blocchi e non lettera per lettera spiega tanti suoi comportamenti: errori nel contare le lettere, informazioni inventate ma plausibili, "dimenticanze" nelle chat lunghe. È la base del pensiero critico verso lo strumento, che è l'obiettivo educativo più importante quando un ragazzo usa l'AI per studiare.

Perché l'AI a volte sbaglia a contare le lettere di una parola?

Perché non vede le singole lettere: vede pochi token, cioè blocchi di caratteri. La parola "strawberry" per il modello è qualcosa come "st" + "raw" + "berry", quindi contare le "r" interne ai blocchi diventa inaffidabile. Non è un segno di scarsa intelligenza, ma una conseguenza diretta di come funziona la tokenizzazione.

In sintesi

Cos'è un token, allora? È l'unità minima di testo — un pezzo di parola, una parola o un segno — con cui un modello linguistico legge, calcola e genera il linguaggio. Da questo semplice fatto discendono i limiti più sorprendenti dell'AI: il conteggio delle lettere, la lingua italiana più "costosa", la finestra di contesto che fa dimenticare, la fluidità che non è comprensione. Spiegarlo a tuo figlio non lo rende un esperto di informatica: lo rende un utente consapevole, capace di usare l'AI come alleato dello studio e non come scorciatoia che lo svuota.

Vuoi vedere come questi principi diventano un metodo concreto? Scopri come funziona Metod·IA — oppure leggi la nostra pagina dedicata ai genitori per capire se è lo strumento giusto per la tua famiglia.


Fonti: Microsoft Learn, "Informazioni sui token" (2026). OpenAI, "Key concepts". Petrov A. et al., "Language Model Tokenizers Introduce Unfairness Between Languages", arXiv:2305.15425 (2023). RunPod, "Why LLMs Can't Spell Strawberry". AI4Business, "Token nell'NLP".