L’intelligenza artificiale in pillole

Token, il codice nascosto dietro ogni parola (e ogni euro)

di Luca Salvioli

Quando un sistema di intelligenza artificiale legge un testo, lo scompone in token, piccoli pezzi di parola, interi vocaboli o segni di punteggiatura, ognuno trasformato in un numero. Una parola come “internazionale”, giusto per fare un esempio, può diventare due o tre token diversi, non una unità sola. L’AI non legge parole intere come noi: legge sequenze di numeri, e prevede quale token verrà dopo. Un po’ come Matrix, con quel codice dietro la realtà. Ma il token è anche una moneta: le aziende fanno pagare l’uso dell’AI in base a quanti token leggi e generi, non a quante parole scrivi. Più token usi, più paghi.
Riproduzione riservata ©
loading...