Token
Mikä on Token?
Yksikkö, jota malli lukee ja kirjoittaa. Englannissa yksi token on noin kolme neljäsosaa sanasta eli suunnilleen neljä merkkiä, joskin tämä vaihtelee kielittäin. Hinnoittelu, nopeus ja kontekstirajat lasketaan kaikki tokeneina, joten tokenmäärä on se, mistä oikeasti maksetaan.
Miksi tällä on väliä
Malli ei lue sanoja niin kuin me. Se pilkkoo tekstin tokeneiksi, ja kaikki kaupallinen lasketaan niissä. Hinta, nopeus ja kerralla käsiteltävän tekstin määrä mitataan tokeneina, joten tokenmäärä on se, mikä näkyy laskulla. Tekoälyominaisuutta budjetoivalle tämä on se yksikkö, jolla on väliä. Chatbot, joka syöttää mallille vaivihkaa pitkän ohjeen ja koko keskusteluhistorian joka viestillä, voi maksaa moninkertaisesti verrattuna sellaiseen, joka pitää syötteensä tiiviinä, vaikka käyttäjä näkee saman vastauksen.
Käytännössä
Englannissa token on noin neljä merkkiä eli suunnilleen kolme neljäsosaa sanasta, joskin tämä vaihtelee paljon kielittäin. Valmis virke voi olla 20 tokenia. Kun tekoälyominaisuuden käyttökustannusta arvioidaan, lasketaan sisään menevät tokenit (ohje, käyttäjän teksti, mahdolliset dokumentit) ja ulos tulevat tokenit ja kerrotaan summa tokenhinnalla. Kun syötettä leikkaa, lasku pienenee.
