Konteksti-ikkuna
Tunnetaan myös: context window
Mikä on Konteksti-ikkuna?
Tekstimäärä, jonka malli pystyy pitämään mielessään kerralla, mitattuna tokeneina. Sitä voi ajatella työmuistina: käynnissä olevan keskustelun ja liitettyjen dokumenttien on kaikkien mahduttava sen sisään. Kun raja ylittyy, malli alkaa kadottaa aiemmin sanottua.
Miksi tällä on väliä
Konteksti-ikkuna kertoo, kuinka paljon tekstiä malli pitää mielessään yhdellä kertaa, tokeneina laskettuna. Sitä voi ajatella työmuistina. Ohjeen, käynnissä olevan keskustelun ja liitettyjen dokumenttien on mahduttava sen sisään samaan aikaan. Kun raja ylittyy, malli alkaa kadottaa aiemmin tullutta, joten pitkä keskustelu voi yhtäkkiä unohtaa alussa annetun yksityiskohdan. Tekoälyn päälle rakentavalle ikkunan koko asettaa kovan katon sille, kuinka paljon aineistoa malli voi punnita yhdessä vastauksessa.
Käytännössä
Kun tiimi syöttää mallille 50-sivuisen sopimuksen, sen on tarkistettava, että sopimus mahtuu ikkunaan. Muuten malli ”näkee” vain osan dokumentista ja vastaa kuin loppua ei olisi olemassa. Tämä on yleinen syy itsevarmoihin mutta vääriin vastauksiin pitkillä syötteillä. Suuremmat ikkunat helpottavat ongelmaa mutta maksavat enemmän kutsua kohti, koska jokaisesta muistissa olevasta tokenista maksetaan. Todellinen taito on päättää, mitä ikkunassa oikeasti pitää olla, ja jättää loput pois.
