Hallusinaatio
Tunnetaan myös: hallucination, hallusinointi
Mikä on Hallusinaatio?
Tilanne, jossa malli esittää virheellisen väitteen faktana antamatta mitään merkkiä epävarmuudesta. Sitä vähennetään ankkuroimalla malli todelliseen dataan (esimerkiksi RAG), kirjoittamalla selkeämmät kehotteet ja pitämällä ihminen mukana tarkistamassa. Kokonaan se ei katoa itsestään, joten kyse on hallittavasta riskistä eikä korjattavasta bugista.
Miksi tällä on väliä
Malli voi esittää virheellisen väitteen samalla varmuudella kuin faktan, ilman mitään merkkiä epävarmuudesta. Tämä on suurin yksittäinen syy siihen, ettei kielimallia voi kytkeä suoraan prosessiin, jonka on pakko olla oikeassa. Malli ei valehtele, eikä kyse ole bugista, jonka voisi paikata. Ominaisuus kuuluu tapaan, jolla nämä järjestelmät tuottavat tekstiä, joten sitä on hallittava sen sijaan, että jäisi odottamaan sen katoamista. Säännellyssä työssä, julkaistavassa sisällössä ja kaikessa, mihin asiakas nojaa, hallitsematon hallusinaatio on aito vastuuriski.
Käytännössä
Hallusinaatiota vähennetään; sitä ei poisteta. Mallin ankkurointi todelliseen dataan eli haku omista dokumenteista pitää sen lähempänä totuutta. Selkeämmät ohjeet ja matalampi arvailutoleranssi auttavat. Kaikessa, millä on seurauksia, ihminen tarkistaa tuotoksen ennen julkaisua. Tiimit, jotka ottavat hallusinaation suunnittelussa annettuna sen sijaan, että se pääsisi yllättämään, päätyvät selvästi luotettavampiin järjestelmiin.
