Human-in-the-loop
Tunnetaan myös: HITL
Mikä on Human-in-the-loop?
Toimintamalli, jossa ihminen tarkistaa, hyväksyy tai voi kumota tekoälyn tuotoksen prosessin määritellyissä kohdissa sen sijaan, että järjestelmä toimisi omin päin. Vastuu pysyy ihmisellä siellä, missä panokset ovat korkeat. Tavoite on mitoittaa valvonta riskin mukaan, ei tuplatarkistaa kaikkea.
Miksi tällä on väliä
Ihminen silmukassa ei tarkoita samaa kuin hereillä oleva ihminen, ja juuri siinä on human-in-the-loopin sudenkuoppa. Kun ihmistä pyydetään hyväksymään mallin tuotoksia koko päivä, tapahtuu ennustettava asia. Hän alkaa luottaa malliin, hyväksynnät muuttuvat refleksiklikkauksiksi, ja suunniteltu varmistus muuttuu kumileimasimeksi, joka lisää viivettä lisäämättä harkintaa. Ongelma puree pahiten juuri siellä, missä sillä on eniten väliä: suuren volyymin päätöksissä, joissa tarkastaja näkee satoja peräkkäin. Suunnittelukysymys ei siis ole, onko ihminen paikalla. Se on, onko tarkistuspiste rakennettu niin, että katselmointi on aitoa: riittävän vähän tapauksia, riittävästi kontekstia ja aikaa oikeasti katsoa.
Käytännössä
Petostarkastaja saa vuorossaan eteensä 200 liputettua tapahtumaa ja kuittaa kuorman alla useimmat vilkaisulla, koska malli on yleensä oikeassa. Se harvinainen tapaus, jonka malli arvioi väärin, purjehtii muiden mukana ohi. Kun volyymia leikataan, jokaisen tapauksen liputusperuste näytetään ja ihmiselle ohjataan vain aito epävarmuus, palautuu se harkinta, jota koko rakenne oli tarkoitettu suojaamaan.
