Inferenssi

Miksi tällä on väliä

Mallin kouluttaminen on kertakustannus. Inferenssi tapahtuu joka kerta, kun valmista mallia käytetään, ja useimmilla yrityksillä, jotka ostavat tekoälyä eivätkä rakenna sitä, jatkuva lasku kertyy juuri täältä. Jokainen lähetetty kehote ja jokainen tuotettu vastaus on inferenssi, ja jokainen niistä kuluttaa laskentatehoa, josta maksetaan. Tämän osan ihmiset aliarvioivat. Demossa halvalta näyttävä malli voi käydä kalliiksi laajassa käytössä, koska kustannus syntyy käyttökertaa kohti eikä lakkaa niin kauan kuin ominaisuus on elossa. Käsite erottaa kertaluonteisen rakennuskustannuksen käyttökustannuksesta, joka kasvaa käytön mukana.

Käytännössä

Sovellukseen lisätty tekoälyominaisuus toimii hyvin, joten käyttö kasvaa. Inferenssikustannus kasvaa mukana, koska jokainen käyttäjän toimi on uusi maksullinen kutsu mallille. Tiimit hallitsevat tätä valitsemalla pienemmän mallin sinne, missä se riittää, pitämällä syötteet tiiviinä ja tallentamalla toistuvat vastaukset välimuistiin. Opetus on budjetoida inferenssi juoksevana käyttökuluna, ei kiinteänä.