Ihminen silmukassa tarkoittaa, että tekoälyn tuotos kulkee ihmisen läpi ennen kuin se lähtee ulos tai muuttaa dataa. Tämä sivu käy läpi, miksi tarkistuspiste tarvitaan, mihin kohtaan prosessia se kuuluu, mitä eroa on kolmella valvonnan tasolla ja milloin tarkistuspisteen voi turvallisesti poistaa.
Lyhyesti: kielimalli tuottaa yhtä sujuvan vastauksen riippumatta siitä, onko se oikea. Se ei tunnista omaa virhettään, joten virhe ei näy tuotoksen laadussa vaan vasta seurauksissa. Tarkistuspiste asetetaan siihen kohtaan, jossa virheen korjaaminen muuttuu kalliiksi — ei kaikkialle.
Termi tulee automaation suunnittelusta ja tarkoittaa järjestelmää, jossa ihminen on osa suoritusketjua — ei sen ulkopuolinen katselija. Tekoäly valmistelee, ihminen hyväksyy, ja vasta hyväksynnän jälkeen toiminto tapahtuu.
Käytännössä se on yksi kysymys: mitä tapahtuu, jos tämä tuotos on väärin eikä kukaan huomaa? Jos vastaus on „ei juuri mitään“, tarkistuspistettä ei tarvita. Jos vastaus koskee rahaa, sopimusta, asiakassuhdetta tai pysyvää datamuutosta, tarkistuspiste tarvitaan.
Tarkistuspiste ei ole sama asia kuin jälkikäteen lukeminen. Jos viesti on jo lähtenyt asiakkaalle, ihminen ei ole silmukassa — hän on silmukan jälkeen.
Ihmisen tekemä virhe näkyy yleensä työn jäljessä: kiireessä kirjoitettu teksti näyttää kiireessä kirjoitetulta. Kielimallilla näin ei ole. Vastaus on yhtä hyvin muotoiltu riippumatta siitä, pitääkö se paikkansa.
Tämä on myös sääntelyn lähtökohta. EU:n tekoälyasetus edellyttää korkean riskin tekoälyjärjestelmiltä ihmisen suorittamaa valvontaa: järjestelmä on suunniteltava niin, että ihminen pystyy ymmärtämään sen tuotoksen, puuttumaan siihen ja tarvittaessa keskeyttämään sen. Valtaosa yritysten arkikäytöstä ei ole korkean riskin käyttöä, mutta sama periaate on hyvä suunnittelusääntö myös silloin kun laki ei sitä vaadi.
Valvonta ei ole päällä tai pois. Se on kolme eri tasoa, joista jokaisella on oma käyttöalueensa.
| Taso | Miten toimii | Sopii kun | Riski |
|---|---|---|---|
| Ihminen silmukassa | Mitään ei tapahdu ilman hyväksyntää. | Tuotos menee ulos yrityksestä, koskee rahaa tai muuttaa dataa pysyvästi. | Hidas, ja hyväksynnästä tulee helposti rutiinileimasin. |
| Ihminen silmukan päällä | Tekoäly toimii itsenäisesti, ihminen seuraa ja voi keskeyttää. | Volyymi on suuri ja yksittäisen virheen hinta pieni. | Virhe ehtii tapahtua ennen kuin se huomataan. |
| Ihminen silmukan ulkopuolella | Ei valvontaa suorituksen aikana, vain jälkikäteinen raportti. | Tehtävä on sisäinen, peruutettava ja matalariskinen. | Virhe löytyy vasta kun se on jo levinnyt. |
Yleisin suunnitteluvirhe on valita taso teknologian mukaan („agentti osaa hoitaa tämän itse“) eikä seurauksen mukaan („mitä maksaa, jos se hoitaa väärin“).
Tarkistuspiste kannattaa asettaa siihen kohtaan, jossa virheen korjaaminen muuttuu kalliiksi — eikä jokaiseen välivaiheeseen. Liika valvonta tappaa hyödyn yhtä varmasti kuin liian vähäinen.
Käy prosessi läpi ja etsi askel, jonka jälkeen paluuta ei ole: viesti lähtee, lasku muodostuu, tietue päivittyy, sopimus lähetetään. Tarkistuspiste tulee välittömästi ennen sitä.
Ihminen ei pysty arvioimaan kymmensivuista tuotosta kymmenessä sekunnissa. Pyydä tekoälyä esittämään päätös ja sen perustelu erikseen, jotta tarkistus kohdistuu perusteluun.
Jos oletusarvo on „lähetetään ellei kukaan estä“, valvontaa ei käytännössä ole. Oletusarvon on oltava „ei lähde ennen kuin joku painaa“.
Jokainen korjaus on tieto siitä, mitä ohjeistuksesta puuttuu. Kun sama korjaus toistuu kolmesti, vika ei ole tarkistajassa vaan kontekstissa, joka mallille on annettu.
Sujuva tuotos läpäisee tarkistuksen helpommin kuin kankea. Siksi tarkistuksen kohteena on sisältö ja lähde, ei kielen laatu.
Tarkistuspiste ei ole pysyvä rakenne. Se on mittalaite, joka kertoo milloin luottamus on ansaittu.
Tarkistuspisteen voi poistaa, kun kolme asiaa pätee yhtä aikaa: korjauksia ei ole tullut riittävän pitkässä sarjassa, virheen hinta on laskenut esimerkiksi peruutusmahdollisuuden takia, ja tuotoksesta jää jälki, josta virhe löytyy jälkikäteen.
Poistaminen kannattaa tehdä portaittain: ensin siirrytään silmukan päälle — tekoäly toimii, ihminen seuraa — ja vasta sitten harkitaan valvonnan lopettamista kokonaan. Kertarysäyksellä tehty siirto silmukasta ulos on yleisin syy sille, että agenttiprojekti perutaan ensimmäisen näkyvän virheen jälkeen.
Ja päinvastoin: jos virheiden määrä kasvaa, tarkistuspiste palautetaan. Se ei ole epäonnistuminen vaan järjestelmän normaali säätö.
Ei. Silmukassa oleminen tarkoittaa, että toiminto ei tapahdu ennen hyväksyntää. Jos viesti on jo lähtenyt tai tietue jo päivittynyt, kyse on jälkitarkastuksesta, joka ei estä virhettä vaan havaitsee sen.
Ei, jos tarkistus kohdistuu päätökseen eikä koko tuotokseen. Aikasäästö syntyy valmistelusta, ei hyväksynnästä. Hyöty katoaa vasta silloin, kun ihminen joutuu kirjoittamaan tuotoksen uudelleen — se on merkki puutteellisesta ohjeistuksesta, ei liiallisesta valvonnasta.
Sisäisiin, peruutettaviin ja matalariskisiin tehtäviin: luonnosten tuottamiseen, tiedon tiivistämiseen omaan käyttöön, luokitteluun jonka joku katsoo joka tapauksessa läpi, ja ideointiin.
Asetus edellyttää ihmisen suorittamaa valvontaa korkean riskin tekoälyjärjestelmiltä: käyttäjän on kyettävä ymmärtämään järjestelmän tuotos, puuttumaan siihen ja keskeyttämään sen. Tavanomainen sisäinen tuottavuuskäyttö ei yleensä ole korkean riskin käyttöä, mutta luokittelu kannattaa tarkistaa tapauskohtaisesti.
Se, joka kantaa virheen seuraukset — ei se, jolla on eniten aikaa. Jos tarkistus delegoidaan henkilölle, jolla ei ole asiaosaamista, tarkistuspiste näyttää olevan olemassa mutta ei toimi.
Kun agentteja on useampi, valvonta kannattaa suunnitella kerralla koko tiimille eikä agentti kerrallaan.