Agentin laatua ei voi arvioida lukemalla muutama vastaus ja toteamalla että näyttää hyvältä. Tämä sivu käy läpi, mitä evaluointijoukko tarkoittaa, mitkä neljä mittaria riittävät useimmille yrityksille, miten evaluointi rakennetaan käytännössä ja miksi agentti huononee ilman että kukaan muuttaa mitään.
Lyhyesti: evaluointi on joukko oikeita tehtäviä, joiden oikea vastaus tiedetään etukäteen. Ilman sitä agentin muuttaminen on arvailua: et tiedä paransiko muutos tulosta vai siirsikö se virheen toiseen kohtaan. Pieni evaluointijoukko, jota ajetaan joka muutoksen jälkeen, on arvokkaampi kuin iso kertaluonteinen testi.
Kielimalli tuottaa yhtä sujuvan vastauksen riippumatta siitä, pitääkö se paikkansa. Siksi sujuvuus ei kelpaa laadun mittariksi: se on ainoa ominaisuus, joka on aina kunnossa.
Toinen ongelma on otoskoko. Kun agentti näyttää toimivan viidellä kokeilulla, se ei kerro mitään sadannesta tapauksesta — eikä varsinkaan niistä harvinaisista tapauksista, joissa virheen hinta on suurin. Agenttien virheet eivät jakaudu tasaisesti vaan kasautuvat poikkeustapauksiin.
Kolmas ongelma on muutosten arviointi. Kun promptia, kontekstia tai mallia vaihdetaan, jokin paranee ja jokin muu huononee. Ilman kiinteää vertailujoukkoa näitä kahta ei voi erottaa toisistaan, ja kehittämisestä tulee kierre, jossa sama vika korjataan uudestaan muutaman viikon välein.
Evaluointijoukko on kokoelma oikeita tehtäviä yrityksesi arjesta, joihin oikea vastaus on kirjoitettu etukäteen ylos. Se ei ole testiaineisto teknisessä mielessä vaan lista tilanteita, joissa tiedät mitä hyvä lopputulos tarkoittaa.
Agenttien mittaamisesta saa tehtyä monimutkaista. Useimmille yrityksille riittää neljä lukua, joista jokainen vastaa eri kysymykseen.
| Mittari | Mitä kertoo | Miten mitataan | Milloin hälyttää |
|---|---|---|---|
| Onnistumisprosentti | Kuinka usein agentti tekee tehtävän oikein ilman apua. | Evaluointijoukko ajetaan ja tulokset merkitään onnistuneiksi tai ei. | Laskee kahdella peräkkäisellä ajolla. |
| Korjausaste | Kuinka usein ihminen joutuu muokkaamaan tuotosta ennen hyväksyntää. | Lasketaan tarkistuspisteessä tehdyistä muokkauksista. | Yli kolmasosa tuotoksista muokataan. |
| Kustannus per tehtävä | Mitä yksi suoritettu tehtävä maksaa kaikkine askeleineen. | Mallikutsujen hinta jaettuna onnistuneilla suorituksilla. | Nousee ilman että laatu nousee. |
| Läpimenoaika | Paljonko aikaa säästyy verrattuna ihmisen tekemään työhön. | Mitataan päästä päähän, tarkistus mukaan luettuna. | Säästö katoaa tarkistukseen. |
Huomaa, että korjausaste ja läpimenoaika kuuluvat yhteen. Agentti, jonka tuotos pitää aina kirjoittaa uusiksi, voi näyttää onnistumisprosentiltaan hyvältä mutta ei säästä minuuttiakaan.
Evaluointi ei vaadi työkalua eikä alustaa. Se vaatii listan tehtäviä, kirjoitetun määritelmän onnistumisesta ja tavan ajaa sama joukko uudelleen.
Käy läpi viime kuukauden työ ja poimi tapaukset, jotka agentin on tarkoitus hoitaa. Ota mukaan helpot, tyypilliset ja hankalat suhteessa 20 / 60 / 20.
Jokaiselle tehtävälle 1–3 ehtoa, jotka vastauksen on täytettävä. Ehdon on oltava sellainen, että kaksi eri ihmistä päätyy samaan arvioon.
Ilman lähtötasoa et voi sanoa paransiko mikään. Tämä on ainoa askel, jonka ohittaminen tekee lopusta työstä hyödytöntä.
Prompti, konteksti, työkalut tai malli — yksi muutos, yksi ajo. Kaksi yhtäaikaista muutosta tuottavat tuloksen, jota ei voi tulkita.
Kun agentti epäonnistuu oikeassa työssä, tapaus kirjataan evaluointijoukkoon. Näin sama virhe ei voi palata huomaamatta.
Agentti ei ole valmis silloin kun se toimii. Sen ympäristö liikkuu, vaikka agentti ei liikkuisi.
Taustalla muuttuu kolme asiaa. Malli päivittyy, jolloin sama prompti tuottaa eri tuloksen. Yrityksen oma tieto vanhenee — hinnasto, toimitusaika tai vastuunjako muuttuu, mutta agentille annettu konteksti ei. Ja käyttö laajenee: agentille aletaan syöttää tehtäviä, joita varten sitä ei rakennettu.
Kaikki kolme näkyvät samalla tavalla — laatu laskee hitaasti, eikä kukaan osaa sanoa milloin. Siksi evaluointijoukko kannattaa ajaa säännöllisesti myös silloin kun mitään ei ole muutettu. Kuukausittainen ajo riittää useimmille.
Käytännön sääntö: jos et voi näyttää lukua siitä, miten agentti suoriutui viime kuussa, agentti ei ole tuotannossa vaan kokeilussa.
20–50 riittää useimmille yrityksille. Ratkaisevaa ei ole määrä vaan kattavuus: helpot, tyypilliset ja hankalat tapaukset sekä ne, joissa oikea vastaus on kieltäytyä.
Voi, ja se nopeuttaa työtä — mutta arvioiva malli tekee samantyyppisiä virheitä kuin arvioitava. Käytä sitä esikarsintaan ja tarkista ihmisen voimin ne tapaukset, joissa virheen hinta on suurin.
Katso ensin epäonnistumisten syyt: puuttuuko konteksti, onko tehtävä liian laaja vai onko onnistumisen määritelmä epäselvä. Valtaosa matalista luvuista korjaantuu rajaamalla tehtävää, ei vaihtamalla mallia.
Jokaisen muutoksen jälkeen ja lisäksi säännöllisesti ilman muutoksia — kuukausittain riittää useimmille. Jälkimmäinen paljastaa ympäristöstä tulevan heikkenemisen.
Ei aluksi. Taulukko, jossa on tehtävä, odotettu lopputulos, saatu lopputulos ja arvio, riittää pitkälle. Työkalu kannattaa vasta kun ajoja on niin usein, että käsityö muuttuu pullonkaulaksi.
Evaluointi kertoo, milloin valvontaa voi keventää. Ilman mittaria autonomian kasvattaminen on arvaus.