Puolet virhelistasta oli väärää hälytystä
Tarkistus antoi kuusitoista virhettä, ja kahdeksan niistä oli koneen omaa erehdystä. Väärien hälytysten poistaminen osoittautui tärkeämmäksi korjaukseksi kuin yhdenkään datavirheen korjaaminen.
Tuotelistan tarkistus antoi kuusitoista virhettä. Kävin ne läpi yksi kerrallaan, ja kahdeksan niistä osoittautui koneen omaksi erehdykseksi.
Tilanne on tuttu monesta työpaikasta. Joku rakentaa tarkistuksen, raportin tai hälytyksen, joka käy aineiston läpi ja kertoo mikä siinä on pielessä. Alussa se luetaan tarkasti. Parin viikon päästä sitä vilkaistaan. Kuukauden päästä se on rivi, jonka ohi rullataan, koska kokemus on opettanut, että suurin osa siitä ei tarkoita mitään.
Mitä tein
Rakensin kampanjaa varten tuotetaulukon, jonka päällä on esitarkastus. Se ajetaan ennen jokaista tuontia ja se listaa kaikki löytämänsä ongelmat: Puuttuvat hinnat, kahteen kertaan esiintyvät tuotekoodit ja hinnat, jotka eivät täsmää.
Kuudestatoista virheestä kahdeksan oli samaa tyyppiä, eli hinta ei muka ollut alennettu. Kun kaivoin ne auki, hinnat olivat kunnossa. Tarkistus vain luki ne väärin, koska se ei osannut tulkita sitä muotoa, jolla hinta oli näille riveille kirjoitettu.
Korjasin tarkistuksen, en dataa. Kuusitoista putosi kahdeksaan, ja jäljelle jäi kahdeksan aitoa löydöstä: Kaksi kahteen kertaan olevaa tuotekoodia ja kuusi puuttuvaa hintaa. Jokainen niistä oli oikeaa työtä.
Mikä muuttui
Datasta ei korjaantunut yhtään mitään. Silti tämä oli sen päivän tärkein korjaus.
Ennen sitä lista oli kahdeksan todellisen ongelman ja kahdeksan valehtelevan hälytyksen sekoitus, eikä riviä katsomalla voinut tietää, kummasta oli kyse. Jokainen ajo maksoi siis kahdeksan turhaa selvitystä. Pahempaa oli se, mitä lista opetti lukijalleen: Kun puolet riveistä on kohinaa, järkevin tapa käyttää aikaa on lopettaa listan lukeminen. Tarkistus, johon ei luoteta, ei tarkista mitään.
Nyt lista on lyhyempi ja jokainen sen rivi on tosi. Tarkistusta ajetaan usein eikä kerran, joten ero kertautuu joka ajolla.
Mitä tästä kannattaa ottaa
Jos sinulla on automaattinen tarkistus, raportti tai hälytys, laske siitä kerran yksi luku: Kuinka moni sen viime ajon rivistä oli oikeasti toimenpide. Ei siis kuinka monta ongelmaa se löysi, vaan kuinka moni löydöistä piti paikkansa.
Jos osuus on selvästi alle sadan prosentin, seuraava työ ei ole uuden säännön lisääminen. Se on väärien hälytysten poistaminen. Uusia sääntöjä on helppo lisätä, ja jokainen niistä tuntuu lisäävän turvaa. Kohina on kalliimpaa kuin miltä se näyttää, koska se ei jää yhteen riviin. Se leviää koko listan uskottavuuteen.
Sama pätee siihen, mitä annat tekoälylle. Jos syötät mallille tarkistuslistan tai virheraportin, jossa puolet on väärää hälytystä, opetat sille saman kuin ihmiselle: Listan voi sivuuttaa. Malli ei osaa arvata, mitkä rivit ovat tosia, joten se käsittelee niitä kaikkia yhtä epävarmoina, ja alkaa selittää ohi myös niistä, jotka olivat totta.
Lyhyt luotettava lista on parempaa kontekstia kuin kattava epävarma.