Luin kaksikymmentä ensimmäistä ja kutsuin niitä uusimmiksi
Pyysin arkistosta kaksikymmentä uusinta dokumenttia ja sain kaksikymmentä ensimmäistä. Vajaa otos ei jätä aukkoa, vaan se tuottaa varman johtopäätöksen väärästä aineistosta.

Sain kollegalta yhden rivin korjauksen. "Tarkoitin uusimpia, en vanhimpia."
Olin juuri kertonut hänelle, mitä kahdestakymmenestä uusimmasta sivusta löytyi, ja ehtinyt rakentaa löydöksen pohjalta korjauksen. Molemmat perustuivat väärään kahteenkymmeneen.
Iso aineisto annetaan koneelle, ei lueta itse
Tilanne on yleisempi kuin miltä se kuulostaa. Vanha kampanja-arkisto, vuoden verran raportteja, tuotevienti, kansio sopimuksia. Niitä ei enää lueta itse. Ne annetaan koneelle ja kysytään, mitä sieltä löytyy.
Vastaus tulee luvun ja johtopäätöksen muodossa. Luku näyttää mitatulta, ja johtopäätös kuulostaa siltä, että se koskee koko aineistoa. Osa lähteestä vastaa koko lähteen äänellä, ja aivan yhtä varmalla äänellä.
Kaksikymmentä ensimmäistä ei ole kaksikymmentä uusinta
Arkistossa oli 310 dokumenttia yhtenä pakettina. Pyysin niistä kaksikymmentä uusinta, ja sain kaksikymmentä ensimmäistä, eli ne, jotka sattuivat olemaan tiedostossa alussa.
Tiedoston järjestys ei ole ajan järjestys. Kun dokumentit lajiteltiin niiden omalla aikaleimalla, todellisista kahdestakymmenestä uusimmasta vain viisi osui siihen joukkoon, jonka olin lukenut.
Aukko ei ollut kallein osa tätä. Kallein oli se, että vajaa otos tuotti varman johtopäätöksen: Aineistossa on vanhaa tiedostomuotoa, joten sitä pitää tukea. Rakensin tuen ja tein sille testiaineiston. Oikealla otoksella vanhaa muotoa ei ollut yhtään kappaletta. Tuki oli tehty ongelmaan, jota tässä tapauksessa ei ollut, ja se poistettiin.
Samalla väärä otos piilotti oikean ongelman, ja se oli päinvastainen kuin luulin: Kaikki se, mitä olin generoimassa, oli sitä vanhaa muotoa, vaikka kollegan nykyinen työ oli kokonaan uutta.
Toinen lukija samana päivänä, sama virhe toisin päin
Saman päivän toinen työ oli purkaja, joka poimii sivuista tekstit tarkistettavaksi. Se luki sivun oman elementtilistan ja raportoi 82 tekstiä. Sivujen jaettu osa, joka tuodaan erikseen jokaiselle sivulle, jäi listan ulkopuolelle. Kun se otettiin mukaan, tekstejä oli 363. Noin 78 prosenttia kaikesta tekstistä oli sen ulkopuolella, mitä purkaja luki.
Kaksi johtopäätöstä kääntyi päinvastaiseksi. Toinen niistä oli, ettei teksteissä ole yhtään sellaista sanaa, jonka kampanjan ohje nimenomaisesti kieltää. Niitä oli.
Tässä on se kohta, joka kannattaa painaa mieleen: Molemmat johtopäätökset oli jo kirjoitettu automaattisiksi testeiksi. Testit menivät läpi joka ajolla. Ne eivät varmistaneet vaatimusta, vaan lukitsivat virheen paikalleen ja raportoivat sen vihreänä.
Kaksi kysymystä ennen kuin toimit analyysin perusteella
En lopettanut isojen aineistojen antamista koneelle. Juuri sitä työtä ei kannata tehdä käsin. Muutin sen, mitä kysyn ennen kuin uskon vastausta.
- Kuinka suuren osan lähteestä luit? Pyydä luku kahtena: Montako yksikköä käsittelit ja montako niitä on yhteensä. Jos jälkimmäistä ei pysty sanomaan, koko vastaus on arvio eikä mittaus.
- Miten valitsit sen osan? Järjestys tiedostossa, hakutulosten ensimmäinen sivu ja ensimmäiset sata riviä eivät ole otoksia. Ne ovat sitä, mikä sattui olemaan lähimpänä. Otos syntyy vasta, kun joku lajittelee tai rajaa sen tarkoituksella.
Päälle yksi sääntö: Älä kirjoita johtopäätöstä tarkistukseksi ennen kuin tiedät, miltä osalta lähdettä se on luettu. Tarkistus jää voimaan pidempään kuin se keskustelu, jossa johtopäätös syntyi. Väärä tarkistus ei jää hiljaiseksi, vaan se alkaa puolustaa virhettä ja näyttää sen vihreänä.
Kysymyspari toimii mille tahansa koneen tekemälle yhteenvedolle, joka kuulostaa liian valmiilta. Se maksaa kaksi minuuttia. Jos toistuva käsityö syö viikostasi tunnit, ajanpuutteen ratkaisut alkavat juuri tästä: Koneelle annetaan iso työ, mutta sen vastaus tarkistetaan kahdella kysymyksellä.