De Aktentas Van De Statisticus
Hamming opent Hoofdstuk 27 met een verhaal. Een statisticus-vriend bij Bell Labs vermoedde dat metingen in een onderzoek onnauwkeurig waren. Hij betoogde met de afdelingsleider, die remeting weigerde — 'de instrumenten hebben koperen labels erop die zeggen dat ze zo nauwkeurig waren, en mijn mensen zijn betrouwbaar.'
Op maandag arriveerde de statisticus en zei dat hij zijn aktentas in de trein had achtergelaten en al zijn gegevens had verloren. Er was niets anders te doen dan opnieuw meten. Toen de nieuwe metingen arriveerden, produceerde de statisticus de originele gegevens — die lieten zien hoe ver ernaast ze waren. Hij was niet populair door deze zet, maar de onnauwkeurigheid was nu onmiskenbaar.
Hamming trekt een harder les uit een ander geval: een onderzoek naar telefoongesprekpatronen, opgenomen door dezelfde centrale kantoorapparatuur die de gesprekken plaatste. Op een dag merkte de statisticus een gesprek op dat in rekening werd gebracht bij een niet-bestaand centraal kantoor. Na verder onderzoek vond hij dat een groot percentage gesprekken verbonden was — voor enkele minuten — met niet-bestaande kantoren. De machine genereerde slechte gegevens over haar eigen werking. Je kunt niet vertrouwen dat een machine correct gegevens over zichzelf verzamelt.
Zijn derde voorbeeld: zijn broer bij de Afdeling Luchtverontreiniging van Los Angeles, die het noodzakelijk vond om elk nieuw instrument dat ze ontvingen uit elkaar te halen, opnieuw in elkaar te zetten en opnieuw in te kalibreren, ongeacht wat de fabrikant beweerde.
Hammings regel: onderzoek gegevens altijd zorgvuldig voordat je ze verwerkt. Zet ze uit. Zoek naar patronen die er niet zouden moeten zijn. Controleer op inconsistenties. Ongeacht hoe dringend het antwoord is, test de gegevens eerst voor.
Gegevens Vooraf Testen
Hammings voorraadbeheer-studie: hij ontving 18 maanden voorraadbeheer-gegevens voor ~100 items en geloofde naïef de verzekering van de leverancier dat inconsistenties waren verwijderd. Laat in het project vond hij resterende inconsistenties — vermeldingen die niet zonder fout konden zijn voorgekomen (bijvoorbeeld onttrekking aan lege voorraden).
Hij concludeerde: 'Ik moest ze eerst vinden, dan elimineren, en dan de gegevens helemaal opnieuw uitvoeren. Uit die ervaring heb ik geleerd nooit gegevens te verwerken totdat ik ze eerst zorgvuldig op fouten heb onderzocht.'
Twee Soorten Fout
Elke fysieke meting draagt twee soorten fout:
Willekeurige fout: onvoorspelbare variatie rond de werkelijke waarde. Het volgt een verdeling (vaak ongeveer Gaussiaans) gecentreerd op de werkelijke waarde. Willekeurige fouten heffen op bij middeling: neem genoeg metingen en het gemiddelde nadert de werkelijke waarde.
Systematische fout (bias): een consistente verschuiving in één richting. Al je metingen zijn verschoven met dezelfde hoeveelheid. Geen hoeveelheid middeling verwijdert het, omdat het gemiddelde van veel voorgespannen metingen nog steeds voorgespannen is.
Hammings voorbeeld uit de natuurkunde: een tabel van de 10 fundamentele constanten (lichtsnelheid, getal van Avogadro, lading van het elektron, enz.) werd samengesteld, en vervolgens 24 jaar later opnieuw samengesteld met verbeterde instrumenten. Gemiddeld vielen de nieuwe waarden 5,267 maal buiten de oude vermelde foutspeelbereiken. Dit is niet aannemelijk alleen uit willekeurige fout — willekeurige fouten van deze omvang zouden opspoorbaar zijn. De verklaring: de oude instrumenten hadden systematische fouten die niet in de vermelde onzekerheid waren vastgelegd, en de technieken zelf hadden een gemeenschappelijke fout die door de gemeenschap werd doorgegeven.
Shannon's opmerking: 'Kalibratie is het belangrijkste in meting.' Kalibratie adresseert systematische fout. Als je instrument consequent 3% te hoog leest, verhelpt geen hoeveelheid herhaalde metingen dat — je moet kalibreren.
Systematische Fout Identificeren
De Hubble-constante: de snelheid waarmee het universum uitdijt, gemeten aan de hand van de roodverschuiving-afstandsrelatie van sterrenstelsels. Meerdere onafhankelijke groepen hebben het in de afgelopen 50 jaar gemeten. Historisch gezien vielen veel van de gepubliceerde waarden buiten de foutspeelbereiken van andere gepubliceerde waarden — wat betekent dat de meningen groter waren dan de vermelde onzekerheden voorspelden.
Hoe Test Je Wat Je Niet Kunt Testen?
Hamming stelt een probleem voor dat geen schone oplossing heeft, maar dat elke praktiserende ingenieur uiteindelijk tegenkomt: Hoe test je een apparaat op betrouwbaarheid wanneer het testen zelf langer duurt dan je hebt, en je testapparatuur minder betrouwbaar is dan het apparaat dat je test?
Het scenario: een apparaat moet 20 jaar in het veld meegaan (175.000 uur). Je life-test-laboratorium is beoordeeld voor 10.000 uur bedrijf. Je testperiodebudget is 3 maanden (ongeveer 2.000 uur). Van het apparaat wordt verwacht dat het in het veld werkt op temperaturen tot 85°C.
Versnelde testen: voer het apparaat uit op 105°C en neem aan dat storingen 10× sneller optreden dan op 85°C (een veel voorkomende technische vuistregel). Dan stelt 2.000 uur op 105°C '20.000 uur op 85°C' voor. Maar klopt dat?
Het probleem: de stooringsmodus op 105°C kan anders zijn dan de stooringsmodus op 85°C. Als soldeerverbindingen uitvallen door thermische vermoeiing op 85°C maar door oxidatie op 105°C, vertelt de versnelde test je niets bruikbaars over veldlevensduur.
Shannons advies is van toepassing: kalibratie — begrijpen wat je meting werkelijk meet — is de kritische stap. Versnelde testen kalibreren temperatuur tegen stooringssnelheid alleen als de stooringsmodus hetzelfde is. Dit verifiëren vereist een aparte studie.
Ontwerp Een Life-Test
Je bent een betrouwbaarheidsingenieur voor een medisch apparaat dat in het menselijk lichaam wordt geïmplanteerd. Het moet 10 jaar meegaan (87.600 uur). Je laboratoriumbudget staat 6 maanden testen toe (4.380 uur). Het apparaat werkt op lichaamstemperatuur (37°C).