Der Aktenkoffer des Statistikers
Hamming eröffnet Kapitel 27 mit einer Geschichte. Ein Statistiker-Kollege bei Bell Labs vermutete, dass die Messungen in einer Studie ungenau waren. Er argumentierte mit dem Abteilungsleiter, der eine Neuvermessung ablehnte – «Die Instrumente haben Messingplaketten, die besagen, dass sie so genau sind, und meine Leute sind zuverlässig.»
Am Montag kam der Statistiker und sagte, er hätte seinen Aktenkoffer im Zug vergessen und alle seine Daten verloren. Es blieb nichts anderes übrig, als neu zu messen. Als die neuen Messungen eintrafen, präsentierte der Statistiker die Originalunterlagen – und offenbarte, wie fehlerhaft sie gewesen waren. Mit diesem Schachzug war er nicht beliebt, aber die Ungenauigkeit war nun nicht zu leugnen.
Hamming zieht eine härtere Lektion aus einem anderen Fall: eine Studie über Anrufmuster, aufgezeichnet von derselben Vermittlungsstellenausrüstung, die die Anrufe weitergab. Eines Tages bemerkte der Statistiker einen Anruf, der einer nicht vorhandenen Vermittelungsstelle abgerechnet wurde. Bei weiterer Untersuchung fand er heraus, dass ein großer Prozentsatz der Anrufe sich – für einige Minuten – zu nicht vorhandenen Büros verbanden. Die Maschine erzeugte schlechte Daten über ihren eigenen Betrieb. Man kann einer Maschine nicht trauen, dass sie Daten über sich selbst korrekt erfasst.
Sein drittes Beispiel: sein Bruder bei der Los Angeles Air Pollution-Abteilung, der es für notwendig befand, jedes neue Instrument, das sie erhielten, unabhängig von den Herstellerangaben zu zerlegen, wieder zusammenzusetzen und neu zu kalibrieren.
Hammings Regel: Untersuchen Sie Daten immer sorgfältig, bevor Sie sie verarbeiten. Zeichnen Sie sie auf. Suchen Sie nach Mustern, die dort nicht sein sollten. Prüfen Sie auf Unstimmigkeiten. Egal wie dringend die Antwort ist, testen Sie die Daten vorher.
Vortests für Daten
Hammings Bestandsstudie: Er erhielt 18 Monate Bestandsdatensätze für etwa 100 Artikel und glaubte naiv der Zusicherung des Lieferanten, dass Unstimmigkeiten behoben worden waren. Spät im Projekt fand er verbleibende Unstimmigkeiten – Einträge, die ohne Fehler nicht hätten vorkommen können (z. B. Abhebungen aus leerem Bestand).
Er zog das Fazit: «Zuerst musste ich sie finden, dann eliminieren und dann die Daten noch einmal von vorne durchführen. Aus dieser Erfahrung habe ich gelernt, niemals Daten zu verarbeiten, bis ich sie sorgfältig auf Fehler überprüft habe.»
Zwei Arten von Fehler
Jede physikalische Messung trägt zwei Arten von Fehlern:
Zufälliger Fehler: unvorhersehbare Schwankung um den wahren Wert. Es folgt einer Verteilung (oft näherungsweise gaußsch) mit Zentrum auf dem wahren Wert. Zufällige Fehler heben sich bei Mittelwertbildung auf: Nehmen Sie genug Messungen vor und der Mittelwert nähert sich dem wahren Wert.
Systematischer Fehler (Voreingenommenheit): eine konsistente Verschiebung in eine Richtung. Alle Ihre Messungen sind um den gleichen Betrag verschoben. Keine Menge an Mittelwertbildung entfernt ihn, denn der Mittelwert vieler voreingenommener Messungen ist immer noch voreingenommen.
Hammings Beispiel aus der Physik: Eine Tabelle der 10 fundamentalen Konstanten (Lichtgeschwindigkeit, Avogadro-Konstante, Elektronenladung, etc.) wurde zusammengestellt und dann 24 Jahre später mit verbesserten Instrumenten erneut zusammengestellt. Im Durchschnitt fielen die neuen Werte 5,267 mal außerhalb der alten angegebenen Fehlergrenzen. Das ist mit zufälligen Fehlern allein nicht erklärbar – Fehler dieser Größe würden erkannt. Die Erklärung: Die alten Instrumente hatten systematische Fehler, die nicht in den angegebenen Unsicherheiten erfasst waren, und die Techniken selbst hatten eine gemeinsame Schwäche, die durch die Gemeinschaft weitergegeben wurde.
Shannons Bemerkung: «Kalibrierung ist das Wichtigste bei Messungen.» Kalibrierung adressiert systematische Fehler. Wenn Ihr Instrument konsequent 3% zu hoch anzeigt, behebt keine Menge wiederholter Messungen das – Sie müssen kalibrieren.
Systematische Fehler identifizieren
Die Hubble-Konstante: die Rate, mit der sich das Universum ausdehnt, gemessen anhand der Rotverschiebungs-Entfernungsbeziehung von Galaxien. Mehrere unabhängige Gruppen haben sie über die letzten 50 Jahre gemessen. Historisch gesehen fielen viele der veröffentlichten Werte außerhalb der Fehlergrenzen anderer veröffentlichter Werte – was bedeutet, dass die Abweichungen größer waren als die angegebenen Unsicherheiten vorhersagten.
Wie testet man, was man nicht testen kann?
Hamming stellt ein Problem dar, das keine saubere Lösung hat, dem sich aber jeder praktizierende Ingenieur irgendwann stellen muss: Wie testet man ein Gerät auf Zuverlässigkeit, wenn das Testen selbst länger dauert als man Zeit hat, und die Test-Ausrüstung weniger zuverlässig ist als das Gerät, das man testet?
Das Szenario: ein Gerät muss 20 Jahre im Feld halten (175.000 Stunden). Ihr Lebensdauer-Testlabor ist auf 10.000 Betriebsstunden ausgelegt. Ihr Testzeit-Budget beträgt 3 Monate (etwa 2.000 Stunden). Das Gerät wird voraussichtlich Betriebstemperaturen bis zu 85°C im Feld ausgesetzt sein.
Beschleunigte Tests: Betreiben Sie das Gerät bei 105°C und gehen Sie davon aus, dass Fehler 10-mal schneller auftreten als bei 85°C (eine häufige Ingenieurfaustregel). Dann stellen 2.000 Stunden bei 105°C die «Äquivalenz» von 20.000 Stunden bei 85°C dar. Aber stimmt das?
Das Problem: Der Fehlermodus bei 105°C könnte anders sein als der bei 85°C. Wenn Lötstellen bei 85°C durch thermische Ermüdung ausfallen, aber bei 105°C durch Oxidation, sagt der beschleunigte Test nichts Nützliches über die Feldlebensdauer aus.
Shannons Rat gilt hier: Kalibrierung – das Verstehen, was Ihre Messung tatsächlich misst – ist der kritische Schritt. Beschleunigte Tests kalibrieren Temperatur gegen Ausfallrate nur, wenn der Fehlermodus gleich ist. Dies zu überprüfen erfordert eine separate Studie.
Einen Lebensdauertest designen
Sie sind ein Zuverlässigkeitsingenieur für ein medizinisches Implantat im menschlichen Körper. Es muss 10 Jahre halten (87.600 Stunden). Ihr Laborbudget ermöglicht 6 Monate Tests (4.380 Stunden). Das Gerät arbeitet bei Körpertemperatur (37°C).