Портфель статистика
Гаммінг відкриває розділ 27 оповіданням. Його друг-статистик у Bell Labs підозрював, що вимірювання в дослідженні були неточними. Він посварювався з керівником відділу, який відмовив у перевимірюванні — 'на приладах є мідні таблички, що засвідчують їхню точність, і мої люди надійні'.
У понеділок статистик прибув і сказав, що залишив портфель у потягу й втратив усі дані. Не було іншого виходу, як перевимірювати. Коли нові результати прибули, статистик виявив оригінальні записи — показуючи, наскільки далеко вони були від істини. Його крок не надзвичайно сподобався, але неточність тепер була очевидною.
Гаммінг виводить більш суворий урок з іншого випадку: дослідження закономірностей телефонних дзвінків, записане тим самим обладнанням центрального офісу, який розміщував дзвінки. Одного дня статистик помітив дзвінок, виставлений в рахунок неіснуючому центральному офісу. Проглядаючи далі, він знайшов великий відсоток дзвінків, які підключалися — на кілька хвилин — до неіснуючих офісів. Машина генерувала погані дані про власне функціонування. Ви не можете довіритися машині, яка збирає дані про себе самоправильно.
Третій приклад: його брат у відділі забруднення повітря Лос-Анджелеса, який вважав необхідним розбирати, збирати і перекалібровувати кожен новий прилад, який вони отримали, незалежно від претензій виробника.
Правило Гаммінга: завжди уважно вивчайте дані перед їхньою обробкою. Вкладіть їх на графік. Шукайте закономірності, які не повинні бути там. Перевіряйте на невідповідності. Незалежно від того, наскільки терміново потрібна відповідь, спочатку протестуйте дані.
Попередня перевірка даних
Дослідження інвентарю Гаммінга: він отримав 18 місяців записів інвентарю для ~100 товарів і наївно вірив запевненню постачальника, що невідповідності було видалено. Пізніше в проекті він знайшов залишкові невідповідності — записи, які не могли статися без помилки (наприклад, зняття з порожнього запасу).
Він дійшов висновку: 'Мені спочатку довелося їх знайти, потім усунути, а потім запустити дані всім сюжетом. З цього досвіду я дізнався ніколи не обробляти жодні дані, поки я не вивчу їх уважно на предмет помилок.'
Два типи помилок
Кожне фізичне вимірювання має два типи помилок:
Випадкова помилка: непередбачувана варіація навколо істинного значення. Вона слідує розподілу (часто приблизно гаусівському), сконцентрованому на істинному значенні. Випадкові помилки компенсуються усередненням: зробіть достатньо вимірювань й середнє наближається до істинного значення.
Систематична помилка (упередженість): постійне зміщення в один бік. Усі ваші вимірювання зміщені на ту саму величину. Ніяке усереднення не видалить його, тому що середнє багатьох упереджених вимірювань все ще упереджене.
Приклад Гаммінга з фізики: таблиця 10 фундаментальних констант (швидкість світла, число Авогадро, заряд електрона тощо) була складена, а потім перекладена через 24 роки з поліпшеними приладами. У середньому нові значення впали 5,267 разів поза старими вказаними смугами помилок. Це неправдоподібно від лише випадкової помилки — випадкові помилки такої величини були б виявлені. Пояснення: старі прилади мали систематичні помилки, не захоплені в вказаній невизначеності, і самі методики мали спільний дефект, переданий через спільноту.
Зауваження Шеннона: 'Калібрування — найважливіша річ у вимірюванні'. Калібрування стосується систематичної помилки. Якщо ваш прилад постійно читає на 3% занадто високо, ніяке повторене вимірювання це не виправляє — ви повинні калібрувати.
Визначення систематичної помилки
Стала Габла: швидкість розширення Всесвіту, виміряна з червоного зміщення-відстані хмара галактик. Кілька незалежних груп вимірювали її протягом останніх 50 років. Історично багато опублікованих значень виходили поза смугами помилок інших опублікованих значень — що означає, що розбіжності були більшими, ніж вказані невизначеності передбачали.
Як ви випробовуєте те, що не можете випробувати?
Гаммінг ставить проблему без чистого рішення, але з якою кожен практикуючий інженер у підсумку стикається: Як ви випробовуєте прилад на надійність, коли саме випробування займає більше часу, ніж у вас є, й ваше випробувальне обладнання менш надійне, ніж прилад, який ви випробовуєте?
Сценарій: прилад повинен прослужити 20 років в полі (175 000 годин). Ваша лабораторія випробування на довговічність розрахована на 10 000 годин експлуатації. Ваш період випробування бюджету — 3 місяці (приблизно 2000 годин). Прилад очікується стикатися з температурами експлуатації до 85°C в полі.
Пришвидшене випробування: запустіть прилад при 105°C й припустіть, що відмови відбуваються в 10 разів швидше, ніж при 85°C (звичайне эмпіричне правило в інженерії). Потім 2000 годин при 105°C 'представляють' 20 000 годин при 85°C. Але це так?
Проблема: режим відмови при 105°C може відрізнятися від режиму відмови при 85°C. Якщо паяні з'єднання виходять з ладу від теплової втоми при 85°C, але від окиснення при 105°C, прискорене випробування нічого корисного не розповідає про довговічність в полі.
Порада Шеннона застосовується: калібрування — розуміння того, що ваше вимірювання насправді вимірює — це критичний крок. Прискорене випробування калібрує температуру проти швидкості відмови лише якщо режим відмови той самий. Перевірення цього вимагає окремого дослідження.
Спроектуйте випробування на довговічність
Ви інженер надійності для медичного приладу, імплантованого в людське тіло. Він повинен прослужити 10 років (87 600 годин). Ваш лабораторний бюджет дозволяє 6 місяців тестування (4380 годин). Прилад працює при температурі тіла (37°C).