Портфель статистика
Хэмминг начинает главу 27 историей. Друг-статистик из Bell Labs подозревал неточность измерений в исследовании. Он поспорил с руководителем отдела, который отказался повторять измерения — «на приборах есть медные таблички, указывающие на эту точность, а мои люди надежны».
В понедельник статистик пришел и сказал, что оставил портфель в поезде и потерял все данные. Не было иного выхода, как переизмерить. Когда новые измерения прибыли, статистик предъявил исходные записи — показав, насколько они были далеки от истины. Его поступок был непопулярен, но неточность теперь была неоспоримой.
Хэмминг извлекает более суровый урок из другого случая: исследование схем телефонных вызовов, записываемых тем же оборудованием центральной станции, которое эти вызовы осуществляло. Однажды статистик заметил вызов, выставленный на счет несуществующей центральной станции. Глубже исследуя, он обнаружил, что большой процент вызовов подключался — на несколько минут — к несуществующим офисам. Машина генерировала плохие данные о своей собственной работе. Нельзя полагаться на машину для правильного сбора данных о собственной деятельности.
Третий пример: его брат в Отделе загрязнения воздуха Лос-Анджелеса, который считал необходимым разобрать, собрать заново и пересчитать каждый новый прибор, независимо от утверждений производителя.
Правило Хэмминга: всегда тщательно проверяйте данные перед обработкой. Постройте график. Ищите паттерны, которых там не должно быть. Проверяйте на несоответствия. Независимо от срочности, сначала протестируйте данные.
Предварительное тестирование данных
Исследование инвентаризации Хэмминга: он получил 18 месяцев записей инвентаризации примерно 100 товаров и наивно верил уверениям поставщика, что несоответствия устранены. Поздно в проекте он обнаружил остаточные несоответствия — записи, которые не могли возникнуть без ошибки (например, изъятие из пустого инвентаря).
Он пришел к выводу: 'Сначала я должен был их найти, потом устранить, а затем снова запустить данные. Из этого опыта я выучился никогда не обрабатывать данные, не проверив их предварительно на ошибки.'
Два типа ошибок
Каждое физическое измерение содержит два типа ошибок:
Случайная ошибка: непредсказуемое варьирование вокруг истинного значения. Она следует распределению (часто приблизительно гауссовому), центрированному на истинном значении. Случайные ошибки нейтрализуются при усреднении: возьмите достаточно измерений и среднее приблизится к истине.
Систематическая ошибка (смещение): постоянное смещение в одном направлении. Все ваши измерения сдвинуты на одну величину. Усреднение не устранит это, потому что среднее смещенных измерений все еще смещено.
Пример Хэмминга из физики: таблица 10 фундаментальных констант (скорость света, число Авогадро, заряд электрона и т.д.) была составлена, а через 24 года пересчитана с улучшенными приборами. В среднем новые значения падали в 5,267 раз вне старых полос ошибок. Это невозможно объяснить только случайной ошибкой — такие ошибки были бы обнаружимы. Объяснение: старые приборы имели систематические ошибки, не учтенные в заявленной неопределенности, и методы содержали общий дефект, распространенный через сообщество.
Замечание Шеннона: 'Калибровка — самое важное в измерении.' Калибровка решает проблему систематической ошибки. Если ваш прибор постоянно читает на 3% выше, усреднение этого не исправит — нужна пересчет калибровки.
Определение систематической ошибки
Постоянная Хаббла: скорость расширения Вселенной, измеренная по красному смещению галактик. Несколько независимых групп измеряли ее за последние 50 лет. Исторически многие опубликованные значения падали вне полос ошибок других значений — разногласия превышали предсказанные неопределенности.
Как тестировать то, что нельзя протестировать?
Хэмминг ставит задачу без чистого решения, но с которой каждый практикующий инженер в конце концов сталкивается: Как тестировать устройство на надежность, когда само тестирование занимает больше времени, чем у вас есть, и ваше оборудование менее надежно, чем тестируемое устройство?
Сценарий: устройство должно прослужить 20 лет в поле (175 000 часов). Ваша лаборатория испытания на долговечность рассчитана на 10 000 часов. Ваш период тестирования — 3 месяца (примерно 2 000 часов). Устройство столкнется с температурами до 85°C в поле.
Ускоренное тестирование: запустите при 105°C и предположите, что отказы происходят в 10 раз быстрее, чем при 85°C (общее инженерное правило). Тогда 2 000 часов при 105°C 'представляют' 20 000 часов при 85°C. Но это правда?
Проблема: режим отказа при 105°C может отличаться от режима отказа при 85°C. Если паяные соединения отказывают из-за термической усталости при 85°C, но из-за окисления при 105°C, ускоренное испытание не расскажет вам ничего полезного о сроке службы на месте.
Совет Шеннона применяется: калибровка — понимание того, что ваше измерение действительно измеряет — это критический шаг. Ускоренное испытание калибрует температуру к скорости отказа только если режим отказа одинаков. Проверка этого требует отдельного исследования.
Разработайте испытание на долговечность
Вы инженер по надежности имплантируемого медицинского устройства. Оно должно прослужить 10 лет (87 600 часов). Бюджет лаборатории позволяет 6 месяцев тестирования (4 380 часов). Устройство работает при температуре тела (37°C).