Принцип «черного ящика». Как превратить неудачи в успех и снизить риск непоправимых ошибок - Мэтью Сайед

Еще одно замечание состоит в том, что рандомизированные испытания не учитывают целостный характер системы. Скажем, некое лекарство может излечивать конкретный симптом и при этом оказывать негативное долгосрочное влияние на организм в целом или не лечить причину болезни. Таблетки от боли в животе могут навредить иммунной системе, что, в свою очередь, скверно скажется на здоровье пациента в долгосрочном плане.

По сути, это замечание предлагает не ограничивать период оценки результатов клинического испытания коротким промежутком времени после принятия лекарства. Кроме того, результат следует оценивать не по конкретному симптому, а по влиянию лекарства на организм в целом. Отсюда видно, что при проведении РКИ важно обращать внимание на долгосрочные последствия. Увы, медики часто этого не делают.

Все эти соображения играют очень мало роли, когда речь заходит о спасении жизни. Если вы оказались в эпицентре эпидемии оспы или лихорадки Эбола, вы захотите вакцинироваться, даже если существует риск через 10–20 лет столкнуться с осложнениями [186].

С учетом этих оговорок можно сказать, что РКИ предлагают великолепный метод проведения достоверных испытаний в сложном мире. Если проводить РКИ тщательно, исчезает двусмысленность, которая может исказить нашу интерпретацию обратной связи. Между тем провести РКИ очень просто.

Возьмем рассмотренный ранее пример с обновленным дизайном веб-сайта. Нужно установить, увеличились продажи благодаря новому дизайну или чему-либо еще. Предположим, что, когда пользователь заходит на ваш сайт, он случайным образом направляется на страницу либо с новым, либо со старым дизайном. Впоследствии вы можете измерить, где покупают больше товаров – на новом сайте или на старом. Этот эксперимент отфильтрует все прочие факторы – процентные ставки, конкурентов, погоду – и выявит скрытую контрфактическую информацию.

С 1950-х гг. в медицине проведено около полумиллиона РКИ. Это спасло сотни тысяч жизней. Но вот что характерно: в некоторых областях РКИ практически не проводятся. В системе уголовного правосудия о них, кажется, почти ничего не знают. Так, в 2006 г. медики провели 25 тысяч РКИ, между тем в области криминалистики и правосудия с 1982 по 2004 г. прошло всего-навсего 85 таких испытаний [187].

Дэвид Хэлперн, один из самых уважаемых аналитиков Великобритании, говорит: «Во многих сферах государственного управления не проводится вообще никаких испытаний. Решения принимаются на основании догадок, интуиции и нарратива. Точно так же обстоят дела во многих сферах за пределами госсектора. Мы летим вслепую, не имея ни малейшего понятия, какие решения правильны, а какие нет. На деле это довольно страшно» [188].

Замкнутые циклы – это не просто занятный феномен, они часть мира, в котором мы живем. Они могут быть маленькими и огромными, малозаметными и очень сложными, они существуют в маленьких компаниях, больших компаниях, благотворительных фондах, корпорациях и правительствах. Большая часть наших представлений о мире никогда не подвергалась нормальному тестированию. И не подвергнется, если мы что-нибудь не предпримем.

Для того чтобы взглянуть на потрясающую бездну между тем, что, по нашему мнению, мы знаем, и тем, что мы знаем на самом деле, давайте вернемся к программе «Испугаться и исправиться». Она казалась весьма эффективной. Статистика наблюдений выглядела убедительно^[37]. Но мы знаем, что программа не уменьшила число преступников, а увеличила его.

Во многих аспектах «Испугаться и исправиться» – метафора не только для государственной политики (возможно, ближайший аналог кровопускания для XX в.), но и для других сфер нашей деятельности. Эту программу могли реализовывать десятилетиями, а то и веками, не подвергая проверке ее итоги.

«Испугаться и исправиться» – это метафора, но прежде всего это предостережение.