Сигнал и шум. Почему одни прогнозы сбываются, а другие — нет

Это самая сложная для меня книга, из прочитанных за прошлый год. Её чтение растянулось примерно на два месяца, при том что параллельно я больше ни за что не бралась. И в то же время несомненно полученные знания стоили затраченных усилий.

В центре исследования Нейта Сильвера - прогнозы. Прогнозы как вещь в себе, как один из способов познания окружающего мира. Именно поэтому он стремится раскрыть это понятие применительно к разным областям - начиная от политического прогнозирования и биржевых ставок и заканчивая попытками предугадать приход тайфуна или цунами. И если предсказательное поведение политических экспертов - вопрос мне знакомый и поэтому интересный, то, например, бейсбольные и покерные ставки, в силу того, что я равно далека от того и от другого - оказались сферой непонятной, а потому продвигалась я в ней с трудом. Впрочем, даже если вы не являетесь спецом во всем, подобно самому автору, то разнообразного ассортимента примеров, приведенных в книге, все равно будет достаточно для понимания вопроса.

Сильвер ставит перед собой задачу определить, какие факторы могут повлиять на достоверность наших предсказаний и последовательно переходит от одного пункта к другому - нехватка (или избыток) информации, влияние мнения большинства, ловушки нашей собственной психики и даже! мотивы выгоды или её отсутствия. Основными понятиями при этом являются те самые, что и вынесены в заголовок - сигнал и шум, истинные данные и все, что лишь кажется нам таковыми. По сути, от правильной пропорции и зависит достоверность любого прогноза, но тут как в поисках философского камня - проблема как раз том, чтобы эту пропорцию найти. Ах да, немало внимания Сильвер уделяет и самим определениям прогноза, предсказания и достоверности. Книга изобилует множеством сносок и цитатами из огромного количества источников - библиография в конце занимает несколько десятков страниц. Это превращает публицистическое по своему жанру произведение в своего рода научный труд. Читать его непросто и к этому следует быть готовым. Руководствуясь собственным опытом, я бы посоветовала найти для такого чтения отдельное время и стараться поглощать книгу по главе или пол-главы за "подход", в противном случае нить повестования удержать проблематично, а при таком обилии материала это самое важное.

Что касается практического эффекта, то я, конечно, не могу сказать, что с тех пор выдаю какие-то особенно точные прогнозы. Однако книга действительно заставила меня относиться иначе к собственным умозаключениям, и если не разделять сигнал и шум, то по крайней мере пытаться это сделать. Учитывая то, насколько это трудно и то, что прогнозированием в той или иной степени ежедневно занимается мы все, такие попытки уже приносят свои плоды.

Нейт Сильвер, «Сигнал и шум. Искусство и наука прогноза». Интересно, что перед этим, остановившись у стойки художественной прозы, я взял в руки «Шум и ярость» Фолкнера и думал, не прочесть ли его на английском – вдруг то, что было столь тяжёлым в детстве на русском, как тот же Уайлдер, окажется прекрасным в оригинале. Тема шума, видимо, прочно окопалась в подсознании…

Так вот, Нейт Сильвер – тот самый человек, чьи записи в блоге 538 на сайте NYT я раз за разом рекламировал во время американской избирательной кампании 2012 года. Не только и не столько потому, что нужно, когда комментируешь выборы в реальном времени, ссылаться на последние опросы, а потому, что Сильвер после каждой манипуляции с данными подробно объяснял, что и как следует интерпретировать. Причём – здесь уже была заметна его уникальность – несмотря на то, что он работал на фантастически конкурентном рынке, его комментарии почти целиком состояли из объяснений, как можно ошибочно придать прогнозу слишком чёткую интерпретацию. Не скромность – правильное понимание того, что такое прогноз и как соотносятся технические методы анализа данных и общая точность предсказаний.

Впрочем, и скромность тоже – в отличие от множества знаменитостей последнего времени, Сильвер говорит о решающей роли удачи в его собственной славе. Бейсбольный фанат с шести лет, он впервые прославился моделью, прогнозировавший бейсбольные исходы (не только матчи, но и конкретные успехи отдельных игроков). А это, оказывается, один из самых предсказуемых видов спорта вообще. Кстати, Сильвер не зря скромничает: когда он говорит про данные, с которыми работал, получается отлично, но вот когда он приводит примеры из мировой истории, бывают промахи.

… Книга начинается слегка неожиданно: в эпоху Big Data (как это сказать по-русски, чтобы было и точно, и ёмко, и коротко?) нам становится труднее получать и обрабатывать информацию. Наши мозги заточены на поиск стандартных закономерностей в потоке новых данных и мы чаще промахиваемся, если наша исходная модель оказывается неадекватной. А как можно этого избежать, если без простых стереотипов невозможно осваивать новые массивы сведений? Если мы участвуем в каком-то споре, мы всё сильнее встраиваем то, что узнали нового, в свои исходные предпосылки; новая, более полная информация часто разделяет, а не сближает позиции. Тем более, что в последние десятилетия появились каналы информации, «привязанные» к индивидуальному потребителю – от газет и телепередач, рассчитанных на узкие группы однородных читателей/зрителей, то настраиваемых лент новостей, RSS- и т.п.

Сильвер, приведя совсем немного общих соображений, переходит к примерам – он сам начинал с прогнозов в бейсболе и покере и достиг немалых успехов, а известным стал – в тридцать лет – после удачных политических прогнозов 2008 и 2012 годов (в частности, правильно предсказав чуть ли не все исходы кампаний в палате представителей). C бейсболом он, конечно, полный маньяк – многие математические мальчики увлекаются статистикой (и я с интересом вчитывался в год рождения-рост-вес всех игроков высшей лиги в 1985 году), но до такой степени… Однако ещё до этого есть популярное объяснение провалов прогнозистов в преддверии мирового финансового кризиса – и экономистов, и спецов из S&P и Moody. Те, кто интересовался этими вопросами, ничего нового не узнают, но те, кто только задумывается над тем, откуда берутся прогнозы и какие ошибки являются самыми типичными, узнают много интересного. А если подумают, и полезного.

Будущим экономистам – да всем, кто работает с данными, тоже полезно. Удивительно для «прикладника», Сильвер точно понимает, что не бывает работы с данными, тем более с «большими», без теории. Если исходная теория плохая (как предположения S&P о том, что ипотечные облигации слабо коррелированы), работа с данными не поможет. А ведь раз за разом слышишь на семинарах – «у нас не было никакой теории, мы просто поставили, какие нашлись, переменные в правую часть и посмотрите, что вышло». (Совет: такие доклады можно попросту игнорировать. Если у докладчика нет, хотя бы простой, теории, работа – скорее всего мусор.)

Есть книги, которые я рекомендую всем, кто интересуется тем, что интересно мне. Например, «Фрикономику» Дубнера и Левитта, захватывающий гимн экономическим инструментам анализа данных, всесильным и безошибочным. Но мне уже не раз приходилось писать, что вклад Левитта и его последователей в наше понимание того, как устроен мир, куда меньше, чем может показаться на первый взгляд. Конкистадорский подход к данным часто приводит к слишком сильной уверенности в выводах, основанных всего лишь на статистических коэффициентах. А теперь можно рекомендовать «Фрикономику» без ограничений – если за ней сразу идёт «Сигнал и шум» Нейта Сильвера.

Это книга о прогнозировании. А так как все делают прогнозы, то эта книга для всех.
Основная концепция это то что в любой современной области какую ни возьми присутствует как сигнал так и шум. Причем шум можем создавать мы сами своими предрасположенностями как Ежи и Лисы у Тетлока и усталый Каспаров. Или неправильно создавать оверфиттинг нашей модели ориентируясь на внешний шум. Или построить слишком простую модель, или слишком сложную. Или забыть её корректировать после событий которые влияют на сигнал. А за углом стоят Теория Хаоса с Теорией Сложности, которые перемалывают наши модели при каждом взмахе бабочки в Техасе и забытого десятого знака после запятой.
Всё это похоронит Большие Данные - кусок который мы хотим съесть нам не проживать.
И Нейт открывает нам дверь в чудесную Байесляндию где каждый корректирует свой прогноз, либо ставит на него всё. И тем самым мы можем хоть немного стать правдивее в наших прогнозах, чем есть сейчас.
Всё это суть, но завернуто всё это в интервью: с климатологами, которые оказывается одни из лучших прогнозистов, эпидимиологами, cпециалистами по землетрясением, игроками в покер, экономистами увидевшими пузырь на рынке недвижимости, создателями Deep Blue и помошником президентов по национальной безопасности.