Суперпрогнозування

 Ще 70 років тому медицина була дещо іншою, заснованою на авторитеті і вірі в те, що ліки працюють. Але Арчі Кокран вирішив, що можна зробити медицину більш науковою і доказовою, такою, як її знають зараз, принаймні, на сайті pubmed.

Філіп Тетлок хоче зробити подібне для прогнозування. І поступово робить!

Він організував волонтерську організацію Good Judgment Project, члени якої читають новини і відповідають на питання, прогнозуючи розвиток здебільшого геополітичних подій. Прогнози короткострокові (до року), з жорстким обмеженням часу, із заданим відсотком вірогідності. До події можна змінювати свій прогноз, обговорювати всередині групи деталі і обов’язково читати новини. Після події аналізується точність, дається обернений зв’язок і вираховується коефіцієнт Браєра.

Виявилося, що серед таких волонтерів є суперпрогнозисти, прогнози яких щонайменше точніші за прогнози професійних прогнозистів і точно більш точні, ніж випадкові “мавпячі” відповіді.

Аналізуючи те, як працюють і думають суперпрогнозисти, а також про типові помилки мислення, які заважають робити прогнози точнішими, Філіп Тетлок написав книжку. І про те, що можна зробити, щоб покращити свої навички прогнозування, весь час підкреслюючи, що це можливо лише на практиці, треба робити прогнози, аналізувати свої помилки, робити наступні прогнози.

Суперпрогнозисти суттєво відрізняються від диванно-інтернетних.

По-перше, дійсно гарні прогнозисти будуть дещо невпевнені в своїх прогнозах, змінювати їх, якщо з’являються нові дані. Тетлок ділить прогнозистів на “їжаків” — впевнених у своїй точці зору, часто ця точка відповідає певній ідеалогії, і на “лис” — таких, що можуть змінювати точку зору і прогноз, якщо дані змінилися. Прогнози лисів точніші, але з екранів частіше прогнозують їжаки, бо вони виглядають впевненіше і заздалегідь відомо, що вони будуть казати.

По-друге — щоб зробити точний прогноз, треба знати ситуацію з багатьох боків і вміти збирати розрізнені дані в єдину картинку — Тетлок це називає баченням бабки. З цієї причини в деяких ситуаціях усереднений прогноз натовпу буде точніший. Наприклад, якщо оцінювати, скільки буде м’яса з живого бика. Чи якщо опитати 63% населення про те, кого вони хочуть бачити президентом на спеціальних бланках в один спеціально обраний день. Тут мабуть одне з найслабших місць диванних прогнозистів, які зазвичай бачать лише одну, до того ж  ідеологічно забарвлену, точку зору.

По-третє, прогнози треба перевіряти і аналізувати. Для цього бажано формулювати і питання, і відповіді так, щоб їх можна було виміряти та зафіксувати, тобто точні дати, вірогідність у відсотках, записати, показати іншим людям. Можна Фермі-зувати, тобто грубо оцінити верхні і нижні межі, використовуючи методи Енріко Фермі, який любив давати задачі студентам про кількість настроювачів фортепіано у Нью Йорку.

На додаток треба мати розвинені навички, які дозволять ретроспективно не змінювати свої прогнози і аналізувати помилки та доречні припущення. “Все пропало” та “все буде добре” – типові прогнози з дивана і одночасно найгірші, особливо якщо потім голосити “я ж казав!”

Існують події, які суттєво впливають на події, але їх складно передбачити – так звані “чорні лебеді”  (автор дружить Талебом), наприклад, виверження вулкану Ейяф’ятлайокютль чи події 9/11 в Америці. Те, що такі події погано прогнозуються, не значить, що прогноз немає сенсу. Велике неконкретне питання можна розбити на велику кількість малих прогнозованих, і дещо обмежити непербачуваність (Фермі-зувати). Чи аналізувати наслідки події, бо зазвичай в дійсності цікавить те, що буде потім (не стільки те, скільки буде коштувати нафта через півроку, а як це може вплинути на окрему родину, країну чи глобальну геополітику).

Звісно, це не все, що є в книзі, але, сподіваюсь, достатньо, щоб зацікавити. 

Додатково в книзі є опис зміни медичних поглядів і оцінки. Дуже пізнавально, особливо якщо пам’ятати, що ще не всі місцеві лікарі використовують доказову медицину. Про це можна прочитати в другому розділі.

В додатку написані десять заповідей цілеспрямованих суперпрогнозистів, але вони не дуже зрозумілі без всієї іншої книжки.