Пока никто не проверил

Девяносто швейцарских студентов, средний возраст двадцать лет, смотрели видеозапись, на которой два человека давали один и тот же совет, и совет был неверным. Первый говорил: «Можете мне верить, я уверен, что это он». Второй: «Не знаю, но мне кажется… я правда не уверен». Colin Vullioud, Fabrice Clément, Thom Scott-Phillips и Hugo Mercier, снявшие этот ролик с актёрами, спросили зрителей, за кем из двоих они пойдут: 85 процентов ответивших выбрали уверенного. Другой группе из 42 студентов сообщили, что совет был ошибочным: 83 процента захотели наказать уверенного, а 69 процентов — поощрить того, кто сомневался. Когда в другом варианте оба советчика оказались правы, наказать уверенного захотели только 22 процента: наказывали не уверенность, а обещание, которое не сбылось.

До проверки один был уверен, другой нет, и зрители шли за уверенным. После проверки для первого у русского языка нашлось отдельное слово, и это слово само по себе — приговор.

Мой вывод из прочитанного состоит из двух половин. Зал прав, предпочитая уверенного советчика, везде, где говорящему незачем набивать себе цену: там уверенность отражает знание. Платный советчик этому условию не отвечает по самой природе своей работы. Преимущество, которое он получает, держится ровно до тех пор, пока никто не проверяет: когда уверенное утверждение о проверяемом факте оказывается ложным, уверенный советчик теряет больше доверия, чем осторожный, и слушатели переходят на другую сторону. Чтобы перевес сменился, нужны два условия: уверенность, высказанная словами и привязанная к конкретному утверждению, и проверка, которая доходит до слушателя. Уверенность в голосе и осанке переживает ошибку, если не была привязана к утверждению, которое не подтвердилось, а советчика, чьи слова никто не сверяет с исходом, не поймают никогда.

У зала есть причины

Paul Price и Eric Stone показывали студентам двух вымышленных финансовых консультантов, каждый из которых оценил 24 акции. Первый был откалиброван неплохо. У второго каждую оценку сдвинули на 15 пунктов к краю шкалы, а число верных попаданий оставили прежним, так что оба были правы в 75 процентах случаев. В трёх выборках 71, 64 и 63 процента предпочли нанять второго, причём участники третьей выборки видели, что он самоувереннее, и всё равно оценивали его долю верных ответов выше. Авторы объяснили это тем, что люди «считают, что более уверенный консультант чаще даёт однозначно верные суждения и больше знает».

Прежде чем называть это ошибкой, стоит посмотреть, откуда берётся предпочтение. Briony Pulford с коллегами усаживала британских студентов парами за задачу на восприятие, одному давала более надёжные сведения, другому — менее надёжные, платила обоим за общий ответ пары и позволяла разговаривать. Более осведомлённый партнёр был увереннее и решал за двоих, в 86 процентах проб против 8 во втором эксперименте. Когда пары пересадили из-за стола в текстовый канал Slack, значимой разницы не возникло, и авторы написали, что «уверенность передаётся главным образом словами, а не выражением лица, жестами и интонацией». Когда у обоих общая цель, эвристика — это способ передать знание от того, у кого оно есть, тому, у кого его нет. Bahador Bahrami с коллегами нашёл то же на уровне восприятия: пары, говорившие друг другу, насколько уверены, что разглядели малозаметную цель, обходили лучшего из двоих, пока экспериментаторы не портили картинку одному из партнёров.

Сигнал приносит и статус. В парах незнакомцев у Cameron Anderson корреляция между самоуверенностью человека и статусом, который признавали за ним партнёры, составила 0,26, тогда как для реальных способностей — 0,33, и в проектных командах MBA, за которыми наблюдали семь недель, картина была та же.

Так что у зала есть причины. Но все они получены там, где говорящий и слушающий хотели одного и того же и где большинство оказывалось правым. Пары Pulford делили выигрыш; пары Bahrami играли на общий результат. Второе условие менее заметно. Asher Koriat собирал виртуальные пары из ответов отдельных людей и каждый раз брал ответ более уверенного: пары обходили лучшего одиночку, но поскольку уверенность «следует за согласием большинства, а не за правильностью ответа», там, где большинство ошибалось, более уверенный из двоих отвечал хуже, чем лучший из них в одиночку. Группа Pulford вслед за Thomas и McFadyen замечает, что эвристика эффективна только там, где действует норма, связывающая высказанную уверенность с настоящей. Консультанты Price и Stone нарушали эту норму по условиям эксперимента. Так же её нарушает всякий, чей заработок зависит от того, выберут ли его.

Два слова на один сигнал

В английском у этого сигнала одно бытовое слово, confidence, и порок приходится помечать приставкой over-, overconfidence, или вычитывать оценку из контекста. В русском слов два, и приговор вшит во второе. Ожегов определяет самоуверенного как «слишком уверенного в самом себе, в своей непогрешимости»; у Ефремовой он «излишне уверенный в себе, в собственных силах, возможностях». Ушаков обходится без «слишком» и «излишне», его три значения описательны: «всецело полагающийся на себя», «решительный, чуждый сомнений и колебаний», «выражающий высокое мнение о себе», но при всей статье стоит помета «обычно неод.», то есть неодобрительно, а в статье о существительном к «свойству, поведению самоуверенного человека» он добавляет одно слово: «апломб». Уверенность у того же Ожегова — «твёрдая вера в кого-что-н., убеждённость», без всякого указания на избыток; чтобы сделать из неё порок, нужно добавить прилагательное.

Частоты говорят, что язык пользуется этим разделением всерьёз. В частотном словаре Ляшевской и Шарова, построенном на корпусе в 92 миллиона слов, «уверенность» встречается 46,3 раза на миллион, «самоуверенность» — 3,5, то есть примерно в тринадцать раз реже; первое слово стоит около 1100-го места среди 22 050 существительных, второе — около 7300-го. В книжном корпусе Google за 1950–2019 годы разрыв, усреднённый по десятилетиям, держится в пределах от тринадцати с половиной до двадцати двух раз; прилагательные же расходятся по словам почти без остатка: в 2019 году «спокойная» достаётся уверенности в двадцать с лишним раз чаще, чем самоуверенности, «излишняя» — самоуверенности почти в шесть раз чаще, чем уверенности. Только «чрезмерная» к 2019 году делится почти поровну, а в 2000-е чаще доставалась самоуверенности, и это ровно та дорога, по которой в русский вошёл лабораторный термин. Переводчики Kahneman озаглавили третью часть книги «Думай медленно… решай быстро», в оригинале Overconfidence, словами «Чрезмерная уверенность». Русская Википедия завела для того же эффекта «сверхуверенность» — слово, которого в частотном словаре нет вовсе. А автор инвестиционного сайта, пересказывавший Kahneman в декабре 2012 года, обошёлся бытовым словом и написал о «чрезмерной самоуверенности» знаменитых прогнозистов.

Разделение сильное, хотя и не полное: «самоуверенный тон» у Ушакова и у Кузнецова — просто описание тона. Но оно скрывает вопрос, на который словарь не отвечает: слишком уверенный — слишком по сравнению с чем? У Price и Stone оба консультанта были правы в трёх случаях из четырёх, и мерой избытка служила шкала, которой у зрителя нет. В записи Vullioud до проверки один актёр был уверенным; самоуверенным он стал после. Русское слово ставит оценку задним числом, когда исход известен, и этот порядок воспроизводят все эксперименты ниже. Пока никто не проверил, у зала одно слово на двоих.

Тринадцатый удар часов

В 2007 году Elizabeth Tenney, Robert MacCoun, Barbara Spellman и Reid Hastie дали 48 студентам письменное изложение судебного дела. Свидетель говорил либо «Да, сэр, безусловно. Я в этом уверен», либо «Нет, сэр, я в этом не уверен», и половине читателей затем показывали, что он ошибся в побочной детали — во времени события. Без ошибки средняя оценка надёжности составила 5,7 у уверенного против 5,0 у осторожного; с ошибкой кривые пересеклись: 4,6 против 5,2. Статистически в статье проверяется само пересечение, а не каждый разрыв по отдельности. Во втором эксперименте 103 студентов спрашивали, кому из двух свидетелей противных сторон они верят, до и после того, как обоих поймали на ошибке в одной второстепенной детали. Сначала 75,5 процента были на стороне уверенного; потом 58,4 процента встали на сторону осторожного. Доверие потеряли оба, уверенный — больше, а итоговый перевес осторожного был на грани значимости, 3,0 против 2,8 при p около 0,051, так что надёжный результат не в том, что осторожный выходит вперёд, а в том, что уверенный падает глубже и зал меняет мнение. Статья заканчивается фразой: «Иначе тринадцатый удар часов поставит под сомнение остальные двенадцать». Одно уверенное утверждение держит в заложниках все остальные.

Результат воспроизвели исследователи со стороны. Melinda Pozzi и Diana Mazzarella заранее зарегистрировали повторение эксперимента Tenney 2008 года и провели его на платформе Prolific: 108 и 109 взрослых около семи минут читали письменные показания. До всякой проверки уверенный свидетель получал 4,38 против 3,79, и ему верили 63 процента. Когда выяснилось, что оба ошиблись в утверждении, которое можно было проверить, уверенный упал до 2,67, а осторожный поднялся до 4,10; верить уверенному продолжали 22 процента. Когда читателям показывали, что его утверждение опиралось на веские доказательства, уверенный снова собирал 63 процента и возвращался к паритету, но не к стартовой оценке. Осторожного в обоих экспериментах не наказали ни на одном этапе; «недостаток уверенности не вредит», написали авторы.

В той же серии Vullioud с соавторами выставили против уверенного советчика другого, с объявленным послужным списком: двенадцать верных из тринадцати. Выбирали их примерно поровну. После одной и той же ошибки у обоих доверие к обладателю послужного списка держалось на 70 процентах в варианте с денежным стимулом, а в варианте без стимула большинство шедших за уверенным перешло к сомневавшемуся; разрыв был значим в обоих экспериментах и в повторах с удвоенной выборкой.

Заявленная в числах уверенность ведёт себя так же, как заявленная словами. Sunita Sah, Don Moore и Robert MacCoun попросили 184 участника оценивать вес людей по фотографиям с помощью советчика, который заявлял уверенность либо от 85 до 100 процентов, либо от 25 до 35, и после каждой из пяти фотографий оказывался правым или неправым. У этого эксперимента было всё, что нужно для перелома: осторожный советчик и ошибка, показанная как ошибка. Уверенный и неправый получил самую низкую оценку доверия, 2,23 против 2,84 у столь же неправого осторожного; в формулировке статьи, «точные советчики выигрывают от демонстрации уверенности, а уверенные, но неточные получают низкие оценки доверия». Вторая половина фразы устояла; первая не повторилась, когда то же сочетание условий проверили в следующем исследовании. Одна деталь работает против моего тезиса: то, насколько люди сдвигали свои оценки к совету, зависело от точности, а не от уверенности, так что наказание проявилось в словах о советчике, а не в том, что делали с его числами.

Уверенность без утверждения

Всё сказанное выше держится на том, что уверенность привязана к утверждению, которое может не подтвердиться. Tenney вместе с Nathan Meikle, David Hunsaker, Moore и Anderson проверила, что бывает, когда это не так. Четыреста сорок четыре участника с платформы MTurk в заранее зарегистрированном эксперименте оценивали кандидата в напарники, чья самоуверенность передавалась либо письменными утверждениями, либо видеозаписью его манеры держаться. В обоих каналах самоуверенный сначала выигрывал: его выбрали 68 процентов. После того как показывали его реальный результат, 60 процентов читавших его слова предпочли осторожного кандидата, а 67 процентов смотревших видео остались с самоуверенным. «Невербальная самоуверенность приносит репутационную выгоду, потому что от неё можно правдоподобно откреститься», написали авторы; уверенность на видео теряла преимущество только там, где была «явно привязана к утверждению, которое можно опровергнуть». У Pulford канал не имел значения, потому что участникам её пар было чем обмениваться; наблюдателям Tenney оставалось только смотреть на кандидата.

Jessica Kennedy, Anderson и Moore нашли ту же лазейку в настоящих группах. Когда участники узнавали реальные результаты друг друга, тех, кто ставил себя в группе выше, чем следовало, не понижали: преимущество сжималось до незначимого, наказания не появлялось, по сумме обеих фаз они оставались впереди, а в варианте с подставными участниками самоуверенный сохранял статус 4,65 против 3,84 у точно оценившего себя соседа с тем же результатом. В их исследованиях, пишут авторы, «люди подавали невербальные сигналы уверенности без явных и опровержимых заявлений о правоте по конкретному пункту». Проверкой ещё нужно воспользоваться: когда взрослым давали вторую задачу параллельно с оценкой информантов, это «ухудшало их способность пользоваться сведениями о калибровке», установила группа Tenney в 2011 году, тогда как никуда не спешившие взрослые у Pozzi и Mazzarella пользовались ими исправно; нагрузка здесь — предельный случай, а не правило.

Ещё один результат подтачивает мои доводы в пользу оговорок. Утверждение Karmarkar и Tormala 2010 года, что эксперт становится убедительнее, признавая неуверенность, не пережило повторения в формате Registered Report. Erik Løhre с коллегами показали 1018 взрослым американцам ресторанный отзыв то от известного критика, то от сетевого администратора местного колледжа, с оценкой «уверенные 4 из 5» или «неуверенные 4 из 5», и действие оговорки не зависело от того, кто её делал. Определённость помогла эксперту, с величиной эффекта 0,28, но настолько небольшой, что «от открытости в вопросе неопределённости мало что теряешь», а это не то же самое, что выигрыш от неё.

В зале суда у уверенности появляется потолок. Когда Robert Cramer, Stanley Brodsky и Jamie DeCoster показали 299 участникам в роли присяжных видеозапись показаний эксперта в деле, где решался вопрос о смертной казни, эксперт, ровным голосом говоривший «я достаточно уверен», был оценён как более надёжный, чем тот, кто громко, наклонившись вперёд, говорил «я уверен» о каждом утверждении; уверенными обоих сочли в равной мере, так что второй проигрывал в доверии и симпатии.

Где никто не проверяет

Девяносто восемь оплачиваемых участников из местной базы добровольцев, средний возраст около двадцати четырёх лет, разделили на советчиков и угадывающих. Советчики смотрели на фотографии людей и оценивали их вес, распределяя уверенность по нескольким интервалам. Угадывающие, которым платили за точность, в каждом из восьми раундов выбирали, кого из советчиков слушать, а советчик получал два доллара, умноженных на долю выбравших его. К восьмому раунду максимальная уверенность советчиков выросла с 52 до 65 процентов, интервалы сузились, а интервал, на который советчик ставил больше всего, содержал истинный вес в 15 процентах случаев. Угадывающие выбирали по заявленной уверенности, а не по тому, был ли советчик прав в прошлом раунде, и 88 процентов из них сами так и сказали. Авторы эксперимента, Joseph Radzevick и Don Moore, заключили, что покупатели на таком рынке «получают то, за что заплатили». Угадывающие видели в каждом раунде, как справился их советчик, и всё равно покупали уверенность; переходить им, думаю, было не к кому: все советчики давали слишком узкие интервалы, и промах выглядел как вес, выпавший за край, а не как несбывшееся обещание. Когда во втором эксперименте с 80 новыми участниками каждому советчику дали одного угадывающего и соревноваться стало не с кем, максимальная уверенность стояла на месте, от 54 до 56 процентов, а решение слушать дальше зависело от прошлого раунда; интервалы остались узкими, так что работа в паре остановила рост уверенности, но точности никому не прибавила.

Затем Sah, Moore и MacCoun убрали проверку. Во втором исследовании 377 участников в той же задаче с фотографиями оценивали тех же советчиков, но в трёх вариантах. При бесплатной обратной связи уверенного и неправого снова наказали. Без обратной связи уверенный получал более высокую оценку доверия, 3,54 против 3,20, и сильнее сдвигал оценки, был он прав или нет. Когда за каждый взгляд на правильный ответ приходилось платить лотерейным билетом, заплатили хоть раз только 44 процента, и за проверку уверенных советчиков платили реже, так что меньше всего проверяли того, кого проверять было нужнее всего. Sah с соавторами написали, что «когда сведения о точности советчика недоступны или дороги, уверенные советчики берут верх независимо от точности».

Советчики это знают. В исследованиях Alex Van Zant 2022 года люди, советовавшие другим в десяти раундах прогнозов по акциям, заявляли больше уверенности, чем те, кто прогнозировал для себя, и только последние пересматривали оценки после ошибки. Среди 94 работающих профессионалов из восьми областей, от бухгалтерии до продаж, 37 процентов тех, кого подталкивали к саморекламе, против 16 в контрольной группе, признали, что намеренно показывали больше уверенности, чем считали оправданным.

В двадцатилетнем исследовании Philip Tetlock, 284 эксперта и 82 361 вероятностная оценка, те, кто говорил, что их чаще зовут политики, консультанты и пресса, были самоувереннее, r = 0,33, как и те, у кого было больше упоминаний в Google. «Востребованные эксперты были самоувереннее коллег, прозябавших вдали от софитов», написал Tetlock. Обе корреляции теряли значимость, когда он вводил в расчёт свой показатель стиля мышления; о славе он говорит, что «причинная связь, несомненно, действует в обе стороны», а позже, что мнения «ежей», как он зовёт экспертов с одной большой идеей, были нарасхват, потому что «простые решительные утверждения легче упаковать в короткую цитату». Докторские степени, дисциплина, опыт в политике и годы в профессии почти не влияли на калибровку. Влиял стиль. По-русски этот результат доступен в пересказе Kahneman, а более поздняя книга Tetlock и Dan Gardner, Superforecasting, вышла под названием «Думай медленно — предсказывай точно».

Конкуренция не всегда толкает в одну сторону. Когда у Harrison Hong и Marcin Kacperczyk пятнадцать слияний брокерских домов оставляли акцию без одного из следивших за ней аналитиков, оптимистическое смещение у оставшихся умеренно росло, «что согласуется с тем, что конкуренция уменьшает смещение». Но там конкуренция означает соперничество наблюдателей вокруг одной открытой цифры, а не борьбу за покупателя, которому нечем проверить.

Я пишу подписанные технические заключения, отчёты о проверке перед сделкой и аудиты систем ИИ, каждый документ с оговоркой о границах применимости и строкой о том, что заставило бы меня изменить вывод, и с этим документом я проигрывал презентациям поставщиков, где не было ни того, ни другого. Покупатель в той переговорной и есть участник Sah из варианта с платной обратной связью: проверка существует, она чего-то стоит, а слайд не даёт повода за неё платить.

Четверо синоптиков из Зирикзе

В голландском Зирикзе четыре опытных синоптика, никогда прежде не выпускавшие вероятностных прогнозов и не знавшие местной климатической статистики, целый год завышали вероятности по всем показателям, порогам и срокам, при том что погода приходила каждый день, а формальной оценки не было. Исход сам по себе — не то же самое, что счёт. В октябре 1981 года Allan Murphy и Harald Daan сели с каждым из них и разобрали его собственные диаграммы надёжности и оценки успешности прогнозов. Во второй год надёжность улучшилась по каждому виду событий и у трёх синоптиков из четырёх, хотя все четверо всё ещё завышали, а успешность выросла с 13,9 до 25,4 процента по скорости ветра и с 12,4 до 22,4 по видимости. Отделить встречу от года опыта авторы не могли и сказали об этом прямо.

Лучше всего откалиброваны те профессии, где счёт встроен в саму игру. Gideon Keren писал, что калибровка синоптиков «вероятно, объясняется, среди прочего, быстрой и непрерывной обратной связью и многолетней практикой», а его собственные данные переносят это на бридж. Шестнадцать игроков национальных турниров в 448 оценках того, будет ли выполнен контракт, оказались откалиброваны почти идеально; двадцать восемь клубных игроков с многолетним стажем были самоуверенны и говорили «сто процентов» в 29,2 процента своих оценок против 2,5 у мастеров. Практика и обратная связь были и у любителей; мастера отличаются, заключил Keren, «не обязательно объёмом практики как таковой, а построением подходящего структурного представления задачи».

В амбулаторной клинике James Bushyhead и Jay Christensen-Szalanski наблюдали врачей, которые диагностировали пневмонию по рентгену грудной клетки, но назначали его не каждому, у кого она была. Врачи привыкали опираться на признаки, которые казались показательными в этой неполной картине, а те предсказывали пневмонию хуже признаков, связанных с ней у всех больных, не только у обследованных; неполная обратная связь, писали авторы, «может закреплять неэффективную практику назначения рентгена грудной клетки». Единственная жёсткая проверка — вскрытие. В словенском отделении интенсивной терапии по 126 вскрытиям пропущенный диагноз, смертельный, но поддававшийся лечению, нашёлся у двенадцати пациентов, 9,5 процента, по 8,7, 10,0 и 10,5 процента на трёх убывающих уровнях уверенности врачей в диагнозе, слишком мало для чего-либо сверх вывода команды Matej Podbregar: «Никакой уровень клинической диагностической уверенности не предсказывал результатов вскрытия». За десять лет опроса финансовых директоров, который ведёт университет Duke, больше 13 300 годовых прогнозов индекса S&P 500 сопровождались 80-процентными интервалами, и реальная доходность попадала внутрь в 36,6 процента случаев: один исход в год, вперемешку со всем остальным, что за год случилось.

Калибровка встречается и там, где счёт никто не подводил, поэтому я переношу акцент с прогнозиста на покупателя. Пятнадцать аналитиков канадского Секретариата разведывательных оценок с 2005 по 2011 год приписали числовые вероятности 3881 суждению, 1514 из которых можно было сверить с однозначным исходом, в подразделении, которое David Mandel и Alan Barnes описывают как работавшее без систематической обратной связи о качестве прогнозов; при подсчёте они оказались очень хорошо откалиброваны и скорее недооценивали себя. За три года проекта Good Judgment, 494 552 прогноза, средняя уверенность составила 65,4 процента при доле попаданий 63,3, и прогнозисты были откалиброваны в первый же месяц и не улучшались со стажем. Калибровка может существовать без табло. Без табло не может существовать покупатель, который знает, что она есть.

От двадцати до восьмидесяти

В марте 1951 года национальная разведывательная оценка заключила, что нападение советского блока на Югославию в том году «следует считать серьёзной возможностью». Sherman Kent, руководивший Управлением национальных оценок, имел в виду шансы примерно 65 к 35; глава Отдела политического планирования Госдепартамента понял фразу как указание на куда меньшие шансы. Kent опросил коллег по Совету: «самый осторожный думал примерно о 20 к 80, самый смелый — о 80 к 20». Его решение сохранило слова, но привязало короткий их перечень к шансам: «вероятно» — 75 процентов плюс-минус около 12, «почти наверняка» — 93.

Разброс, который Kent нашёл у своего Совета, и есть нормальное состояние языка. Когда Andrew и Michael Mauboussin попросили 1700 человек оценить в процентах 23 выражения вероятности, диапазон, который чаще всего приписывали «реальной возможности», тянулся примерно от 20 до 80 процентов. У 924 читателей восьми настоящих фраз из докладов американской разведки, в заранее зарегистрированном эксперименте, совпадение между тем, что они поняли, и тем, что предписывает директива разведывательного сообщества ICD 203, составило в среднем 32 процента; диапазон директивы, напечатанный в скобках после слова, поднял его до 66.

У размытости есть цена и для прогнозиста. Jeffrey Friedman, Joshua Baker, Barbara Mellers, Tetlock и Richard Zeckhauser измерили её, взяв 888 328 прогнозов Good Judgment и загрубив их до словесных градаций. Сжатие до двух ступеней ухудшило показатели Брайера на 31 процент; округление до семи ступеней ICD 203, где «вероятно» значит от 55 до 80 процентов, стоило в среднем меньше процента, и больше всего лучшим прогнозистам, около 6 процентов. Показатель Брайера, названный по имени метеоролога Glenn Brier, — это средний квадрат разрыва между тем, что вы сказали, и тем, что случилось, где исход записан как 1 или 0, так что на шкале от 0 до 1 прогноз в 60 процентов на событие, которое произошло, даёт 0,16. Средний показатель канадских аналитиков был 0,074 по той же шкале, и поскольку показатели на разных наборах вопросов несравнимы, ставить его рядом с турнирной цифрой нельзя. Слово «калибровка» в этом значении в русский уже вошло, вплоть до популярных пересказов на Хабре.

Денег стоит та оговорка, которая приделана к утверждению снаружи, а не заложена внутрь него. В одиннадцати заранее зарегистрированных исследованиях с 4806 участниками Celia Gaertig и Joseph Simmons нашли, что советчик, предварявший верный совет словами «Я не уверен, но…», получал худшую оценку, и за ним реже следовали, чем за уверенным, тогда как совет, несущий неопределённость в содержании, интервал в 20 пунктов или «шанс 57 процентов», не наказывался, а когда приходилось выбирать одного из двух, 82 процента предпочли советчика, называвшего приблизительную вероятность, советчику, говорившему наверняка; словами Gaertig и Simmons, «советчики выигрывают, выражаясь уверенно, но не выигрывают, сообщая ложную определённость». Совет в этих исследованиях всегда был верным, так что они измеряют вкус к форме слов, а не реакцию на промах.

В пяти экспериментах с 5780 участниками Anne Marthe van der Bles с коллегами обнаружила, что статистика, поданная как числовой интервал, не меняла доверия к источнику, тогда как добавленная фраза о том, что «вокруг этой оценки есть некоторая неопределённость, она может быть несколько выше или ниже», срезала доверие к числу примерно на половину стандартного отклонения в среднем по экспериментам, на три четверти в первом, и заодно доверие к источнику; исследование измеряло доверие, а не то, кого читатели наняли бы. «Я не уверен» у Gaertig и Simmons говорит о говорящем; «может быть несколько выше или ниже» у van der Bles — словесное пожатие плечами над оценкой; «от 55 до 80 процентов» говорит о мире, и слушатели обращаются с этими тремя по-разному.

Строка для проверки

Письменный экспертный документ, оставленный на волю рынка, своих границ не называет. В 300 биомедицинских статьях из тридцати журналов команда Gerben ter Riet нашла, что 27 процентов не называли ни одного ограничения, а среди 219 называвших 84 процента не смягчили выводов, и заключила, что многие авторы «по-видимому, не осознают ограничений или не хотят признавать их даже после рецензирования». Покупатель такого документа покупает доверительное благо, как ремонт или поездку на такси по чужому городу: качество он не может оценить и после оплаты. В первом большом эксперименте с такими благами 936 студентов шестнадцать раундов играли в игру, где продавец диагностирует и устраняет проблему, в которой покупатель не разбирается, и Uwe Dulleck, Rudolf Kerschbamer и Matthias Sutter нашли, что конкуренция «снижает цены и даёт максимальный объём сделок, но не повышает эффективность, пока продавец не несёт ответственности». Эффективность поднимала ответственность продавца за достаточное качество; ближайшее, что есть у письменного заключения вместо такой ответственности, — утверждение, которое читатель может сверить с исходом.

Из всего этого данные выдерживают два вывода. Первый — число или интервал при утверждении, а не оговорка о самом говорящем: та форма, которую слушатели, как выяснилось, принимают. Второй — фраза о том, что изменило бы вывод; её обоснование относится к пишущему, а не к читателю. Asher Koriat, Sarah Lichtenstein и Baruch Fischhoff просили 200 оплачиваемых участников отвечать на вопросы на общую эрудицию, а затем записать один довод, почему выбранный ответ может быть неверным, или один довод, почему верным, или оба. Помог только довод против; словами авторов, «только перечисление противоречащих доводов улучшило адекватность уверенности». Ни одно исследование не проверяет, вознаграждает ли читатель такую строку; её задача — чтобы числу рядом с ней можно было верить. За оговоркой о границах, которую я тоже пишу, эксперимента нет. Свидетельские эксперименты проверяют утверждение, которое может не подтвердиться, а оговорка о границах, записанная как утверждение, именно такова, и её можно поймать на ошибке, как любое другое.

Обучение помогает, стоит недорого и действует не тем, что люди начинают чаще делать оговорки. За четыре года турниров IARPA модуль, рассчитанный меньше чем на час и учивший прогнозистов начинать со статистики похожих случаев, искать информацию, корректировать и обновлять оценки и писать разборы ошибок, «стабильно улучшал точность (показатели Брайера) на 6–11 процентов по сравнению с контрольной группой», сообщают Welton Chang и соавторы, и в двух из четырёх лет выигрыш удалось связать с тем, на что обученные тратили усилия. В эксперименте Lichtenstein и Fischhoff 1980 года по обучению калибровке двенадцать участников прошли одиннадцать сессий по 200 вопросов с напечатанным графиком калибровки после каждой, и почти всё улучшение, их словами, наступило «после получения первой обратной связи».

Счёт может прочесть любой, только когда запись открыта. Из 55 крупных кардиологических испытаний, финансированных NHLBI, 57 процентов опубликованных до 2000 года сообщили об улучшении по основному показателю; из опубликованных с 2000 года, все с предварительной регистрацией, — 8 процентов. В психологии 96 процентов обычных статей, проверяющих гипотезу, сообщили о её подтверждении, против 44 процентов среди Registered Reports. Обе команды авторов воздерживаются от причинного объяснения, и форматы различаются тем, кто их выбирает. Утверждение, закреплённое заранее, сбывается куда реже, так что промах оказывается там, где его видит любой, и это единственное, что открытая запись делает для оговорки о границах: превращает её в утверждение, которое можно засчитать. Проверка добирается только до уверенности высказанной, а не сыгранной, а оговорка, которую не прочёл человек, способный сравнить её с исходом, оказывается в положении участника Sah, которому за проверку надо платить: билета никто не купит.

У Ушакова при слове «самоуверенный» стоит помета: обычно неодобрительно. В записи Vullioud, пока совет не проверили, эту помету не поставил никто, и восемьдесят пять из ста пошли за тем, кто был уверен. Помету ставят потом. Ставит её тот, кто сверил слова с исходом, и у него для этого должно быть что сверять.