Машина научилась повторять за ними

Задайте чат-боту острый вопрос о войне по-английски, а потом тот же вопрос — по-русски, и вы, сами того не зная, пользуетесь двумя разными машинами. Модель не поменялась. Поменялась почва под ней.

Те помощники, к которым сегодня тянется большинство, отвечают на вопрос о том, что было в этом месяце, не по памяти. Они, пока вы ждёте, лезут искать в интернет, пробегают глазами первые несколько ссылок и спокойным, ровным голосом пересказывают вам суть. И этот голос стоит ровно столько, сколько стоит то, на что он случайно наткнулся. А наткнётся он на разное — смотря на каком языке вы спросили.

Вот я и пошёл искать этот шов. Взял три истории, которые российские сети два года толкали особенно упорно и которые с тех пор разобрали по косточкам: будто Зеленский по-тихому купил на западную помощь две суперъяхты,¹ будто его жена спустила больше миллиона долларов в Cartier за одну поездку в Нью-Йорк,² будто семья выкупила одно из поместий короля Карла.³ Всё это — выдумки, каждая. Я поискал каждую дважды, по-английски и по-русски, и прочитал выдачу так, как её читает машина: сверху вниз.

По-английски наверху страницы — опровержение. Reuters, Snopes, PolitiFact, пара европейских фактчекеров. Чтобы добраться до самой лжи, надо прокрутить мимо разоблачений, а когда доберёшься — она сидит на каком-нибудь безымянном видеоканале, на который никто в здравом уме не сошлётся. Машина, пересказывая такую страницу, говорит вам, что история — фейк, потому что «фейк» и есть большая часть страницы.

По-русски те же три запроса возвращаются вывернутыми наизнанку. Опровержения есть. «Проверено.Медиа» — хорошее издание, StopFake — хорошее. Но над ними, и вокруг них, и попросту числом больше — те, кто подал ложь как есть: не какие-то маргинальные блоги, а часть самых крупных имён в русских медиа, а в истории про короля Карла — три государственных канала подряд. У машины, читающей такую страницу сверху, куда больше шансов выдать вам фейк — потому что фейк и есть большая часть страницы.

На этом, в общем-то, почти всё. Но стоит пройти медленнее, потому что интересен вопрос, почему две страницы так не похожи, — а ответ не тот, к которому тянешься первым.

Что машина читает

Начнём с того, как вообще собирается ответ, — потому что от этого зависит, что тут можно починить.

Ложь оказывается в ответе бота двумя путями. Первый — модель впитала её ещё при обучении, месяцы назад, и теперь пересказывает по памяти. Этот путь трудно проделать нарочно и трудно потом доказать: несколько тысяч мусорных статей тонут в миллиардах страниц, на которых модель училась. Когда исследователи полезли искать материалы этой сети в большом открытом обучающем массиве, они нашли их — быстро растущими, но всё ещё крошечными по объёму, — и не смогли подтвердить, что хоть одна модель и вправду запомнила из них хоть слово.⁴

Второй путь — тот, что важен, и обучения он не касается вовсе. Когда вы спрашиваете про что-то свежее, помощник тут же лезет искать в интернет прямо сейчас и зачитывает вам то, что нашёл. Ему не нужно было выучить ложь. Ему достаточно, чтобы ложь лежала там, поближе к верху, в ту секунду, когда он посмотрит. Отравите выдачу — и вы отравили ответ, ни разу не подобравшись к самой модели. Хорошая новость тут в том, что такое отравление обратимо. Компания может вычеркнуть домен из списка того, что её помощнику разрешено читать, — и некоторые уже начали.⁴ А вот заставить модель это забыть так просто не выйдет. Так что беда, которую сегодня реально измерить, живёт в поиске — то есть как раз в той части, которую ещё можно вычистить.

Отсюда очевидный вопрос. Кто наполняет выдачу — и зачем, если её почти никто из живых людей не читает.

Библиотека, построенная ни для кого

В феврале 2024-го французская государственная служба по борьбе с дезинформацией опубликовала вскрытие сети, которую назвала Portal Kombat.⁵ Вся суть — в её устройстве. Тогда это были 193 почти одинаковых сайта, потом больше двух сотен, все на одном шаблоне, многие названы так, чтобы сойти за местный новостной портал: один парижский, один варшавский, десятки под русские города. У них общий хостинговый «отпечаток», и своей журналистики они не производят вовсе. Они копируют. Пылесосят публикации российских госагентств и провоенных телеграм-каналов и перепечатывают их в промышленных объёмах: только пять сайтов из сети выдали больше 150 тысяч статей меньше чем за три месяца. У флагманского телеграм-канала, который питал один из них, было 119 подписчиков.

Задержитесь на этой цифре. Сто девятнадцать. Это издания только по названию: читателя у них нет. Один из сайтов сети, нацеленный на США, набрал, по одному замеру, меньше тысячи заходов за месяц — и люди задерживались на нём в среднем на двадцать девять секунд.⁶ Человеку этими сайтами почти невозможно пользоваться: поиск не работает, прокрутка ломается, стены продублированного текста. Их строили не для человека. Их строили, чтобы они просто были: чтобы оказаться ещё одной ссылкой, ещё на одном языке, по ещё одному глухому вопросу — в тот день, когда искать придёт машина.

Одна американская исследовательская группа в прошлом году дала этому приёму имя — «груминг» языковых моделей, массовое производство лжи ровно с той целью, чтобы влиять на то, что скажет ИИ, — и оценила выработку сети больше чем в 3,6 миллиона статей в год.⁶ К этой цифре стоит отнестись осторожно: это оценка, растянутая из небольшой выборки общественной организацией, и она сама об этом предупреждает. Но направление сомнений не вызывает, как и умысел. Никто не выпускает 3,6 миллиона статей ради 119 подписчиков, если читатель с самого начала не был целью. Читатель тут — машина.

Треть случаев или один из двадцати

Вот здесь история обычно становится пугающей — и вот здесь мне хочется, наоборот, сбавить шаг.

В марте 2025-го NewsGuard — компания, которая оценивает надёжность новостных источников и на этом зарабатывает, — прогнала десять ведущих чат-ботов через пятнадцать ложных утверждений этой сети и сообщила, что боты повторяли их примерно в трети случаев, а семеро из десяти ещё и сослались в ответ на страницы самой сети как на источник.⁷ Треть. Именно эта цифра облетела мир, и получена она в аккуратном тесте.

Через семь месяцев исследование в Misinformation Review Гарвардской школы Кеннеди — работа учёных из Манчестера и Берна, а не самого Гарварда — сообщило о пяти процентах.⁸ Не треть. Один из двадцати.

Две добросовестные команды, один вопрос, разрыв больше чем в шесть раз. Легко было бы решить, что кто-то из них врёт или не умеет считать. Не врёт никто. Они задавали разные вопросы — и, как только видишь, в чём разница, расхождение перестаёт быть скандалом и становится, собственно, выводом.

NewsGuard устраивал проверку на прочность. Два из трёх типов его запросов были построены так, чтобы подвести машину ко лжи или подсунуть ложь как данность, а точные формулировки компания так и не опубликовала — повторить опыт никто не может.⁹ Хуже для громкого заголовка вот что: бота, который поднимал ложное утверждение, чтобы его же и опровергнуть, засчитывали как «повторившего» эту ложь. Вторая команда брала вопросы попроще, опубликовала их все до единого и отделила бота, который цитирует ложь, чтобы её разбить, от бота, который её и вправду поддерживает. И тогда страницы сети всплыли в восьми процентах ответов, но подпёрли собой ложь лишь в одном.⁸ NewsGuard всё это время спрашивал: «смогу ли я сломать эту штуку, если постараюсь?» Исследователи спрашивали: «ломается ли она, когда я не стараюсь?» Оба ответа верны разом, и зазор между ними и есть характер риска: он не размазан ровно по всему, о чём можно спросить, а прячется по закоулкам, до которых надо специально добираться.

Тонкие места

У этих закоулков есть название. Исследователи зовут их информационными пустотами — вопросы, где надёжного, авторитетного материала мало или нет вовсе, и потому побеждает по умолчанию то, что есть, каким бы мусорным оно ни было.¹⁰ Идея старше всей этой истории; её придумали, чтобы описать, как поисковики можно обыграть на редких запросах. Ровно это и обнаружили французские следователи, когда проверяли пропагандистскую сеть: на широком запросе вроде «Франция Украина» она невидима, а вылезает только на узких, конкретных. Толкование у этих исследователей самое сдержанное, и, по-моему, верное: машины тянутся к этому не потому, что их натаскали это любить, а потому, что на узком вопросе рядом почти ничего другого нет.⁸

Теперь верните на место язык. Информационная пустота — не постоянное свойство темы; это свойство темы на языке. И русскоязычный интернет по всему этому классу вопросов — почва куда более зыбкая и грязная. Это не упрёк, это измеримо: когда исследователи проверили поисковики на одном ложном утверждении на нескольких языках, доля ложных результатов оказалась выше по-русски у каждого движка, а на «Яндексе» — том самом, которым русские и правда пользуются, — почти девять из десяти источников по русскоязычному запросу возводились к прокремлёвским изданиям.¹¹ Собственный многоязычный прогон NewsGuard застал чат-боты чаще всего проваливающимися именно на русском — выше любого другого проверенного языка, хотя эта доля провалов считает и повтор лжи, и отказ ответить.¹² На эту конкретную цифру я бы не слишком полагался: такие тесты идут на моделях, которые к моменту чтения уже на версию-другую устарели. Но сама суть от этого не меняется. Опровержение, на которое по-английски натыкаешься сразу, по-русски может оказаться на второй странице — или написанным фактчекером, которого втрое перевесили издания, подавшие историю как есть.

Так замыкается круг — к моим трём запросам и к тому, для кого я, собственно, это пишу. Читатель из диаспоры — тот самый, кто спрашивает по-русски. И часто это вопрос болезненный, до странности конкретный: скандал про правителя, которому ты и так не веришь; цифра, которая подтверждает то, что ты и подозревал. А это как раз те вопросы, где пустота глубже всего, а подсева гуще всего. Машина не врёт вам нарочно. Она добросовестно делает единственное, что умеет: пересказывает вам то, что лежит вокруг. Просто вокруг вас, на вашем языке, лежит другое.

Мой собственный тест — это поиск, а не строгое исследование: выдача меняется от недели к неделе, а реальный пользователь «Яндекса» увидел бы картину хуже, чем я на западном поисковике. Эта нестрогость и делает его полезным: вы можете провести тест сами, прямо сейчас, на тех двух языках, которыми владеете, и увидеть шов своими глазами — а не верить на слово мне, или NewsGuard, или кому угодно.

Что бы я делал на деле

Не бросал бы этим пользоваться. Я пользуюсь каждый день, и советовать людям вернуться к чтению двенадцати новостных сайтов вручную — совет, которому никто не следует. Верный подход — уже, чем это.

Относитесь к машине как к быстрому черновику и никогда — как к последнему слову. Особенно когда ответ льстит тому, во что вы и так верите, или приходит подозрительно конкретным: сумма денег, имя, скандал, о котором вы не слыхали. Эта лесть и эта конкретность — ровно та фактура, что у подсеянного вброса. Когда у ответа такая фактура, спросите помощника, откуда он это взял; нынешние покажут источники, если попросить. И если ответ стоит на трёх сайтах, о которых вы никогда не слышали, — это само по себе и есть ответ. А когда вопрос важен, задайте его дважды, по разу на каждом языке, как сделал я: расхождение между двумя ответами скажет вам больше, чем любой из них по отдельности.

Только не сваливайтесь в другую крайность — ту, что всё русское сплошь ложь. Это явно не так. Русские фактчекеры есть, и они хорошие; беда лишь в том, что до них надо захотеть добраться, а машина сама по себе за вас этого не захочет. Разработчики чистят поисковую часть, вычёркивают худшие домены из списка, и это настоящий прогресс — но это их список, он обновляется по их графику и не закончен, а значит, это не то, чего стоит ждать.

Неуютно тут вот что: ничего из этого не вышло случайно и не целилось в создателей машины. Целилось в вас. Кто-то сообразил, что дешевле всего показать нужное утверждение русскоязычному человеку в Таллинне, Берлине или Чикаго теперь не покупкой рекламы и не своим каналом, а тем, чтобы оставить это утверждение валяться в достаточном числе мест, на нужном языке, — так, чтобы услужливый помощник у вас в телефоне подобрал его и зачитал вам своим рассудительным голосом, без единого отпечатка пальцев. Машина не научилась лгать. Она научилась повторять — а повторять без ссылки на источник и есть весь её замысел. Единственное, что у них не вышло автоматизировать, — маленькое упрямое действие: спросить её, где она это услышала. Вот это пока за вами.