TL;DR
Модели, которые прошли через обучение с человеческой обратной связью (то, что мы используем в ChatGPT и Claude), в 10-35 раз чаще выдают неправильные ответы с почти 100% уверенностью — но только на редких, малоизвестных фактах. Необученные "сырые" версии тех же моделей на тех же вопросах честно показывают неуверенность (низкую вероятность), а после alignment-тренировки они начинают выдавать фейковые сущности с уверенностью выше 95%.
Самая болезненная находка: привычные способы проверки не работают. Если вы просите модель ответить ещё раз, чтобы сверить ответы (self-consistency), — в 68% случаев модель повторит ту же самую неправильную версию с той же уверенностью. А если попросить модель "перепроверить себя" — это иногда портит даже изначально правильный ответ. Модель не "не уверена внутри и просто плохо это показывает" — она реально "хлопает" вероятности в конце обработки (в последних слоях нейросети), причём одинаково резко и для правды, и для выдумки.
Учёные проверили пять защитных механизмов на этапе общения с моделью (просить быть осторожнее, самопроверка, голосование по нескольким ответам, контрастное декодирование, порог по энтропии) — все вместе убирают максимум 5-8% таких уверенных ошибок. Настоящее решение требует переобучения модели (метод BDM-DPO), что недоступно обычному пользователю — но зато мы точно знаем, каким сигналам модели нельзя доверять.
Схема диагностики риска
СИГНАЛ 1: Вопрос касается редкой/малоизвестной сущности → зона риска
(нишевый предприниматель, узкая статистика, локальное событие, малоизвестный факт)
СИГНАЛ 2: Модель отвечает уверенно, без "возможно", "точно не помню" →
это НЕ признак правды именно на редких фактах (парадокс!)
ЛОЖНАЯ ПРОВЕРКА: Спросить снова / попросить перепроверить →
68% ошибок повторяются идентично — самопроверка не спасает
ПРАВИЛЬНОЕ ДЕЙСТВИЕ: На редких фактах — верификация через внешний источник
(поиск, документы), а не через повторный запрос к той же модели
Пример применения
Задача: Вы готовите пост для соцсетей или статью и спрашиваете ChatGPT про малоизвестного локального предпринимателя — например, кто и в каком году основал конкретную региональную сеть кофеен или небольшой стартап, о котором мало пишут в интернете.
Промпт:
Кто основал сеть [название малоизвестного локального бренда] и в каком году?
Результат: Модель может выдать конкретное имя и дату с полной уверенностью, без единой оговорки — и это может быть выдумка. Если вы переспросите тем же или похожим вопросом, скорее всего получите тот же самый неверный ответ — что создаст ложное чувство "ну два раза подряд одно и то же, значит правда". На самом деле это ничего не доказывает.
Почему это происходит
Обучение с человеческой обратной связью учит модель звучать уверенно и связно — это хорошо для диалога, но плохо для честности на границе знаний. Внутри сети это выглядит так: до последних 15% слоёв нейросети распределение вероятностей между вариантами ответа остаётся размытым — модель "не решила". А затем в самом конце происходит резкий скачок: разрыв между лучшим и вторым вариантом взлетает с почти нуля до значений выше 4 — и это происходит одинаково резко для правильных и неправильных ответов. Никакого "внутреннего сигнала тревоги" раньше не появляется — поймать обман по промежуточным данным не получится.
Обычные приёмы (спросить снова, попросить сомневаться, голосование по нескольким генерациям) бьют по симптому, но не по причине: причина — в самих весах модели после тренировки, а не в том, как вы формулируете запрос.
Рычаг, который у вас есть: раз внутренняя уверенность модели ненадёжна именно на редких фактах — стройте привычку отдельно проверять факты о малоизвестных сущностях через поиск, а не через повторный вопрос той же модели. Уверенный тон ChatGPT — не аргумент, когда речь о нишевой теме.
Ограничения
⚠️ Самопроверка может навредить: просьба "перепроверь себя" иногда портит изначально правильный ответ, а не только исправляет неправильный.
⚠️ Голосование не работает для этого типа ошибок: если модель уверенно врёт, она обычно врёт одинаково при повторных попытках — сравнение нескольких ответов не поможет обнаружить проблему.
⚠️ Проблема специфична для редких фактов: на мейнстримных, широко известных темах модели ведут себя нормально — риск концентрируется именно в "длинном хвосте" малоизвестных сущностей.
⚠️ Решение недоступно пользователю: метод, который реально исправляет проблему (BDM-DPO), требует переобучения модели — обычный человек в чате этого не сделает.
Как исследовали
Команда взяла пять пар моделей — "сырую" версию и версию после alignment-тренировки — из семейств Mistral, Qwen и LLaMA (от 7 до 14 миллиардов параметров), и прогнала их через 22 267 фактических вопросов (PopQA, TriviaQA, Natural Questions). Для каждого ответа считали не просто "правильно/неправильно", а ещё и уверенность модели, разбивая ответы на четыре группы: уверенно-правильные, уверенно-неправильные (это и есть проблема), неуверенно-неправильные и неуверенно-правильные.
Чтобы убедиться, что дело не в формате диалога, а именно в изменении весов, исследователи прогнали выровненные модели без чат-шаблона — "голым" текстом, как у базовых моделей. Разница осталась в 4-6 раз — значит, дело в самой тренировке, а не в оформлении.
Дальше они залезли внутрь сети через технику Logit Lens (проекция промежуточных слоёв на словарь) и увидели, что "перелом" в сторону ложной уверенности происходит строго в последних 15% слоёв — раньше никаких признаков нет. Это объясняет, почему тестовые защиты (попросить быть осторожнее, самопроверка, голосование) не работают: они пытаются исправить то, что уже "зашито" глубоко в весах модели.