TL;DR
Модель может выбрать неправильный вариант, просто потому что рядом в контексте оказался нерелевантный текст — отзыв, мнение, комментарий. Даже если этот текст никак не отвечает критериям задачи и модель это признаёт в своих рассуждениях, она всё равно на него реагирует.
Представь: ты просишь ассистента найти отель дешевле, с бесплатной отменой, в 10 минутах от метро. Пока модель ищет варианты, она натыкается на отзыв "красивое лобби" о более дешёвом отеле — который не подходит по условию отмены. По правилам должен выбраться другой отель. Но модель выбирает "с красивым лобби", хотя он нарушает прямое требование пользователя. Причина проста: модель не фильтрует контекст по релевантности критериям — она реагирует на общий эмоциональный настрой текста, даже посторонний.
Эффект системный: во всех протестированных моделях — и открытых, и закрытых — простое присутствие негативных отзывов делает модель осторожнее, а позитивных — смелее, причём сдвиг доходит почти до 50 процентных пунктов. То же самое происходит с фактами: пассивный текст повышает доверие к ложным утверждениям, даже если сам не содержит и не подтверждает эту ложь.
Схема принципа (как защититься)
БЕЗ ЗАЩИТЫ: [Критерии] + [Посторонний контент] → [Решение модели]
↳ решение искажается контентом, не связанным с критериями
С ЗАЩИТОЙ (два шага, разные запросы):
ШАГ 1: Извлечь релевантные факты по критериям из "грязного" контекста → чистый список фактов
ШАГ 2: В НОВОМ чистом контексте — только критерии + факты (без отзывов/мнений) → финальное решение
Пример применения
Задача: Ты просишь Claude/ChatGPT с доступом к вебу выбрать поставщика хостинга или сервис для бизнеса — и модель параллельно читает отзывы, форумы, статьи.
Промпт (защита от искажения):
Вот критерии выбора: цена до 5000 руб/мес, SSD-диски, техподдержка 24/7 на русском.
Вот факты о вариантах:
- Reg.ru: 3200 руб/мес, SSD, поддержка 24/7 на русском
- Beget: 2800 руб/мес, HDD, поддержка с 9 до 18
Дополнительно ты можешь встретить отзывы, мнения пользователей или другую информацию о репутации, дизайне панели, скорости ответа поддержки и т.д. — эту информацию НЕ учитывай при выборе, если она не относится к перечисленным выше критериям.
Выбери вариант, полностью соответствующий критериям, и объясни выбор только ссылаясь на критерии и факты выше.
Результат: Модель с большей вероятностью выберет объективно правильный вариант (Reg.ru — соответствует всем трём критериям), не поддавшись на посторонние отзывы о "неудобной панели управления" или "медленной техподдержке в чате", которые не входят в заявленные критерии.
Почему это работает
LLM не умеет автоматически отделять "релевантно теме" от "релевантно решению". Она обучена реагировать на весь текст в контексте целиком, а не выбирать из него только нужные куски — поэтому даже критика привлекает внимание к продукту, который она критикует, и повышает вероятность его выбора.
Сильная сторона модели — она хорошо следует явным инструкциям об источниках информации, если их прописать заранее. Поэтому явное перечисление критериев и прямой запрет использовать "лишнее" снижает искажение — хотя не убирает его полностью.
Рычаг управления: чем чётче ты разделяешь "факты для решения" от "контекст вокруг" — тем меньше искажение. Самый надёжный способ — вынести решение в отдельный чистый чат, куда переносишь только отфильтрованные факты, без исходных отзывов и мнений.
Шаблон промпта
Вот критерии решения: {критерии}.
Вот проверенные факты о каждом варианте: {факты_по_вариантам}.
Дальше может встретиться дополнительная информация — мнения, отзывы, оценки атмосферы, дизайна, репутации и т.д. Эта информация НЕ должна влиять на решение, если она не относится напрямую к перечисленным критериям.
Выбери вариант, который лучше всего соответствует критериям, и обоснуй выбор, ссылаясь только на критерии и факты выше.
🚀 Быстрый старт — вставь в чат:
Вот принцип защиты решения от постороннего контента. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какие именно критерии важны и какие факты у тебя есть по каждому варианту — потому что без явного разделения "критерии/факты" от "контекст вокруг" метод не работает: модель должна точно знать, что можно игнорировать.
Ограничения
⚠️ Частичная защита: просьба "будь объективен" или "критически оценивай информацию" снижает искажение примерно на треть, но две трети эффекта остаются. Это не панацея, а смягчение.
⚠️ Режим рассуждений не спасает: включение "thinking mode" не защищает от искажения — наоборот, чувствительность к постороннему контенту становится выше.
⚠️ Разделение через инструменты не гарантирует изоляцию: если контент приходит как "ответ поискового инструмента" а не как сообщение пользователя, у большинства моделей эффект всё равно сохраняется.
⚠️ Направление отзыва не важно: и похвала, и критика одного и того же (нерелевантного) варианта могут одинаково повысить его шансы быть выбранным — просто потому что на него обратили внимание.
Как исследовали
Команда прогнала одну и ту же задачу дважды — с добавленным посторонним текстом и без него — на восьми моделях (пять открытых: Gemma, Mistral, Qwen, Llama; три закрытых: GPT-5.6, Claude Opus). Использовали четыре типа задач: бытовые организационные решения (осторожность/риск), реальные мнения с Reddit про жильё/энергетику/работу, выбор товара с единственно правильным ответом по цене и характеристикам, и оценку ложных утверждений про ветряную энергетику.
Самое любопытное: даже когда отзыв критикует продукт, вероятность его выбора всё равно растёт — просто потому что на него "обратили внимание" в тексте. А в рассуждениях модели можно увидеть, как она сама признаёт "это не доказательство", но всё равно использует эту информацию как основание для решения.
Вывод исследователей: раз простое упоминание не убирает искажение полностью, надёжнее физически разделять сбор информации и финальное решение — выносить чистые факты в новый контекст, а не надеяться на инструкцию "не поддавайся".
Ресурсы
Reading Too Much into Context: Passive Exposure Can Steer LLM Decisions — Yuxiang Zheng, Lin Tian, Marian-Andrei Rizoiu, University of Technology Sydney (Behavioral Data Science Lab). Отсылка на инцидент Google AI Overviews 2024 года с советом "клей для пиццы".