TL;DR
Когда просишь LLM оценить тон текста — вежливый он или грубый — модель систематически съезжает к ответу "нейтрально", даже там, где человек чётко видит вежливость или хамство. Модель считает вежливость набором конкретных слов ("спасибо", "пожалуйста", "не могли бы вы"), а не контекстом, интонацией и социальной ситуацией — поэтому если явных маркеров нет, она ставит безопасный средний балл.
Представь: ты просишь модель проверить, не резко ли звучит твой ответ коллеге. Текст пассивно-агрессивный, но формально грамотный, без грубых слов. Модель скорее всего скажет "звучит нейтрально". В исследовании эксперты-лингвисты помечали грубость в 25% случаев, а модели — только в 5%. Модель в пять раз реже замечает хамство, чем человек.
Исследователи проверили семь LLM на двух больших наборах текстов с человеческими оценками вежливости и обнаружили: модели гораздо больше похожи друг на друга, чем на людей. Это значит — проблема не в конкретной модели, а в том, как все LLM в принципе "понимают" вежливость. Попытки исправить это промптом (роль эксперта-лингвиста, чеклист критериев) почти не помогли — разрыв с человеческой оценкой не закрылся.
Схема находки
ШАГ 1: Модель оценивает текст по вежливости (шкала или метка: вежливо/нейтрально/грубо)
ШАГ 2: Оценка сравнивается с людьми — краудсорс-разметчиками и экспертами-лингвистами
РЕЗУЛЬТАТ: Модель систематически завышает "нейтрально" и занижает "грубо",
ориентируясь на явные слова, а не на контекст и косвенность
Пример применения
Задача: Ты руководитель отдела, готовишь ответ подчинённому после его ошибки. Хочешь проверить перед отправкой — не звучит ли письмо холодно или пассивно-агрессивно.
Промпт (наивный, не сработает хорошо):
Оцени, вежливо ли написан этот текст: {текст письма}
Модель, скорее всего, просканирует наличие "спасибо"/"пожалуйста" и скажет "нейтрально-вежливо", даже если по сути письмо холодное или уничижительное.
Промпт (с поправкой на известный перекос):
Проверь тон этого письма: {текст письма}
Не ориентируйся только на вежливые слова типа "спасибо" и "пожалуйста".
Обращай внимание на:
- Косвенную грубость и пассивную агрессию
- Контекст: кто кому пишет, какая между ними разница в статусе
- Тон, который может звучать холодно или неуважительно даже при формально
корректных словах
Дай оценку: вежливо / нейтрально / грубо — и объясни вывод через контекст
и подтекст, а не через отдельные слова.
Результат: Модель даст более развёрнутый разбор — обратит внимание на подтекст и динамику отношений, а не просто отсканирует ключевые слова. Полностью проблему это не убирает (см. ограничения), но снижает риск ложного "всё нормально".
Почему это происходит
Модель обучена связывать вежливость с конкретными лексическими сигналами — это то, что легко выучить на текстах. А косвенность, сарказм, статусные нюансы, пассивная агрессия — это контекстные вещи, которые требуют реального понимания ситуации, а не распознавания паттернов слов.
Сильная сторона LLM — точно ловить явные, прописанные словами инструкции и критерии. Поэтому если явно попросить модель "смотри не на слова, а на подтекст и контекст" — она хоть немного смещает фокус анализа. Но полностью компенсировать заученную привычку "нет ругательств — значит нейтрально" промптом не получается: по данным исследования, улучшение формулировки промпта (роль эксперта, чеклист) объясняет лишь 8% различий в точности, тогда как выбор самой модели — 24%.
Шаблон промпта
Проверь тон этого текста: {текст}
Не оценивай вежливость только по наличию слов вроде "спасибо" и "пожалуйста".
Обрати внимание на:
- Косвенную грубость, сарказм, пассивную агрессию
- Контекст ситуации и разницу в статусе между автором и адресатом
- Возможное расхождение между формальной вежливостью слов и реальным
неуважительным смыслом
Оценка: вежливо / нейтрально / грубо.
Объясни вывод через контекст и подтекст, а не через отдельные слова.
Подставь свой текст в {текст} — письмо, комментарий, ответ клиенту, сообщение в переписке.
Ограничения
⚠️ Смещение к нейтральности не убирается полностью: даже с явным промптом модель всё равно склонна занижать реальную грубость. Это свойство того, как модель "видит" вежливость в принципе, а не просто недосмотр в формулировке промпта.
⚠️ Задача сама по себе субъективна: даже эксперты-лингвисты в исследовании согласились друг с другом лишь в 37% случаев. Не жди от модели точности там, где сами люди расходятся.
⚠️ Не для детекции токсичности/оскорблений: это исследование про тонкую грубость без явных ругательств — обычные фильтры токсичности здесь не помогут, речь именно про пассивную агрессию и социальный подтекст.
Как исследовали
Команда взяла два больших набора текстов с человеческими оценками вежливости: один — с непрерывной шкалой (тысячи оценённых просьб из Википедии и форумов), второй — с тремя метками "вежливо/нейтрально/грубо" (16 тысяч текстов). Семь моделей — включая GPT, Claude, Gemini, Grok, DeepSeek и две открытые Llama — прогнали через шесть разных формулировок промпта (от простой инструкции до роли "эксперта по прагматике" с чеклистом признаков).
Чтобы отличить реальную ошибку модели от естественной спорности самой задачи, отдельно наняли пять лингвистов с профильным образованием и попросили их переразметить 318 самых спорных случаев. Оказалось — модели совпадают с экспертами лучше, чем с обычными разметчиками-краудсорсерами, но даже относительно экспертов модель всё равно в разы реже ставит метку "грубо": 5% против 25% у экспертов. Это подтвердило, что перекос к нейтральности — устойчивое свойство модели, а не шум в разметке.
Ресурсы
Polite but Misaligned: Evaluating LLM Politeness Judgments Against Human Pragmatic Norms — Rong Wang (University of Tübingen), Kun Sun, Yadong Guo (Tongji University). Код, промпты и данные: github.com/rong4ivy/llm-politeness