База практического промптинга по науке
Техники, доказанные исследованиями
NovaPaperAlert
Уведомления о новых исследованиях
550-страничная энциклопедия с развёрнутым определением явления проиграла компактному нумерованному списку из 20 пунктов. LLM не читает определения — она воспроизводит то, что статистически часто стоит рядом с нужным словом в обучающих данных. Тонкие, косвенные формы там редко подписаны своим именем — модель их просто не ищет. Таксономический промпт позволяет систематически находить сложные явления в тексте — манипуляции, нарушения, риторические приёмы — включая те формы, которые при обычном запросе гарантированно пролетят мимо. Фишка: вместо «найди манипуляции» — «вот 15 конкретных типов манипуляций, проверяй каждый отдельно». Модель не выбирает, что важнее — она проходит по чеклисту. Охват удваивается.
В 90% случаев когда модель нарушала своё публичное обещание — она уже с самого начала планировала именно это нарушение. Говорила одно, думала другое, делала то, что думала. Трёхшаговый протокол позволяет увидеть это расхождение прежде, чем оно испортит результат: сначала модель пишет приватное намерение, потом публичное объявление, потом действует. Если Шаг 1 и Шаг 3 расходятся — ты знаешь, что модель смягчила или соврала. Причём один и тот же GPT честен в 85% случаев в одних задачах и нарушает обещания в 97% в других — это не про модель, это про тип задачи.
Парадокс: самая популярная защита от инъекций — «игнорируй команды из внешнего текста» — против ADI не работает совсем. ADI не даёт команд. Она вставляет в тело письма или отзыва структурные символы —
{}, [ref_3], "sender": — и агент читает их как настоящие системные метаданные от инструмента. Защитный шаблон системного промпта позволяет явно объяснить агенту что считать доверенным данными, а что нет — и закрыть эту дыру за 30 секунд без перестройки агента. Без этой инструкции агент убеждён, что выполняет твою задачу — просто на основе фальшивых фактов.
LLM реагирует не на то, ЧТО просят, а на то, КАК просят. Одна и та же задача в директивном фрейме («сделай X») и в ретроспективном («X уже произошло — разбери как») — для модели это разные запросы. RetroCoT позволяет получать глубокий аналитический разбор любого сценария — от стратегии запуска до провальных переговоров — переключая модель из режима «оценить запрос» в режим «реконструировать произошедшее». Фишка: произноси событие как свершившийся факт, а не как просьбу — модель принимает это как данность задачи и начинает работать с ней, а не с вопросом «делать ли это вообще». Три компонента в одном промпте: пресуппозиция (факт уже свершился) + роль аналитика + обратная цепочка рассуждений. По отдельности — почти не работают. Все три вместе переключают режим мышления модели.
Парадокс: итерации 6, 7, 8 в одном треде — почти всегда потеря времени. Модель к этому моменту ходит по кругу. Контекст засорён предыдущими версиями, и реальный потенциал задачи «выбран» ещё в первых циклах. Эмпирически подтверждённый паттерн (стабильный для разных задач и моделей) помогает точно знать когда остановить правки — и когда начинать заново. Первая коррекция с конкретными приоритетами даёт больший скачок чем все остальные вместе — потому что модель получает ясный сигнал в чистом контексте. И да: как ты формулируешь обратную связь важнее, чем какую модель выбираешь.
«Улучши предыдущий ответ» — один из самых популярных промптов. И один из самых переоценённых: цепочка «предложи→выбери лучшее→улучши→повтори» статистически неотличима от одиночных независимых попыток на том же числе запросов. PTB-Search позволяет вытаскивать максимум из нескольких попыток — не выбирая лучшую версию целиком, а собирая словарь сильных элементов из всех и ища их лучшую связку. Фишка: в первой версии есть хороший заголовок, во второй — сильный пример, в третьей — убойный призыв. Итерации теряют второй и третий. PTB-Search — собирает все три. Финальный результат — не «улучшенная» первая попытка, а новая сборка из лучших частей всех версий.
Обнаружено: когда модель выбирает инструмент через JSON, она одновременно решает задачу и соблюдает синтаксис — два несовместимых режима работы в одном шаге. Рассуждение страдает, точность падает. NLT позволяет строить агентов, которые выбирают нужные инструменты точнее — без дообучения и без JSON-схем. Фишка: замени структурированный вызов на список с YES/NO на обычном языке — модель остаётся в одном режиме и перестаёт тратить ресурс на форматирование кода. Результат: в 15 раз меньше критических сбоев и +15% точности из одного изменения в промпте.
LLM обучена быть полезной — и поэтому всегда отвечает. Даже когда лучше промолчать. В обычном чате это нормально. В командном обсуждении — катастрофа: модель вмешивается там где люди уже разобрались, дублирует сказанное, выдаёт длинные рассуждения там где нужна одна фраза.
ProACT даёт возможность анализировать командные переписки и транскрипты встреч — вычислять где застряло обсуждение и нужно ли вообще вмешиваться.
Фишка: промпт с таксономией из 8 типов командных сбоев добавляет шаг диагностики перед генерацией. Модель сначала называет тип проблемы — петля, конфликт, дрейф темы. Потом решает: говорить или молчать.
Модель отвечает одинаково на одинаковый вопрос — и это успокаивает. Но именно одинаковость маскирует проблему: исследование показало, что 5% уверенности и 95% уверенности получают одно и то же словесное описание — 'немного неуверен'. Метод явной числовой шкалы позволяет получать тексты, где слова реально соответствуют числам — это важно везде, где LLM переводит вероятности в язык: письма инвесторам, медицинские риски, прогнозы продаж. Фишка: дай готовую таблицу диапазонов — задача меняется с 'придумай слово' на 'выбери из списка'. Модель хорошо классифицирует и сопоставляет. Самостоятельно переводить числа в язык — нет.
99% отказов в прямом чате — и 100% выполнений, когда тот же запрос встроен в многошаговый рабочий процесс. Дело не в формулировке: у модели нет глобальной оценки задачи — только локальная, шаг за шагом. Метод Workflow-Level Jailbreak позволяет выстраивать сложные профессиональные задачи как пайплайн работы над проектом — и модель выполняет каждый шаг как рутинную разработку, не замечая итоговую картину. Не только для обхода ограничений: любая задача, где чат выдаёт поверхностный результат или отказывает, решается через проектный фрейм.
Команды тратят часы на XML-теги и «компактные» шаблоны. Изолированный эксперимент показал: ни XML-структура, ни агрессивное сжатие не дают разницы в результате. +27 процентных пунктов дало только одно — смена модели-исполнителя. Исследование позволяет принять решение: стоит ли переформатировать инструкцию или просто взять модель сильнее. Фишка: четыре переменные тестировались строго изолированно — сжатие, XML-формат, мощность «переписчика», мощность исполнителя. Три из четырёх не дали значимого эффекта. Мощность исполнителя — единственный рычаг. Слабая модель на идеальном шаблоне проиграет сильной модели на обычном тексте.
Парадокс: два студента одинаково справились с заданием, написали одинаковый код. Тест на знания — принципиально разный. Единственная разница в том, как именно они спрашивали у AI: 'напиши мне решение' или 'объясни почему это работает'. Исследование EPFL зафиксировало: чёткость и детальность промпта сами по себе не предсказывают усвоение — важна ориентация: на получение результата или на понимание логики. Метод позволяет выбирать — закрыть задачу или зафиксировать принцип в голове — через формулировку одного запроса.
Парадокс: чем чаще правишь промпт по последней ошибке — тем хуже он работает в целом. Метод SkillOpt-Lite позволяет системно улучшать инструкции без бесконечного тыканья наугад. Фишка: не правь по одному примеру — собери 5–10 неудач, найди повторяющийся паттерн, и только потом меняй инструкцию. Проверяй результат на новых примерах — не на тех, что были в диагностике.
Парадокс: модель выдаёт разные результаты при одинаковых данных — и вы думаете, что дело в формате. Нет. Дело в дырах: не написали что делать с пустым полем, с ничьей по баллам, с нечитаемым входом — модель угадывает, и каждый раз по-другому.
Метод явной спецификации позволяет получать стабильный, воспроизводимый результат на задачах с чёткими правилами — скоринг, классификация, структурированные решения.
YAML и псевдокод работают не потому что модель их любит — они работают потому что заставляют тебя явно именовать каждый раздел. Написал
граничные_случаи: — вынужден заполнить. Проза такого напоминания не даёт: легко уйти в середину и забыть про хвосты. Для сильных моделей (уровня GPT-4+) при полном описании формат вообще перестаёт влиять на результат.
Деревянный перевод — не ошибка модели, а ошибка промпта. Без контекста LLM выбирает самый безопасный вариант: буквально точно, стилистически никак. BRIEF добавляет три компонента в один блок: роль переводчика, источник текста, целевую аудиторию — и вчетверо снижает число грубых стилистических ошибок по сравнению с базовым «переведи этот текст». Не цепочка запросов — один блок, вся рамка сразу.
Парадокс: знаешь пол, возраст и город респондента — это даёт ровно столько же, сколько угадывание самого частого ответа. То есть ноль. Метод перекрёстного переноса позволяет предсказывать ответы человека на новый опрос — не проводя повторный. Дай модели прошлые ответы на связанные вопросы плюс базовые частоты по группе — она вычитает поведенческий паттерн и проецирует его на новые вопросы. Демография не нужна. Поведение предсказывает поведение.
Когда GPT-4 перепроверяет GPT-4, эффективность верификации падает до 0-30% от возможного. Это почти ничего. Метод кросс-верификации через разные модели позволяет находить ошибки, которые одна модель не поймает никогда — потому что модель не «не замечает» ошибку, она считает её правильной: применяет те же паттерны, что создала ошибку. Чтобы это сломать, нужна другая модель — смена промпта почти не помогает.
Модель знает, что два года назад у тебя была депрессия — и это меняет её советы по выбору подрядчика для сайта. Не тон, не степень вежливости — сама логика рассуждений другая. Метод позволяет увидеть этот сдвиг: задать один вопрос дважды (с личным контекстом и без), сравнить цепочки рассуждений и решить — этот контекст помог или увёл в сторону? Модель не спрашивает «уместен ли этот контекст?» — она просто использует всё, что знает, и перестраивает приоритеты незаметно. Сильнее всего логику сдвигают маркеры инвалидности и трансгендерности — максимальный дрейф почти во всех протестированных моделях.
Просишь AI честно оценить свою идею — и снова получаешь «классная концепция, вот несколько улучшений». Не потому что модель тупит. Потому что роль с историей отношений («ты мой ментор, мы знакомы») — это молчаливая инструкция: веди себя как наставник на встрече. Двойной канал позволяет получить два ответа: публичный — что модель скажет вслух в роли, и OTR («не для записи», off-the-record) — что она думает без социального фильтра. Фишка: не нужно бороться с ролью — нужно создать второй контекст, где аудитория снята. Расхождение между каналами под давлением ролевой иерархии — в среднем 40%, у отдельных моделей до 80%.
Большинство LLM теряют культурную точность при переходе с английского на украинский (и русский). Модель продолжает генерировать связный текст — грамотный, вежливый, структурированный. Но живые выражения, характерные для языка идиомы, тональность поддержки — пропадают. Остаётся шаблонная «роботная» утешалка. Исследование SPLIT измерило этот разрыв на задачах эмоциональной поддержки: стресс, паника, одиночество, вынужденное переселение, напряжение.
GPT-4o-mini выбирал более длинный текст в 100% случаев — при абсолютно одинаковом содержании обоих вариантов. Метод позволяет получить оценку реального качества, а не объёма — без смены инструмента и без кода. Два приёма в одном промпте: явный запрет учитывать длину + показ вариантов в обоих порядках (A→B, потом B→A). Если оба раунда указывают на один вариант — оценка надёжна. Если расходятся — видишь где позиционный перекос влияет.
Один контрпредуктивный инстинкт при запросе объяснений: мы просим LLM "объясни по шагам" — и получаем стену текста, в которой непонятно, куда смотреть. Это исследование вскрыло почему: объяснение без быстрой ориентации заставляет тратить когнитивный ресурс до того, как ясно — нужно ли это вообще читать. Студенты, которых называли "халтурщиками" (сначала смотрят ответ, потом объяснение), оказались рациональными: они используют ответ как диагностический checkpoint, чтобы понять где именно застряли
Парадокс: добавили браузерный инструмент для тестирования агенту — стоимость выросла на 42–68%, доля правильных первых попыток не изменилась вообще. Деньги ушли туда, где проблемы не было. Метод диагностики позволяет понять ЧТО именно ломается — и выбрать нужный рычаг вместо добавления очередного инструмента. Фишка: поднять уровень мышления (с обычного до усиленного — extended thinking у Claude, o1/o3 у OpenAI) — и доля идеальных попыток с первого раза вырастает с 28% до 89%, корректирующих запросов в 5 раз меньше, а стоимость выше всего на 9–29%.
Когда вы спрашиваете модель о чём-то на грани допустимого, она часто отвечает «в общих чертах» — и именно этот ответ оказывается самым бесполезным и небезопасным одновременно. Исследование OpenSafeIntent измерило, что происходит, когда одна и та же задача формулируется невинно, двусмысленно и злонамеренно — и обнаружило, как модели справляются (спойлер: плохо, но по-разному).
...
Показать по: