TL;DR
Playbook induction — метод, который превращает обычную языковую модель в узкого специалиста без дообучения (fine-tuning). Модель сама проводит тренировочные попытки задачи, оценивает свои промахи по чек-листу критериев, превращает каждый промах в правило вида "если ситуация X → делай Y → получишь Z", и собирает эти правила в компактный список — плейбук. Этот список потом просто вставляется в промпт как инструкция.
Главная находка: модель и так знает факты — что такое ушная инфекция, как читать аудиограмму, какие бывают диагнозы. Проблема не в знаниях, а в том, что модель не держит порядок действий в голове: то забудет спросить про важный симптом, то не так отреагирует на тревогу пациента, то свалит три вопроса в одну реплику. Исследователи проверили "накидать больше знаний" (RAG — поиск и подстановка справочной информации) — и это либо не помогло, либо сделало хуже: лишний текст справочника мешал держать структуру разговора.
Метод решает это не знаниями, а процедурой. Шесть шагов: (1) составили чек-лист из 21 критерия качества консультации, (2) прогнали 73 тренировочные попытки, (3) после каждой оценили по чек-листу и выписали, что пошло не так, (4) превратили промахи в правила "триггер → действие → ожидаемый эффект", (5) отсеяли бесполезные правила, оставив только доказавшие пользу, (6) заморозили итоговые 19 правил и вставили как контекст в промпт для реальной работы.
Схема метода
ШАГ 1: Составь рубрику — чек-лист критериев качества (например 15-20 пунктов) → список пунктов
ШАГ 2: Проведи тренировочный прогон задачи (диалог/текст) → транскрипт
ШАГ 3: Оцени транскрипт по каждому пункту рубрики + объясни низкие оценки → таблица "оценка + причина"
ШАГ 4: Из каждой низкой оценки выведи правило: ТРИГГЕР → ДЕЙСТВИЕ → ЭФФЕКТ → карточка правила
ШАГ 5: Добавь правило в общий список, убери дубли и то, что не подтвердилось на новых прогонах → компактный список правил (плейбук)
ШАГ 6: Вставь финальный плейбук как системную инструкцию для реальных задач → готовый промпт-ассистент
Шаги 2–5 повторяются циклично на разных тестовых сценариях (в исследовании — 73 раза), пока список правил не стабилизируется.
Пример применения
Задача: Основатель онлайн-школы английского хочет, чтобы чат-бот на сайте вёл продающую консультацию с потенциальным студентом так же чётко, как топовый менеджер: выяснял цель обучения, уровень, бюджет, снимал возражения по цене, предлагал конкретный курс.
Промпт (запуск цикла):
Я хочу создать "плейбук" — набор правил поведения — для AI-ассистента,
который будет вести консультацию: помогать выбрать курс английского
и закрывать на покупку.
Сделаем это циклом:
ШАГ 1 — РУБРИКА
Составь чек-лист из 10 критериев качества такой консультации
(например: выяснил цель, уточнил уровень, ответил на "дорого"
по существу, а не скидкой, и т.д.)
ШАГ 2 — ТЕСТОВЫЙ ПРОГОН
Сыграй консультанта и проведи диалог с клиентом по сценарию:
"Взрослый, уровень между А2 и B1, хочет для работы,
говорит 'дорого' на третьей реплике". Веди диалог естественно,
не подглядывай в рубрику.
ШАГ 3 — ОЦЕНКА И УРОК
Оцени диалог выше по рубрике из шага 1. Там, где оценка низкая,
сформулируй правило:
ТРИГГЕР: [ситуация]
ДЕЙСТВИЕ: [что делать]
ЭФФЕКТ: [что это даёт]
ШАГ 4 — СБОРКА
Добавь правило в список "Правила консультации". Не дублируй похожие.
Повторим цикл 4-5 раз на разных сценариях клиентов,
пока не наберём 10-12 устойчивых правил.
Начни с шага 1.
Результат: модель сначала выдаст чек-лист критериев. Потом на каждой итерации — диалог с "клиентом", разбор по чек-листу, и 1-3 новых правила. После 4-5 циклов получится список из 10-15 конкретных инструкций вида "если клиент говорит 'дорого' — не давай скидку сразу, спроси с чем он сравнивает цену". Этот список можно вставить как системную инструкцию в бота — и качество консультаций станет заметно ровнее и структурированнее.
Почему это работает
Модель плохо держит порядок и приоритеты внутри длинной задачи "в один заход" — она знает все нужные факты, но не выстраивает их в дисциплинированную процедуру сама по себе. Просто дать ей больше справочной информации (RAG) не помогает: справочник — это знания, а не инструкция "когда что делать".
Зато модель отлично умеет оценивать текст по чек-листу и обобщать вывод в структурированную форму — это ровно то, что она делает хорошо в рефлексии.
Метод использует эту силу: заставляет модель саму анализировать свои неудачные попытки и превращать их в явные, компактные правила — а не полагается на то, что модель "само собой" научится вести задачу правильно после одной инструкции.
Рычаги управления: - Число тренировочных прогонов (в оригинале 73) → для простой задачи хватит 5-10 - Число правил в финальном плейбуке (в оригинале 19) → для узкой задачи достаточно 5-8, иначе плейбук раздувается и теряет фокус - Критерии рубрики → полностью зависят от твоей задачи: для продаж — одни пункты, для поддержки клиентов — другие - Три уровня отбора правил (черновик → проверка → ядро) → можно упростить до одного списка "проверенные правила", если не нужна такая строгость
Шаблон промпта
Я хочу создать "плейбук" — компактный набор правил — для AI-ассистента,
который будет выполнять задачу: {задача}.
Сделаем это циклом из 4 шагов:
ШАГ 1 — РУБРИКА
Составь чек-лист из 8-12 критериев качества для этой задачи.
Каждый критерий — конкретное поведение, которое можно оценить.
ШАГ 2 — ТЕСТОВЫЙ ПРОГОН
Сыграй роль {роль ассистента} и выполни задачу на таком сценарии:
{сценарий}. Веди себя естественно, не подглядывай в рубрику.
ШАГ 3 — ОЦЕНКА И УРОК
Оцени результат выше по рубрике из шага 1. Там, где оценка низкая,
объясни почему и сформулируй правило:
ТРИГГЕР: [в какой ситуации это применимо]
ДЕЙСТВИЕ: [что нужно делать]
ОЖИДАЕМЫЙ ЭФФЕКТ: [что это даст]
ШАГ 4 — СБОРКА
Добавь правило в список "Правила выполнения задачи".
Если похожее правило уже есть — не дублируй, уточни формулировку.
Повторим цикл (шаги 2-4) ещё несколько раз на разных сценариях,
пока не наберём 10-15 устойчивых правил. Финальный список я буду
использовать как системную инструкцию для реальных задач.
Начни с шага 1. Моя задача: {задача}
Подставь: {задача} — что должен делать ассистент (вести переговоры, писать отклики на вакансии, консультировать по продукту), {роль ассистента} — кем он выступает, {сценарий} — конкретная тестовая ситуация с деталями.
🚀 Быстрый старт — вставь в чат:
Вот метод создания "плейбука правил" для AI-ассистента через оценку
по рубрике и рефлексию. Адаптируй под мою задачу: {моя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про роль ассистента, типичные сценарии и критерии качества — без этого не составить рубрику и не разыграть тестовые прогоны. Она возьмёт логику цикла из шаблона и подставит твою задачу.
Ограничения
⚠️ Трудоёмкость: метод — это процесс из нескольких циклов "прогон → оценка → правило", а не быстрый промпт. Даже в упрощённом виде на это уйдёт 30-60 минут.
⚠️ Не решает проблему знаний: плейбук учит ПОРЯДКУ действий, а не фактам. Если модель не знает предмет — правила не помогут, нужен отдельный источник знаний.
⚠️ Нужна содержательная рубрика: если критерии оценки расплывчаты ("будь хорошим консультантом"), правила получатся бесполезными общими фразами.
⚠️ Правила могут зашиться под тестовую среду: в исследовании часть правил отражала специфику симулятора (лимит реплик в диалоге), а не реальную практику. При переносе готового плейбука в реальную задачу такие правила нужно перепроверять вручную.
Как исследовали
Исследователи взяли 73 тренировочных случая из аудиологии (реальные клинические кейсы, стандартизированные, на английском и китайском) и прогнали через AI-аудиолога симулированную консультацию с AI-пациентом. После каждой попытки специальный модуль-оценщик проверял диалог по 21-пунктовой рубрике, писал объяснения по каждому пункту и извлекал уроки, а модуль-куратор превращал уроки в правила и добавлял их в трёхуровневый плейбук — отбирая только те, что доказали пользу на повторных прогонах. Получился компактный список из 19 правил, который заморозили перед финальной проверкой.
Дальше 58 новых случаев проверили вслепую: те же консультации вели и AI, и 17 практикующих аудиологов, а 4 независимых эксперта оценивали расшифровки, не зная кто автор — человек или машина. AI выиграл во всех 58 случаях и по 20 из 21 критерия. Любопытная деталь: разрыв был в два раза больше на китайском языке, чем на английском — вероятно, человеческим врачам привычнее вести приём по западным стандартам на английском, а плейбуку язык не важен, он одинаково хорошо работает в обеих версиях.
Отдельный тест показал, что если убрать плейбук и оставить только доступ к базе знаний (RAG) — толку почти нет, а иногда даже хуже: модель и так знает факты, ей не хватало навыка вести приём по шагам, а лишний справочный текст сбивал структуру разговора. Это и есть главный практический вывод — процедура важнее знаний, когда модель уже эксперт по фактам, но не по workflow.