TL;DR
Когда языковая модель решает математическую задачу, внутри неё "включается" не тема задачи (алгебра, геометрия, вероятность), а конкретный способ решения — перебор вариантов, изоляция переменной, бухгалтерия количеств и так далее. Исследователи посмотрели не на текст ответа, а на внутренние сигналы модели (какие части сети активировались и насколько сильно) и увидели: одна и та же тема может решаться десятками разных внутренних "маршрутов", а разные темы — одним и тем же маршрутом.
Отсюда возникает практическая проблема: если вы просите модель перепроверить ответ, просто переформулировав вопрос, модель почти всегда решает задачу тем же внутренним способом — и повторяет ту же самую ошибку, если она была. Это как попросить человека "проверь себя" — а он просто перечитывает свои же вычисления, не пересчитывая их иначе.
Зато если явно попросить модель решить задачу другим методом (не переформулировкой вопроса, а другим способом решения), она реально переключается на другой внутренний "маршрут" — и это даёт настоящую, а не иллюзорную проверку. В эксперименте такое переключение метода меняло внутреннюю "траекторию" почти всегда, а перефразирование вопроса — почти никогда.
Схема метода
ШАГ 1: Получить первое решение задачи → обычный ответ модели
ШАГ 2: Попросить решить ТУ ЖЕ задачу другим способом (не переформулировку вопроса!) → второй ответ, полученный другим методом
ШАГ 3: Сравнить два ответа → если сошлись — уверенность выше, если разошлись — повод перепроверить руками
Оба шага можно делать в одном чате последовательными сообщениями.
Пример применения
Задача: Вы считаете в чате с ChatGPT финальную стоимость товара на Wildberries после скидки, кэшбэка баллами и промокода — классическая многошаговая арифметика, где легко ошибиться в порядке действий.
Промпт (шаг 1):
Товар стоит 5000 рублей. Скидка на товар 20%. После скидки применяется промокод -10% от новой цены.
Ещё есть кэшбэк 300 баллов (1 балл = 1 рубль), который списывается в самом конце.
Посчитай, сколько я заплачу итого. Покажи расчёт по шагам.
Промпт (шаг 2 — проверка сменой метода, не перефразированием):
Реши эту же задачу другим способом: вместо последовательного применения скидки и промокода
посчитай сначала единый итоговый коэффициент (0,8 × 0,9), а кэшбэк вычти отдельно в самом конце как отдельную операцию.
Покажи новый расчёт и сравни итоговую сумму с предыдущим ответом.
Результат: Модель выдаст два расчёта, сделанных по-разному (последовательно против единого коэффициента). Если суммы совпали — ошибка исключена почти полностью. Если разошлись — вы получите сигнал, что нужно пересчитать вручную или дать модели третий заход с другим методом.
Почему это работает
LLM не "перечитывает" свой ответ, когда вы просите перепроверить — она генерирует его заново, следуя тому же паттерну, который сработал первый раз, потому что вопрос по сути тот же. Перефразирование меняет слова, но не задачу — а модель ориентируется на задачу, не на слова.
Модель хорошо умеет следовать явной инструкции о способе решения — если вы называете конкретный метод (перебор, уравнение, таблица), она реально перестраивает вычисления под него, а не просто рисует другой текст вокруг того же результата.
Метод использует эту особенность: вместо расплывчатого "проверь себя" вы даёте команду на другой алгоритм, и это заставляет модель пройти задачу по-другому — так вы ловите ошибки, которые не поймать повторным чтением того же решения.
Рычаг управления: чем конкретнее вы называете альтернативный метод (не "реши иначе", а "реши через перебор случаев" / "через прямое уравнение" / "через таблицу"), тем выше шанс, что модель реально пойдёт другим путём, а не выдаст косметически изменённый текст.
Шаблон промпта
Шаг 1:
{задача}
Шаг 2 (после получения первого ответа):
Реши эту же задачу другим способом — не пересказывай вопрос заново, а используй другой метод решения:
{альтернативный_метод, например: "через перебор вариантов" / "через одно уравнение" / "через прямое вычисление без промежуточных шагов"}.
Покажи новый расчёт и сравни итоговый ответ с предыдущим.
Что подставлять: в {задача} — исходный вопрос (расчёт, головоломка, планирование бюджета). В {альтернативный_метод} — конкретное название способа, отличного от того, что модель, скорее всего, использовала первым (если не знаете, чем отличаются методы — попросите модель саму предложить два разных способа заранее).
🚀 Быстрый старт — вставь в чат:
Вот принцип проверки ответа через смену метода решения. Адаптируй под мою задачу: {твоя задача}.
Сначала реши задачу обычным способом, затем реши её ещё раз явно другим методом решения (не переформулировкой вопроса), и сравни два ответа.
LLM спросит, какие альтернативные методы применимы к вашей конкретной задаче — потому что для разных типов задач (арифметика, комбинаторика, геометрия) набор доступных "других способов" разный, и модель должна выбрать реально отличающийся метод, а не косметическую переформулировку.
Ограничения
⚠️ Проверено на открытых моделях, не на GPT/Claude напрямую: эксперимент проводился на моделях семейства DeepSeek, Qwen и Mistral с доступом к внутренним активациям. Для закрытых моделей (GPT, Claude), которыми пользуется большинство читателей, вывод логически должен работать так же (архитектура похожая), но напрямую это не проверялось — здесь мы полагаемся на разумное предположение, не на прямые данные.
⚠️ Работает для задач с явными альтернативными методами: приём проверен на математике и логических задачах, где действительно существует несколько разных способов решения. Для творческих, оценочных или субъективных задач ("какой заголовок лучше") понятие "другой метод" плохо определено, и приём может не сработать.
⚠️ Простое "перепроверь себя" — слабая защита от ошибок: если вы просто просите модель перечитать свой ответ или переформулировать вопрос, по данным исследования это почти не меняет внутренний ход решения — и, соответственно, не ловит реальные ошибки.
Как исследовали
Исследователи взяли восемь открытых математических моделей (DeepSeek-R1-дистилляты, Qwen2.5, Mistral/Ministral) разных размеров и прогнали через них 3800 задач из пяти известных математических датасетов — от школьной арифметики до олимпиадных задач. Для каждой задачи модель сначала сама генерировала решение, а затем исследователи "проигрывали" ровно эту же цепочку токенов заново, чтобы снять внутренние сигналы — какие части сети сильнее всего "загорались" и насколько сильно они влияли на итоговый ответ (через градиенты).
Эти сигналы сгруппировали вслепую — без подсказок о теме или подтеме задачи — и получили кластеры. Дальше три независимые проверки: первая показала, что кластеры не случайны (структура реальна во всех 40 комбинациях модель×источник). Вторая — два разных ИИ-судьи (Claude и GPT) независимо оценивали, объединяет ли кластер задачи по общему методу решения, а не по теме, и нашли такое совпадение в 77–82% случаев против 6–11% в случайных контрольных группах. Третья, самая важная для практики: когда исследователи явно просили модель решить задачу другим методом, кластер (внутренний "маршрут") менялся почти всегда (в 7 из 8 условий), а когда просто перефразировали вопрос — кластер почти не менялся.
Удивительно, что даже текст рассуждений модели (если анализировать его как обычный текст) группируется по темам, а вот внутренние сигналы — по методам. То есть модель "думает" про способ решения, а "рассказывает" про тему — это и объясняет, почему просьба "перепроверь себя другими словами" плохо работает как способ поймать ошибку.