TL;DR
Исследователи попросили нейросети поставить себе оценку уверенности при постановке диагноза по фото кожи — и оценка оказалась бесполезной. Модель может написать "уверен на 5 из 5" в сложном спорном случае и "уверен на 2 из 5" в очевидном — цифра никак не связана с тем, права модель или нет.
Причина проста: когда LLM генерирует число уверенности, она не заглядывает в какой-то внутренний "счётчик достоверности". Она просто дописывает правдоподобную цифру тем же способом, каким пишет любой другой текст — по шаблону, а не по расчёту. Поэтому цифра систематически завышена и почти не отличает лёгкие случаи от трудных.
Вторая находка того же исследования: если добавить модели больше контекста о задаче (возраст, симптомы, длительность — в промпте это была доп. информация о пациенте), результат может улучшиться у одной модели и ухудшиться у другой — предсказать заранее нельзя, эффект жёстко зависит от конкретной модели.
Схема метода
Это не техника, а предупреждение + принцип проверки. Схема применения:
ШАГ 1: Не проси у модели "оцени уверенность от 1 до N" как критерий для авто-решений
ШАГ 2: Вместо цифры — проси модель назвать альтернативы, которые она отклонила, и что могло бы изменить ответ
ШАГ 3: Если добавляешь модели доп. контекст — тестируй "с контекстом" и "без" отдельно для своей задачи и своей модели, не полагайся на интуицию "больше данных = лучше"
Пример применения
Задача: Продавец на Wildberries получает от покупателя фото товара с жалобой на брак. Чтобы не гонять каждое обращение через живого оператора, он хочет настроить правило: "если ChatGPT уверен больше чем на 80% — оформляем возврат автоматически, если меньше — передаём человеку".
Промпт (неправильный подход, который показывает находка):
Посмотри на фото товара. Есть ли на нём производственный брак?
Дай оценку уверенности от 1 до 100%.
Почему это плохая идея: модель выдаст число, которое звучит убедительно, но не отражает реальную точность. Она может написать "95% уверен, что это брак" в спорном случае — и "60%" в очевидном. Порог "80% = авто-возврат" будет пропускать ошибки и блокировать нормальные случаи без всякой логики.
Правильный промпт:
Посмотри на фото товара. Есть ли на нём производственный брак?
1) Дай основной вывод.
2) Перечисли, какие альтернативные объяснения ты рассматривал (например: повреждение при доставке, естественный износ, особенность модели) и почему отклонил их.
3) Укажи, что нужно увидеть дополнительно (другой ракурс, серийный номер, упаковку), чтобы вывод стал однозначным.
4) Не указывай процент уверенности — вместо этого напиши: "случай очевидный" / "случай спорный, нужна проверка человеком".
Результат: модель даст вывод без обманчивого числа, а вместо него — прозрачное объяснение, где именно есть сомнение. Это даёт реальный сигнал для маршрутизации ("спорный" → к оператору), а не псевдо-точный процент.
Почему это работает
LLM не имеет внутреннего измерителя "насколько я прав". Когда её просят назвать число, она генерирует текст, похожий на уверенный ответ, а не выполняет расчёт вероятности своей правоты. Это подтверждено и в других исследованиях: самоотчёт модели о своей уверенности плохо переносится за пределы простых тестовых задач.
Зато LLM хорошо умеет объяснять ход рассуждения словами — называть альтернативы, указывать на недостающую информацию, формулировать степень сомнения текстом. Это её реальная сильная сторона.
Метод обходит проблему: вместо бесполезного числа просит модель показать рассуждение, по которому человек сам может судить о надёжности вывода — точно так же, как дерматолог не просто говорит "уверен на 80%", а объясняет клиническую логику.
Рычаг управления: если нужно быстро отсеивать простые случаи от сложных — не используй числовую шкалу, используй текстовую метку ("очевидно" / "спорно" / "нужна проверка"). Такая метка хуже подделывается моделью, потому что требует содержательного объяснения, а не одной цифры.
Шаблон промпта
Проанализируй {задача/объект} на основе {данные — фото, текст, описание}.
1) Дай основной вывод.
2) Перечисли альтернативные варианты, которые ты рассматривал, и почему отклонил каждый.
3) Укажи, какая дополнительная информация могла бы изменить твой вывод.
4) Не давай числовую оценку уверенности. Вместо этого классифицируй случай как:
- "очевидный" — вывод однозначен
- "спорный" — есть весомые альтернативы, нужна проверка
- "недостаточно данных" — нужна дополнительная информация
Подставь в {задача/объект} и {данные} свою ситуацию — от анализа договора до оценки маркетингового креатива.
🚀 Быстрый старт — вставь в чат:
Вот шаблон проверки надёжности вывода без использования обманчивых процентов уверенности.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие альтернативы релевантны именно твоей задаче и какая дополнительная информация важна — потому что для разных задач "спорные" случаи выглядят по-разному.
Ограничения
⚠️ Узкая выборка моделей: проверялись только недорогие модели среднего уровня (GPT-4o-mini, Claude Sonnet 4.6, Gemini 3 Flash Preview). Топовые флагманские модели не тестировались — возможно, у них калибровка уверенности лучше.
⚠️ Эффект добавления контекста непредсказуем и специфичен для модели: нельзя сказать "больше деталей в промпте — всегда хуже" или "всегда лучше". Для одной модели это помогло по всем показателям, для другой — ухудшило по всем. Единственный надёжный способ — тестировать конкретно на своей задаче и своей модели.
⚠️ Маленькая и смещённая выборка случаев: для проверки использовали всего 78 случаев, причём отобранных так, что они оказались сложнее среднего. Абсолютные цифры точности не стоит переносить буквально на лёгкие повседневные задачи.
Как исследовали
Исследователи взяли датасет SCIN — почти 5000 случаев дерматологических проблем, которые сфотографировали сами пациенты на телефон (а не в клинике под хорошим светом), и которые оценивали до трёх сертифицированных дерматологов. Из них выбрали 78 случаев, где были доступны оценки всех трёх врачей, и восстановили индивидуальные диагнозы каждого — по хитрому трюку: врачи перечисляют диагнозы по убыванию уверенности, поэтому скачок уверенности внутри списка означает начало записей следующего врача.
Дальше применили честный протокол leave-one-out: одного врача "выключали", оставшиеся два формировали эталон, и сравнивали с этим эталоном одновременно и выключенного врача, и AI-модель — на одинаковых условиях. Три модели получали фото и играли роль дерматолога, выдавая до трёх диагнозов с рейтингом уверенности 1–5. Половину случаев прогнали с добавлением метаданных пациента (возраст, локализация, симптомы), половину — без.
Результат по точности был предсказуем: по строгим метрикам лучшая (и самая дешёвая) модель сравнялась с уровнем отдельного дерматолога, по мягким — все модели немного отставали. Но два побочных вывода оказались неожиданными: цифра уверенности почти не билась со сложностью случая, а эффект от добавления контекста был противоположным для разных моделей — что противоречит интуитивному "больше данных о пациенте = точнее диагноз".
Ресурсы
Dolphin R., Knowles L. Benchmarking Off-the-Shelf Multimodal AI Models Against Dermatologists on Patient-Captured Skin Images. Датасет: SCIN (Ward et al.). Авторы: независимый исследователь (Дублин, Ирландия) и School of Medicine, University of Limerick.