Свойство модели сообщать вместе с ответом число, которому можно верить: чем выше уверенность, тем выше фактическая точность.
Почему это важно здесь
Определяет, можно ли пускать систему в автоматический режим. Модель, которая права в 95 случаях из 100, но не сообщает, когда она в оставшихся пяти, автоматизировать задачу не позволяет.
Пример
Ответы с уверенностью выше 0,9 выполняются автоматически, остальные уходят человеку. Доля переключений измеряется и становится показателем зрелости внедрения.
Что это
Модель калибрована, если её уверенность совпадает с фактической точностью: из ответов с уверенностью 80% правильны примерно 80%.
Почему важно
Позволяет автоматически обрабатывать уверенные случаи и отправлять неуверенные человеку. Без калибровки порог уверенности ничего не гарантирует.
Как проверить
Сравнить уверенность модели с фактической точностью на размеченной выборке.
Что это значит
Модель калибрована, если её уверенность совпадает с реальной точностью: из ответов с уверенностью 80% правильны примерно 80%. Некалиброванная модель может быть одинаково уверена и в правильных, и в ошибочных ответах — и тогда её уверенности нельзя доверять.
Зачем это бизнесу
- Можно автоматически принимать решения с высокой уверенностью.
- Случаи с низкой уверенностью направлять человеку.
- Настраивать порог под цену ошибки.
| Уверенность модели | Действие |
|---|---|
| Высокая | Автоматическое решение |
| Средняя | Проверка выборочно |
| Низкая | Решение человека |
Как проверить
На тестовых данных сравните заявленную уверенность с фактической долей правильных ответов в каждой группе. Если расхождение большое — модель нужно калибровать.
Частые вопросы
Рядом
Слой решений, Ложные срабатывания, Приживаемость системы
Материал обновлён 17 октября 2026
Отпечаток текста ff86c45d61ef… · проверить подлинность