Калиброванная уверенность

Свойство модели сообщать вместе с ответом число, которому можно верить: чем выше уверенность, тем выше фактическая точность.

Почему это важно здесь

Определяет, можно ли пускать систему в автоматический режим. Модель, которая права в 95 случаях из 100, но не сообщает, когда она в оставшихся пяти, автоматизировать задачу не позволяет.

Пример

Ответы с уверенностью выше 0,9 выполняются автоматически, остальные уходят человеку. Доля переключений измеряется и становится показателем зрелости внедрения.

Рядом

Слой решений, Ложные срабатывания, Приживаемость системы