Суть. В регулируемых отраслях решение, влияющее на человека, должно быть объяснимо: почему отказано в кредите, почему заявка отмечена как подозрительная. Существующие методы объясняют не «почему модель так думает», а «какие признаки сильнее повлияли на этот конкретный ответ» — и разница между этими формулировками существенна.
Два подхода
| Подход | Что даёт | Ограничение |
|---|---|---|
| Вклад признаков | Численную оценку влияния каждого признака на конкретный ответ | Дорого считать на больших моделях; чувствителен к корреляциям |
| Локальное приближение | Простую модель, повторяющую поведение рядом с этим случаем | Объясняет окрестность, а не модель целиком; нестабилен |
Что важно на практике
- Изначально понятная модель часто лучше. Если разница в точности между сложной моделью и понятной невелика, в регулируемой области выбирают вторую.
- Объяснение для человека, а не для аналитика. Список весов не является объяснением для клиента; нужен текст на его языке.
- Фиксация решений. Нужно хранить не только ответ, но и версию модели и входные данные — иначе объяснить решение годичной давности невозможно.
Кому и что нужно объяснить
| Кто спрашивает | Что на самом деле хочет узнать | Что показывать |
|---|---|---|
| Пользователь | Почему именно такой результат у меня | Ключевые факторы решения простыми словами |
| Владелец процесса | Можно ли этому доверять в массе случаев | Качество на разных группах, типичные ошибки |
| Регулятор или заказчик | Кто отвечает и можно ли оспорить | Порядок пересмотра, роль человека |
| Разработчик | Почему модель ошиблась | Данные, признаки, сравнение случаев |
Требование объяснимости почти никогда не означает «покажите устройство модели». Оно означает «дайте основание оспорить решение».
Что делать на практике
- Решите заранее, какой уровень объяснения нужен: для внутреннего помощника достаточно одного, для решения о деньгах клиента — другого.
- Сохраняйте вход и выход каждого решения. Без этого объяснить постфактум невозможно ничем.
- Дайте человеку право пересмотра и опишите, как им воспользоваться.
- Проверяйте объяснения на людях из целевой аудитории. Понятность — свойство читателя, а не документа.
Где ломается
Объяснение принимают за причину. Метод показывает корреляцию влияния, а не причинно-следственную связь.
Объясняют только отказы. Тогда нет базы для сравнения и легко пропустить систематическое смещение.
Считают это технической задачей. Требование к объяснимости определяет выбор модели, а значит принимается до разработки, а не после.
Объяснение подменяют технической справкой. Список весов признаков не помогает ни клиенту, ни юристу.
Объясняют то, чего не было. Постфактум построенное правдоподобное объяснение может не соответствовать реальному ходу решения — это отдельный риск.
Простую модель отвергают ради точности. Иногда разница в точности мала, а разница в объяснимости огромна. Этот размен стоит считать.
Практическое правило: чем сильнее решение затрагивает человека, тем проще должна быть модель. Отказ в услуге объяснить надо, а не оправдать.
Частые вопросы
Связанное
Объяснимость — это не свойство модели, а свойство процесса вокруг неё: журнал, право пересмотра и человек, который отвечает.