Суть. Полный путь модели: постановка задачи, данные, обучение, проверка, вывод в работу, наблюдение, переобучение, вывод из эксплуатации. Большинство проектов застревает между проверкой и выводом в работу — модель показывает хорошие результаты и остаётся в тетради исследователя.
Этапы
| Этап | Результат | Типичный затор |
|---|---|---|
| Постановка | Решение, которое изменится от модели | Задача сформулирована как «применить ИИ» |
| Данные | Пригодный набор с описанием | Занимает больше времени, чем всё остальное |
| Обучение | Модель с воспроизводимым результатом | Эксперименты не записываются |
| Проверка | Качество на отложенных данных | Проверка на тех же данных, что обучение |
| Вывод в работу | Модель встроена в процесс | Здесь останавливается большинство |
| Наблюдение | Видно ухудшение качества | Не настроено, деградацию замечают клиенты |
| Вывод из работы | Модель отключена осознанно | Забытые модели продолжают влиять на решения |
Главная мысль
Запуск — середина пути. После него начинается расхождение между данными, на которых модель училась, и теми, что приходят в реальности. Без наблюдения качество падает незаметно: ошибки редкие и объясняются частными причинами, пока не станут системой.
Этапы и кто за них отвечает
| Этап | Что происходит | Кто отвечает |
|---|---|---|
| Постановка задачи | Формулируем решение, которое меняется | Бизнес |
| Данные | Сбор, разметка, проверка качества | Совместно |
| Обучение | Выбор подхода, эксперименты | Разработка |
| Проверка | Оценка на данных, которых модель не видела | Разработка и бизнес |
| Вывод в работу | Встраивание в процесс | Владелец процесса |
| Наблюдение | Отслеживание деградации | Владелец системы |
| Переобучение или вывод | Обновление либо остановка | Владелец системы |
Последние три этапа занимают большую часть жизни модели и получают меньшую часть внимания.
Что определяет успех
- Порог полезности задан до начала: с какой точности модель лучше текущего способа принятия решения.
- Проверка идёт на данных другого периода, а не случайной выборки. Иначе результат выглядит лучше, чем будет в жизни.
- Есть план на случай, когда модель недоступна: процесс должен продолжаться в ручном режиме.
- Заранее решено, как часто переобучать и по какому признаку.
Где ломается
Задача без решения. Если по результату модели никто ничего не делает иначе, проект бессмыслен независимо от точности.
Успех меряют точностью. Бизнес-результат и точность связаны неочевидно; мерить надо изменение процесса.
Нет отката. Когда новая версия хуже, вернуться к прежней должно быть делом минут.
Модель обучена на данных, которых не будет в момент применения. Признак, известный только постфактум, даёт отличный результат на проверке и нулевой в работе.
Деградацию замечают по жалобам. Данные меняются, качество падает постепенно, наблюдения нет.
Никто не отвечает после запуска. Команда разработки перешла к следующей задаче, владельца процесса не назначили.
Практическое правило: сначала запустите простое правило без модели и измерьте результат. Часто оно закрывает большую часть эффекта, и это становится честной базой для сравнения.
Частые вопросы
Связанное
Модель — это не результат проекта, а система, требующая сопровождения. Проект заканчивается запуском, расходы начинаются там же.