Суть. Классический цикл работы над задачей на данных: понимание задачи, понимание данных, подготовка данных, моделирование, оценка, внедрение. Значение имеет порядок: первый шаг — не данные, а решение, которое должно измениться. Проекты, начатые с шага «у нас есть данные, посмотрим что можно сделать», в подавляющем большинстве не доходят до внедрения.
Шесть шагов
| Шаг | Результат | Признак, что шаг пропущен |
|---|---|---|
| Понимание задачи | Какое решение и как изменится | Цель звучит как «внедрить машинное обучение» |
| Понимание данных | Что есть, какого качества, чего не хватает | О пропусках узнают на этапе обучения |
| Подготовка | Пригодный набор с описанием | Занимает больше времени, чем ожидали, — это норма |
| Моделирование | Воспроизводимый результат | Эксперименты не записываются |
| Оценка | Ответ на вопрос из первого шага | Оценивают точность вместо влияния на процесс |
| Внедрение | Результат встроен в работу | Здесь останавливается большинство проектов |
Почему подход не устарел
Технологии сменились, порядок остался. Больше того: с распространением готовых моделей первый шаг стал ещё важнее — соблазн начать с инструмента вместо задачи вырос многократно.
Шесть шагов и что на каждом решается
| Шаг | Главный вопрос | Где чаще всего останавливаются |
|---|---|---|
| Понимание задачи | Какое решение изменится от ответа | Ответ «хотим посмотреть на данные» |
| Понимание данных | Что у нас есть и насколько этому верить | Данные оказываются неполными |
| Подготовка | Как привести к пригодному виду | Занимает больше половины проекта |
| Моделирование | Какой подход даёт нужную точность | Самый короткий этап, вопреки ожиданиям |
| Оценка | Достаточно ли хорошо для решения | Оценивают точность, а не эффект |
| Внедрение | Как это попадёт в ежедневную работу | Проект умирает именно здесь |
Что делает цикл рабочим
- Первый шаг формулируется как решение, а не как вопрос: «кому из клиентов звонить первым», а не «какие клиенты интереснее».
- Заранее определён порог полезности: с какой точности модель начинает приносить больше, чем текущий способ.
- Возврат назад считается нормой. Понимание данных почти всегда меняет постановку задачи.
- Внедрение планируется на первом шаге, а не после успешной проверки.
Где ломается
Цикл проходят один раз. Он итеративный: после оценки почти всегда возвращаются к данным или к постановке.
Внедрение считают отдельным проектом. Тогда до него не доходят: бюджет заканчивается на этапе оценки.
Начинают с данных, а не с решения. «У нас накопилось много данных, давайте что-нибудь найдём» — самый дорогой способ ничего не найти.
Сравнивают не с тем. Модель сравнивают с идеалом, а надо — с тем, как решение принимается сейчас. Часто текущий способ хуже, чем кажется.
Проверка удалась, работы не изменились. Модель показала хороший результат на данных, но никто не поменял процесс, в котором она должна использоваться.
Перед стартом ответьте на один вопрос: кто и в какой момент рабочего дня будет смотреть на результат модели. Нет такого человека и момента — проект закончится презентацией.
Частые вопросы
Связанное
Проекты на данных проваливаются на первом и последнем шаге. Середина, которой все боятся, обычно самая простая часть.