← Назад к базе знаний

AI Data Lifecycle — жизненный цикл данных

AI Data Lifecycle — жизненный цикл данных

Суть. Любое решение на данных не лучше самих данных. Жизненный цикл описывает, откуда данные пришли, кто имеет право их использовать, как проверяется качество, где они хранятся и когда удаляются. Без этого модель работает, но объяснить её поведение и защитить перед проверкой невозможно.

Этапы

Этап Ключевой вопрос Что фиксируется
Сбор На каком основании мы это получили Источник, согласие, назначение
Подготовка Что мы с данными сделали Преобразования и их авторы
Хранение Где лежит и кто видит Классификация, шифрование, доступ
Использование Для какой задачи применяется Совпадает ли с изначальным назначением
Контроль качества Данные всё ещё пригодны Полнота, свежесть, дубли, смещение
Удаление Когда обязаны стереть Срок хранения и его исполнение

Что обычно пропущено

Происхождение и назначение. Данные собрали для одной задачи, применили для другой — юридически это отдельное основание, и вопрос всплывает в момент проверки или сделки с крупным заказчиком. Второе — удаление: сроки записаны в политике, а механизма исполнения нет.

Этапы и вопрос, который решается на каждом

Этап Главный вопрос Где обычно теряют
Сбор Откуда взяли и имеем ли право Источник не зафиксирован
Происхождение Через какие преобразования прошли Цепочка обрывается на первой выгрузке
Качество Насколько данным можно верить Проверок нет, есть ощущение
Доступ Кто и на каком основании видит Доступ выдан «на проект» три года назад
Хранение Сколько держим и почему именно столько Держат всё и навсегда
Удаление Как удаляем, включая копии Копии в выгрузках и почте

Почему это стало вопросом бизнеса

Пока данные использовались для отчётов, ошибка стоила неверного графика. Как только на них учится модель, ошибка воспроизводится в каждом ответе и в каждом решении, принятом по этому ответу. Отсюда и требование: у набора данных должен быть источник, владелец и срок жизни — как у любого актива.

  1. Опишите происхождение хотя бы для тех наборов, которые попадают в обучение или в контекст модели.
  2. Разделите данные по чувствительности до, а не после первого инцидента.
  3. Введите срок хранения по умолчанию. Хранить вечно — это решение, и его надо принимать осознанно.
  4. Проверяйте не только точность, но и полноту: пропуски в данных модель заполняет собственными догадками.

Где ломается

Качество проверяют один раз при загрузке. Источник меняет формат, данные тихо портятся, модель деградирует незаметно.

Персональные данные попадают в обучение. Обратно их оттуда не достать.

Владельца нет. Набор данных без ответственного лица через год не понимает никто.

Согласие получили на одно, используют для другого. Данные собирались для оказания услуги, а ушли в обучение модели. Это правовая проблема, а не техническая.

Качество проверяют один раз. Источник меняется, проверка остаётся прежней, деградация обнаруживается через квартал по жалобам.

Удаление работает только в основной системе. Копии в выгрузках, резервных копиях и таблицах аналитиков живут дальше.

Проверочный вопрос перед любым проектом с моделью: сможете ли вы через год объяснить, откуда взялась каждая строка обучающего набора. Если нет — проект несёт риск, который не виден в смете.

Частые вопросы

Нужен ли отдельный человек под это
На старте нет, нужен владелец у каждого значимого набора. Отдельная роль появляется, когда наборов больше, чем помещается в голове.
Что спрашивает крупный заказчик
Чаще всего три вещи: где физически хранятся данные, кто имеет доступ и что происходит при расторжении договора.
С чего начать при полном беспорядке
С перечня: какие наборы вообще есть, кто ими пользуется и кто за них отвечает. Один этот список закрывает половину вопросов.

Связанное

Данные — единственный актив, который дешевеет от небрежности незаметно. Проблема проявляется не в момент ошибки, а в момент, когда на неё сослались.

Материал обновлён 16 августа 2026

Материал оказался полезным?