Суть. Управление ИИ — это не документ, а повторяющийся цикл: какие системы у нас есть, какой у каждой уровень риска, кто за неё отвечает, что проверяется до запуска и что пересматривается после. С этого начинаются любые требования регуляторов и крупных заказчиков.
Цикл
| Шаг | Содержание | Артефакт |
|---|---|---|
| Учёт | Все системы с ИИ, включая купленные | Реестр с владельцами |
| Классификация | Уровень риска по влиянию на людей | Оценка по каждой системе |
| Требования | Что обязательно для этого уровня | Чек-лист перед запуском |
| Проверка до запуска | Данные, качество, объяснимость, надзор | Решение о допуске |
| Наблюдение | Качество, жалобы, инциденты | Отчёт с периодичностью |
| Пересмотр | Изменилось ли назначение или риск | Обновлённая классификация |
| Вывод | Отключение с сохранением записей | Архив решений |
Зачем это в продажах
Анкеты поставщиков у крупных заказчиков и в регулируемых отраслях уже содержат вопросы про реестр систем и надзор. Компания, у которой есть ответы, проходит проверку за недели, а не за кварталы. Это стало частью коммерческого преимущества, а не только соответствия требованиям.
Этапы управления
| Этап | Что делаем | Кто участвует |
|---|---|---|
| Учёт | Реестр всех систем с моделями, включая купленные и встроенные | ИТ и бизнес-владельцы |
| Оценка риска | Что произойдёт при ошибке модели и кого это затронет | Риск, безопасность, юристы |
| Правила использования | Что допустимо, что требует человека в цикле, что запрещено | Руководство |
| Проверка до запуска | Точность, устойчивость, объяснимость, защита данных | Команда разработки |
| Наблюдение после | Деградация качества, жалобы, необычное поведение | Владелец системы |
Что делает управление работающим
- Уровни риска вместо одного регламента: помощник для черновиков и система, влияющая на решения о людях или деньгах, — разные категории.
- Явное правило о том, где обязателен человек, принимающий окончательное решение.
- Реестр включает то, что купили вместе с продуктом. Большая часть моделей в компании приходит именно так.
- Ответственный за каждую систему назван по имени. «Отвечает ИТ» на практике означает, что не отвечает никто.
Где ломается
Реестр без купленных решений. ИИ внутри чужого продукта — тоже ваша ответственность перед клиентом.
Политика есть, проверки нет. Документ на двадцать страниц, который никто не применяет перед запуском.
Классифицировали один раз. Система, расширенная на новый сценарий, меняет уровень риска молча.
Пишут политику и на этом останавливаются. Документ есть, реестра нет, поэтому область применения политики неизвестна.
Запрещают всё. Тогда сотрудники используют внешние сервисы с рабочего компьютера, и компания теряет и контроль, и данные.
Проверяют один раз перед запуском. Качество модели меняется вместе с данными, и деградация обнаруживается по жалобам клиентов.
Начинать стоит не с политики, а с реестра. Список всех мест, где в компании уже работают модели, почти всегда оказывается длиннее ожидаемого и сам подсказывает приоритеты.
Частые вопросы
Связанное
Управление ИИ начинается с ответа на вопрос «где у нас уже работают модели». Без этого списка любая политика регулирует воображаемую компанию.