Управление рисками ИИ — это не запрет и не комитет, который согласует каждый запрос, а короткая политика, реестр сценариев с уровнем риска, ответственные и несколько обязательных проверок для сценариев высокого риска. Начинать стоит с инвентаризации: какие инструменты уже используют сотрудники и какие данные в них уходят.
Какие риски реальны
| Риск | Как проявляется | Пример меры |
|---|---|---|
| Утечка данных | Сотрудники вставляют договоры и данные клиентов в публичные сервисы | Корпоративные версии с договором об обработке данных, правила, что нельзя передавать |
| Ошибки модели | Уверенные неверные ответы попадают клиенту или в решение | Проверка человеком в сценариях с внешним эффектом |
| Предвзятость | Модель по-разному оценивает кандидатов или клиентов | Запрет автоматических решений о людях без проверки |
| Безопасность | Внедрение инструкций, избыточные полномочия агентов | Минимальные права, журнал действий |
| Правовые | Нарушение требований к персональным данным, авторских прав | Юридическая проверка сценариев высокого риска |
| Зависимость от поставщика | Сервис меняет условия или цены | План выхода, сменяемые компоненты |
Политика на две страницы
- Цель. Использовать ИИ для пользы бизнеса безопасно.
- Разрешённые инструменты. Перечень и способ запросить новый.
- Данные. Что можно передавать, что нельзя: персональные данные, коммерческая тайна, данные клиентов — только в одобренные сервисы.
- Ответственность. Сотрудник отвечает за результат, созданный с помощью ИИ, так же, как за свой.
- Проверка. Внешние документы, код и решения о людях проверяет человек.
- Прозрачность. Когда сообщать клиенту об использовании ИИ.
- Инциденты. Куда сообщать об ошибке или утечке.
Реестр сценариев и уровни риска
| Уровень | Примеры | Требования |
|---|---|---|
| Низкий | Черновики писем, резюме встреч для себя, идеи | Общие правила политики |
| Средний | Ответы клиентам по базе знаний, анализ договоров | Одобренный сервис, выборочная проверка качества |
| Высокий | Решения о людях, финансовые решения, агенты с доступом к системам | Оценка рисков, проверка человеком, журнал, владелец |
Роли
- Владелец ИИ-политики — обычно руководитель ИТ или безопасности.
- Владельцы сценариев — руководители подразделений, где ИИ используется.
- Юрист — проверка сценариев высокого риска и договоров с поставщиками.
- Чемпионы — сотрудники, которые помогают коллегам использовать ИИ правильно.
Как начать за месяц
- Неделя 1 — опрос: какие инструменты и для чего используют.
- Неделя 2 — политика на две страницы и перечень разрешённых сервисов.
- Неделя 3 — реестр сценариев с уровнями риска.
- Неделя 4 — короткое обучение и канал для вопросов и инцидентов.
Пример
Дистрибьютор узнал из опроса, что треть сотрудников использует личные аккаунты публичных ИИ-сервисов, в том числе для анализа договоров с вендорами. Вместо запрета компания подключила корпоративную версию ассистента с договором об обработке данных, выпустила политику на две страницы и провела часовое обучение. Использование выросло, а рабочие документы перестали уходить в личные аккаунты.
Договор с поставщиком ИИ-сервиса
Значительная часть рисков снимается договором, а не внутренними правилами. Перед подключением сервиса для работы с данными компании проверьте: используются ли ваши данные для обучения моделей поставщика, где они хранятся и обрабатываются, сколько хранятся журналы запросов, как удаляются данные по запросу, есть ли договор об обработке персональных данных и какие сертификаты безопасности у поставщика. Для компаний в Казахстане отдельно проверьте требования к размещению персональных данных на территории страны. Подробнее — в карточке договора с ИИ-поставщиком.
Агенты — особые правила
Ассистент, который отвечает на вопросы, и агент, который действует в системах, — разные уровни риска. Для агентов добавьте правила: минимальные права доступа, только действия, нужные для задачи; подтверждение человеком значимых действий — отправки писем клиентам, изменения данных, платежей; журнал всех действий; ограничение расходов и числа операций; возможность мгновенно отключить агента. Риски внедрения инструкций описаны в карточке OWASP Top 10 для LLM.
Как понять, что контроль работает
| Показатель | Что показывает |
|---|---|
| Доля сотрудников на одобренных инструментах | Использование вышло из тени |
| Число сценариев в реестре и их уровни | Компания знает, где использует ИИ |
| Инциденты и время реакции | Есть канал и процесс |
| Выборочная проверка качества ответов | Ошибки модели ловятся до клиента |
Обучение сотрудников
Политика без обучения остаётся документом. Достаточно часовой сессии: зачем правила, какие инструменты разрешены, какие данные нельзя передавать, как проверять результат, куда сообщать о проблемах. Полезно показать два-три реальных примера ошибок модели — уверенный неверный ответ запоминается лучше любого пункта политики. Повторяйте коротко раз в полгода и при подключении новых инструментов.
Реестр сценариев: пример заполнения
| Сценарий | Данные | Уровень | Владелец | Контроль |
|---|---|---|---|---|
| Черновики писем клиентам | Имена, контекст сделки | Средний | Руководитель продаж | Корпоративный сервис, отправка только человеком |
| Анализ договоров | Условия, суммы, реквизиты | Средний | Юрист | Корпоративный сервис, проверка юристом |
| Скоринг кандидатов | Резюме, персональные данные | Высокий | HR-директор | Только подсказка, решение — человек, проверка на предвзятость |
| Агент разбора заявок | Входящие письма, CRM | Высокий | Владелец процесса | Минимальные права, журнал, подтверждение новых клиентов |
Реестр пересматривается раз в квартал и при каждом новом сценарии. Он же становится ответом на вопросы клиентов и аудиторов «как вы используете ИИ».
Как говорить с клиентами об ИИ
Корпоративные клиенты всё чаще спрашивают поставщиков: используете ли вы ИИ при работе с нашими данными? Лучшая стратегия — заранее подготовленный короткий документ: какие инструменты применяются, какие данные в них попадают, где они обрабатываются, кто проверяет результат. Прозрачность снижает число вопросов в опросниках безопасности и становится конкурентным преимуществом там, где конкуренты отвечают уклончиво.
Что забрать с собой
- Начните с инвентаризации реального использования.
- Политика — короткая и понятная, а не толстый регламент.
- Уровень контроля зависит от риска сценария.
- За результат ИИ отвечает человек.
- Корпоративный инструмент лучше запрета.
Нужно ли запрещать ChatGPT и аналоги?
Запрет обычно уводит использование в тень. Эффективнее дать одобренный инструмент и правила.
Есть ли стандарт управления ИИ?
Да, например ISO/IEC 42001 описывает систему менеджмента ИИ. Для небольшой компании достаточно его логики, без сертификации.
Кто отвечает за ошибку ИИ перед клиентом?
Компания и сотрудник, который отправил результат. Поэтому внешние материалы проверяет человек.
Отпечаток текста f07f62b7b560… · проверить подлинность