Актуализировано: 28 августа 2026
Чтобы безопасно использовать искусственный интеллект, выберите одну повторяемую задачу, ограничьте входные данные и заранее определите допустимый результат. Программа может подготовить рекомендацию или цепочку действий, но человек должен видеть источники, неизвестные факты и нарушения правил и одобрять любое значимое внешнее действие. Чем серьёзнее возможный вред ошибки и чем выше самостоятельность системы, тем строже тестирование, доступ, журналирование и возможность отката.
Какие понятия важно объяснить до пробного запуска?
Агент искусственного интеллекта — программа, которая выполняет цепочку действий для заданной цели. Обязательное одобрение человеком означает реальную возможность проверить, исправить или отклонить действие, а не формальную кнопку над готовым текстом. Экран проверки должен показывать получателя, использованные факты, допущения, результат проверки правил и последствия отправки.
Вредная инструкция во входных данных может заставить модель игнорировать правила; её проверяют отдельными тестами. Технические данные использования помогают заметить ошибки, но должны быть минимальными и защищёнными. Откат возвращает систему к безопасному состоянию, а оценка качества проводится на заранее подготовленных примерах, включая отказ и противоречивые факты.
Профиль NIST для генеративного ИИ — добровольная система управления рисками, а не сертификат соответствия закону. Правовой вывод для конкретного процесса требует специалиста.
Актуализировано: 28 августа 2026
Самая опасная формулировка проекта с ИИ — «пусть агент сам всё сделает». Она скрывает четыре разных решения: какие данные использовать, что считать качеством, какие действия разрешить и кто отвечает за ошибку. Автоматизировать можно работу; ответственность должна оставаться назначенной.
Какие прогнозы, наблюдения и правила дают контекст?
Gartner 28 июля 2026 года спрогнозировал, что к 2028-му агентов ИИ в продажах будет в десять раз больше, чем продавцов, но менее 40% продавцов скажут, что агенты повысили продуктивность. В опросе 210 директоров и старших руководителей продаж, проведённом в начале 2026 года, 60% сообщили, что показатель выручки во многом зависит от неподконтрольных им факторов. Gartner прогнозирует, что руководители, перестроившие данные, автоматизацию и пользовательский опыт, будут в пять раз чаще получать окупаемость, чем выбравшие быстрые точечные исправления. Это прогноз и опрос, не гарантированный исход.
Microsoft Work Trend Index 2026 сочетает технические данные использования и международные опросы. Среди пользователей ИИ 50% назвали контроль качества результата особенно важным человеческим навыком, 46% — критическое мышление; 86% считают результат отправной точкой, а не финальным ответом. Авторы отдельно показывают статистическую связь условий внутри организации и сообщаемого эффекта, подчёркивая: статистическая связь не равна причинной связи. Документированные передачи контекста и правила качества чаще встречаются у более зрелой группы пользователей.
NIST AI RMF Generative AI Profile — добровольный сопроводительный материал к AI Risk Management Framework. Он предлагает выстроить управление, описание контекста, измерение и работу с риском и помогает рассматривать риски по жизненному циклу, а не только проверять один ответ модели.
В России статья 16 № 152-ФЗ ограничивает решения, основанные исключительно на автоматизированной обработке персональных данных, если они порождают юридические последствия или затрагивают права и законные интересы. Исключения связаны с письменным согласием или федеральным законом; оператор должен объяснить порядок и последствия, дать возможность возражения и рассмотреть его. Конкретную систему необходимо оценивать с юристом.
Информационный материал, не юридическая консультация.
Матрица риска
Оцените два измерения: влияние ошибки и самостоятельность действия.
- Низкое влияние / подсказка: черновик резюме, поиск дубликата. Нужны источник и лёгкая проверка.
- Среднее влияние / рекомендация: приоритет компании, рекомендуемое следующее действие. Нужны объяснение факторов, наблюдение за систематическими искажениями и подтверждение владельца.
- Высокое влияние / внешнее действие: отправка сообщения, изменение цены, отклонение потенциального клиента. Нужны строгие правила, предварительный просмотр и одобрение человеком.
- Критическое влияние / решение о правах: автоматическое решение, затрагивающее права человека. Не запускайте как обычную автоматизацию продаж; требуется отдельная правовая оценка риска.
Нельзя снижать категорию потому, что модель «обычно права». Важен худший реалистичный эффект и масштаб выполнения.
Как устроить действенное одобрение человеком?
Кнопка «одобрить» не является контролем, если человеку показывают только гладкий текст. Экран проверки должен содержать:
- запланированное действие и получателя;
- использованные факты со ссылками на источники;
- неизвестные данные и допущения;
- проверки правил и причину остановки;
- изменения относительно одобренного шаблона;
- возможность исправить, отклонить и передать специалисту;
- журнал того, кто и когда принял решение.
Для массовых действий используйте выборочную проверку только после доказанной стабильности процесса с небольшим риском. Высокорисковые действия не становятся безопасными из-за большого объёма.
Пробный запуск на один рабочий процесс
- Выберите повторяемую задачу, например черновик сообщения после встречи.
- Запишите исходное значение времени и ошибок до ИИ.
- Ограничьте вход минимальными разрешёнными данными.
- Определите тестовый набор, включая отказ, противоречивые факты и вредную инструкцию во входных данных.
- Требуйте одобрение человеком перед отправкой.
- Измеряйте исправления, пропущенные риски, жалобы и итог, а не только сэкономленные минуты.
- Назначьте владельца отката и срок пересмотра модели, её инструкций и правил.
Если система создаёт больше черновиков, но менеджеры исправляют почти каждый, пропускная способность не выросла — работа лишь переместилась.
Ограничения
Прогноз Gartner относится к будущему и может не реализоваться. Microsoft использует результаты по самооценке и данные собственной экосистемы; они не доказывают эффект для любой компании. Профиль NIST добровольный и не заменяет применимые законы. Статья 16 регулирует определённый класс автоматизированных решений, а не любое использование ИИ; границу устанавливают по фактам системы.
Как провести безопасный пробный запуск?
1. Выберите одну задачу
Начните с черновика резюме или сообщения после встречи, а не с самостоятельной массовой отправки или решения о правах человека.
2. Назовите риск и владельца
Опишите худший реалистичный эффект ошибки, запрещённые действия и человека, который останавливает пробный запуск.
3. Минимизируйте данные
Передавайте только разрешённые факты, необходимые для задачи. Установите доступ, срок хранения и запрет на использование неподтверждённой гипотезы как факта.
4. Подготовьте проверку качества
Добавьте обычные, редкие и враждебные примеры. Измеряйте исправления, пропущенные риски и жалобы, а не только скорость.
5. Сохраните человеческое решение и откат
Перед внешним действием человек видит источники и правила, а журнал фиксирует решение. Заранее определите сигнал остановки и безопасную предыдущую версию.
Информационный материал, не юридическая консультация.
Источники и методология
- Gartner, AI agents will outnumber sellers, 28 июля 2026 — прогноз, опрос 210 руководителей и рекомендации по перестройке процесса.
- Microsoft, Work Trend Index 2026 — технические данные использования, опросы, контроль качества и описание рабочих процессов.
- NIST, Generative AI Profile — добровольный профиль управления рисками генеративного ИИ.
- Федеральный закон № 152-ФЗ, статья 16, редакция от 26 июля 2026 — права при исключительно автоматизированных решениях.
Матрица риска, экран проверки и сценарий пробного запуска — редакционная схема ONLAY.
Обсуждение
Комментарии
Войдите, чтобы комментировать, отвечать с цитатой и ставить реакции.
Пока нет комментариев
Начните содержательное обсуждение статьи.