Все статьи
Фреймворк управления и этики ИИ — AI-Native SAFe®
Дата: 23.09.2026
Использование организациями фреймворка управления и этики искусственного интеллекта (ИИ) в AI-Native SAFe® (Scaled Agile Framework®) помогает справляться с непредсказуемостью генеративного ИИ и его массовым распространением. Он охватывает четыре ключевых элемента: контроль расходов на ИИ; поддержание ответственных практик, чтобы ИИ-системы оставались надёжными; мониторинг самостоятельных действий ИИ через автоматические проверки и человеческий контроль; и управление рисками с одновременным поиском возможностей для инноваций. В основе управления — ключевые этические принципы: подотчётность, справедливость и доверие. Они гарантируют, что ИИ-системы соответствуют человеческим ценностям и правовым нормам.
Непрерывные инновации и управление созданием продуктов в ИИ-организации, вебинар AI-Native SAFe Series 12.08.2026 (русская озвучка, 25 минут)
- Конвейер инноваций с ИИ.
- Выход на рынок.
- Управление и этика ИИ.
Если ИИ предстоит стать могущественным, он должен быть подконтрольным. Если ИИ предстоит вызывать доверие, его создатели должны нести ответственность. Если ИИ предстоит стать глобальным, он должен быть справедливым. И если ИИ предстоит служить будущему, он не должен стать главным потребителем того будущего, что он создаёт.
Содержание
Ключевые мысли:
- Структура управления и ИИ-этики помогает руководителям портфеля принимать решения и контролировать непредсказуемость ИИ в рамках всего портфеля.
- Проактивно управляйте расходами на ИИ: отслеживайте рост, обеспечивайте прозрачность и относитесь ответственно к его применению.
- Поддерживайте доверие и соответствие нормативным требованиям через обеспечение прозрачности, объяснимости и человекоцентричности работы ИИ.
- Мониторьте автономных ИИ-агентов с помощью иерархии жестко соблюдаемых правил, автоматического обнаружения и контроля со стороны человека.
- Автоматизируйте управление так, чтобы можно было и успевать за скоростью развития ИИ, и не мешать командам и поездам (ART, Agile Release Train) достигать результатов.
Рост использования ИИ и его непредсказуемая природа создают риски, для которых традиционные механизмы контроля не предназначены. Руководителям нужно устанавливать чёткие границы, показывать пример ответственного использования и следить за результатами — иначе возникают риски правовых последствий, нерационального расходования средств, финансовых потерь и утраты доверия.
Руководство портфеля вместе с PMO (Project Management Office, офис управления проектами) или VMO (Value Management Office, офисом управления ценностью) отвечает за то, чтобы ART с ИИ (AI-Native ART) и команды (AI-Native Team) могли уверенно двигаться со скоростью ИИ, не выходя за правовые, финансовые и этические рамки.
В этой статье представлен фреймворк управления и этики ИИ. Он строится на четырёх ключевых направлениях («элементах») управления ИИ и опирается на принципы этики. В статье подробно рассматривается каждый элемент. Их описание построено по единой схеме: суть, значимость, необходимые меры контроля и где ИИ может помочь в реализации этих задач.
Управление расходами на ИИ
С точки зрения портфеля расходы на ИИ — это совокупные затраты на всё, что создаётся с помощью ИИ. Сюда входят разработка, инфраструктура, лицензии, затраты на токены и плата за пользование моделями.
Почему важно контролировать расходы на ИИ?
В отличие от традиционного ПО (программного обеспечения), оплата по факту использования означает, что расходы растут вместе с внедрением — причем этот рост может происходить быстрее, чем предполагают любые прогнозы. ИИ-инструмент, практически не требующий затрат на этапе пилотного проекта, после полноценного запуска и масштабирования может стать статьей значительных расходов. И поскольку рост часто распределяется между множеством команд и инструментов, один конкретный руководитель может не заметить его, пока не появится общая сумма затрат.
Для руководства портфеля и VMO риск заключается не в расходах какой-то одной команды, а в совокупных затратах по всему портфелю.
Как внедрить меры контроля для управления расходами на ИИ
- Отслеживайте рост потребления токенов и объёмов использования по всему портфелю. Это помогает руководству портфеля замечать всплески до того, как они приведут к проблемам с бюджетом.
- Обеспечьте прозрачность использования ИИ за пределами официально одобренных инструментов: это помогает предотвратить неожиданные расходы из-за «теневого» использования ИИ, объемы которого могут расти незаметно и бесконтрольно.
- Установите лимиты потребления, ограничения частоты запросов или бюджетные оповещения. Важно их применять и на этапе разработки (для контроля токенов при создании продукта), и на этапе эксплуатации (когда пользователи расходуют токены в готовом продукте). Таким внедрением могут управлять руководители поезда и архитекторы ценности ИИ. Это помогает замечать перерасход на ранних стадиях.
- Обеспечьте чёткую привязку затрат на потребление ресурсов: к команде, продукту или потоку создания ценности. Такая прозрачность повышает ответственность и помогает использовать ресурсы рационально.
- Дайте полномочия VMO/LACE (Lean-Agile Center of Excellence, центр экспертизы Lean-Agile) и архитекторам ценности ИИ. Они должны активно следить, чтобы ресурсы ИИ использовались целенаправленно и обоснованно.
Как ИИ может поддержать этот элемент?
ИИ помогает управлять как объёмами генерации токенов, так и затратами на них. Например:
- Интеллектуальная маршрутизация поможет направлять менее сложные запросы к более экономичным моделям.
- Аналитика использования поможет выявить устаревшие или невостребованные фичи, от которых можно отказаться и вывести из эксплуатации.
- Инструменты моделирования затрат позволят оценить потребление в промышленном масштабе ещё до запуска.
- А дашборды в реальном времени наглядно покажут финансистам и руководству портфеля, какие именно команды расходуют ресурсы.
Обеспечение принципов ответственного использования ИИ
Ответственный ИИ — это практика создания и управления ИИ-системами этично, прозрачно и в соответствии с законом, с опорой на человеческие ценности, справедливость, безопасность и подотчётность. Она гарантирует, что использование ИИ соответствует стандартам этики, права, безопасности и качества: контроль со стороны человека, защита конфиденциальности данных, справедливость, прозрачность и объяснимость.
Ответственный ИИ — это когда каждая ИИ-система демонстрирует все аспекты, показанные на cхеме 2.
Почему важно обеспечивать ответственный подход к ИИ?
Помимо защиты от штрафов регуляторов, ответственный ИИ необходим для доверия заинтересованных лиц. ИИ-системы могут наследовать предвзятость, заложенную в ходе обучения, выдавать недостоверную информацию (галлюцинировать) или допускать утечку конфиденциальных данных, если их не контролировать должным образом. Ответственный подход служит сигналом надёжности: он гарантирует, что инновации на базе ИИ не идут вразрез с благополучием или безопасностью людей.
Соответствие внешним нормативным стандартам
Ответственный подход к ИИ также демонстрирует регуляторам, клиентам и другим заинтересованным сторонам, что использование ИИ соответствует внешним стандартам. Нормативно-правовая база все еще формируется и различается по юрисдикциям и отраслям: отставание создаёт юридические риски, а реакция только после вступления требований в силу оставляет мало времени на адаптацию. В таблице ниже показаны три распространённых нормативных стандарта. Они служат разным целям, и один не заменяет другой. Соответствие им подтверждает, что использование ИИ соответствует требованиям и выдержит аудит.
| Регламент ЕС об ИИ | Система управления ИИ-рисками (NIST AI RMF) | ISO 42001 (стандарт управления) | |
|---|---|---|---|
| Что это такое? | Юридически обязательный региональный закон, регулирующий рынок ИИ | Добровольное руководство по управлению рисками, связанными с ИИ | Международный стандарт сертификации системы управления ИИ |
| Правовой статус | Обязательный (для выхода на рынок ЕС). За несоблюдение предусмотрены серьезные санкции. | Добровольный (но в США широко признан стандартом должной осмотрительности) | Добровольный (используется для официальной сертификации третьей стороной) |
| Основные направления | Классификация уровней риска (недопустимый, высокий, ограниченный) и запрет на определенные виды использования | Подход к управлению рисками с учетом жизненного цикла: регулирование, идентификация, оценка, управление | Создание процессов, политик и системы документации для аудита |
| Аналогия | Закон об ограничении скорости, который вы обязаны соблюдать | Учебное пособие для водителей, обучающее безопасному вождению | Водительское удостоверение, подтверждающее, что вы сдали экзамен |
Распространённые стандарты регулирования ИИ
Как внедрить необходимые механизмы контроля для обеспечения ответственного использования ИИ
Надежность
- Дайте конкретное определение что означает «ответственное использование» на практике, и интегрируйте это понятие в существующие процессы обеспечения качества (например, в критерии готовности — Definition of Done — и практики мониторинга и адаптации — Sense and Respond).
- Ведите упрощенный реестр рисков для сценариев использования ИИ и регулярно его пересматривайте, чтобы своевременно выявлять и устранять возникающие риски.
Объяснимость
- Назначьте ответственных за внедрение принципов ответственного ИИ. Хороший вариант — тандем архитектора ценности ИИ и команд по информационной безопасности.
- Пусть ИИ помогает вести чёткую документацию по источникам данных, критериям фильтрации и контексту обучения моделей, чтобы по ним можно было отследить и проверить принятые решения.
Человекоцентричность
- Установите правила: если решение под влиянием ИИ превышает порог риска или значимости — нужен человеческий контроль. Тогда уровень контроля будет соответствовать масштабу возможных последствий.
- Включите тему ответственного ИИ в существующее программы обучения и подготовки персонала, чтобы эти принципы стали частью повседневной работы команд.
Как обеспечить соблюдение нормативных требований
- Отслеживайте актуальные нормы и стандарты по ИИ для каждой юрисдикции и отрасли, где работает организация, и назначьте ответственных за мониторинг изменений.
- Сопоставляйте текущие сценарии использования ИИ с применимыми требованиями, чтобы находить пробелы до проведения внешнего аудита.
- Встраивайте проверки на соответствие в существующие процессы управления портфелем, вместо того чтобы рассматривать вопросы соблюдения норм как параллельный юридический процесс.
- Храните документацию и документы, подтверждающие решения по соблюдению требований, чтобы их можно было предъявить сторонам по запросу.
- Подключайте юристов и комплаенс к обсуждению инвестиций в ИИ на ранних этапах для своевременной разработки мер по предотвращению инцидентов, заложенных в систему.
Как ИИ может поддержать этот элемент?
ИИ может помочь соблюдать стандарты, которым сам подчиняется. Автоматические проверки выявляют предвзятость, утечки данных или нарушения политик в существующих процессах и сделают это раньше и последовательнее, чем ручная проверка.
Документация, созданная с помощью ИИ, может фиксировать обоснование принимаемых решений по мере их принятия, создавая аудиторский след без дополнительных затрат. Инструменты мониторинга могут отслеживать изменения политики по всему портфелю, обеспечивая более раннюю видимость, чем периодические аудиты.
ИИ помогает с документацией: он готовит черновики, человек их проверяет — и они становятся готовыми доказательствами для аудита. А инструменты, понимающие обычную речь, позволят командам напрямую спрашивать о соответствии организации требованиям комплаенса.
Мониторинг поведения ИИ-агентов
ИИ всё чаще переходит от рекомендаций к самостоятельным действиям: вызов к использованию внешних инструментов, доступ к системам, выполнение команд, принятие самостоятельных решений. На уровне портфеля управлять таким поведением — значит видеть действия ИИ-агентов на каждом шаге процесса, а не только конечный результат. Это отличается от традиционного мониторинга, который проверяет системы по фиксированному набору правил. Но действия и поведение ИИ-агентов могут меняться непредсказуемо, поэтому традиционных методов может оказаться недостаточно для выявления потенциальных проблем.
Почему важен мониторинг поведения автономных ИИ-агентов?
Когда сотни или тысячи разработчиков в командах с ИИ развертывают автономных ИИ-агентов, скорость выполнения задач начинает опережать возможности человеческого контроля. Традиционные жесткие правила должны служить первым эшелоном защиты и применяться в приоритетном порядке везде, где это возможно. Однако, учитывая непредсказуемый характер действий агентов, их необходимо интегрировать в более широкую иерархию мониторинга, действующую следующим образом:
- Жёсткие правила для конкретных случаев. Пример: мгновенная блокировка ИИ-агента, генерирующего программный код, при попытке изменить ключевой защищенный файл.
- Выявление неоднозначного или нестандартного поведения с помощью ИИ. Пример: вспомогательная модель сигнализирует о действиях ИИ-агента как требующих проверки человеком, если тот пытается переписать защищенный файл, что может вызвать зацикливание в связанных компонентах.
- Принятие решений человеком в ситуациях, имеющих серьезные последствия. Пример: разработчик анализирует выявленную аномалию, подтверждает наличие уязвимости ИИ-агента, оставшейся без контроля, вручную приостанавливает его работу, вносит обновления, перезапускает агента и предотвращает утечку конфиденциальных данных.
Без такого многоуровневого подхода локальные аномалии в работе ИИ-агентов (например, бесконечно повторяющиеся циклы, незамеченные нарушения регламентов или замусоривание кодовой базы) могут лавинообразно нарастать, распространяясь по общим платформам и API.
Для руководителей портфелей и VMO это серьезный системный операционный риск, с которым традиционные методы контроля проектов не справятся. В итоге даже один недосмотренный недостаток в архитектуре может поставить под угрозу конфиденциальность данных и незначительные отклонения быстро перерастут в критическую проблему.
Как внедрить необходимые механизмы контроля для мониторинга поведения автономных ИИ-агентов
- Документируйте зону ответственности и права доступа. Каждый ИИ-агент до запуска должен иметь задокументированную зону ответственности и права доступа, эта документация должна быть видна на уровне портфеля, а не только внутри команды разработчиков.
- Логируйте действия ИИ-агентов. На уровне портфеля установите требование: логировать и отслеживать все действия и решения ИИ-агентов, а не только конечные результаты, чтобы поведение можно было воспроизвести и проверить.
- Определите пороги эскалации. Команды поездов должны определить пороги эскалации: когда автономность ИИ-агента заканчивается и задача переходит к человеку. Для критически важных ИИ-агентов информацию об этих порогах нужно включить в процедуры управления ИИ на уровне портфеля и рассматривать в их ходе.
- Эскалируйте риски. Обеспечьте передачу рисков, связанных с поведением ИИ-агентов, с уровня поезда на регулярное рассмотрение в ходе процедур управления ИИ на уровне портфеля.
Как ИИ может поддержать этот элемент?
Специальные инструменты мониторинга регистрируют взаимодействия агента — включая последовательности вызовов инструментов и цепочки контекста промптов. Так становится прозрачной логика решений агента, даже когда внутренние процессы работы модели остаются скрытыми.
Правила проверки работы принятых политик, определение базовых показателей поведения и обнаружения аномалий будут выявлять запрещённую или неожиданную активность и направляют значимые случаи на рассмотрение и проверку человеку. Здесь помогут инструменты визуализации цепочки решений ИИ-агента: они позволят специалистам быстрее разобраться, что и почему произошло, избавляя от необходимости восстанавливать картину событий по «сырым» логам.
Если вы дочитали до этого места, значит, вам интересен полезный контент о современных методах управления. Чтобы узнавать про новые статьи, видео и бесплатные мероприятия, вступайте в сообщество SAFe® Russia.
Управление ИИ-рисками и превращение их в возможности
В ИИ-организации управлять риском — значит снижать его, а превращать его в возможность — значит активно использовать неопределённость для получения конкурентного преимущества. У ИИ много рисков, некоторые из них мы уже разобрали выше. Среди оставшихся — неверные стратегические инвестиции, зависимость от конкретных платформ или технологий вендоров, решения об использовании персональных данных и другие.
Управление рисками ИИ и превращение их в возможности — это про сохранение человеческого контроля над решениями, имеющими большое значение, умение быстро сопоставлять потенциальные преимущества и недостатки и превращать полученные выводы в продуманные стратегические решения.
Почему важно управлять рисками, связанными с использованием ИИ?
ИИ по своей природе вероятностен и динамичен, многие традиционные системы управления рисками не рассчитаны на такие особенности. Полный запрет на риск блокирует эксперименты и подталкивает команды к несанкционированному использованию. Но без контроля ошибки расползаются по автоматизированным процессам раньше, чем их успеют заметить.
Чётко определённая стратегия управления рисками и установленные границы позволяют командам экспериментировать внутри этих рамок, а не в обход них. Такой подход позволяет использовать уже внедрённые механизмы контроля и превращает их в новые возможности. Так управление становится источником инноваций, обеспечивая баланс между контролем рисков и экспериментами.
Как внедрить необходимые меры контроля и управления ИИ-рисками и использовать их в интересах бизнеса
- Быстрее оценивайте риски для экспериментов. Создавайте прозрачные и практичные реестры рисков с количественной оценкой их влияния. Это поможет руководителям и поездам сосредоточиться на экспериментах с высоким потенциалом, одновременно оценивая возможные негативные последствия.
- Создайте централизованную библиотеку сценариев оценки. Это дополняет тестирование, необходимое для оценки рисков. В библиотеке — эталонные датасеты, тестовые промпты и пограничные случаи. Чем больше оценок в библиотеке, тем быстрее и дешевле становится внедрение. Каждое следующее ИИ-решение оценивается быстрее и полнее, превращая управление рисками в конкурентное преимущество за счет сокращения времени вывода продуктов на рынок.
- Обеспечьте техническую гибкость. Выбирайте архитектуру, которая позволяет легко менять ИИ-модели на более дешёвые или современные аналоги. Это снижает риск зависимости от конкретного поставщика, что особенно важно, учитывая, как быстро появляются и устаревают ИИ-инструменты.
- Стандартизируйте автоматизированное тестирование рисков для всех ИИ-инициатив. Это задаёт объективные базовые показатели рисков и даёт руководству портфеля уверенность при выпуске новых ИИ-продуктов, опережая конкурентов, склонных избегать рисков.
- Сохраните обязательное участие человека в принятии критически важных решений. Управление рисками ИИ и превращение их в возможности невозможно полностью автоматизировать. Нужно активнее привлекать экспертов к принятию стратегических решений в сфере ИИ, чтобы балансировать риски и ожидаемую выгоду.
- Синхронизируйте оценку рисков ИИ со стандартными циклами управления портфелем. Для ИИ-рисков скорость принятия решений критична. Постоянный контроль помогает снижать негативные последствия и эффективнее использовать открывающиеся возможности.
Как ИИ может поддержать этот элемент?
В предыдущих элементах мы уже подробно разобрали, как ИИ применяется для управления рисками. Но если говорить о том, как управляя рисками превращать их в конкурентное преимущество, то здесь есть открываются дополнительные возможности.
Системы оценки ИИ-рисков можно использовать для отбора ситуаций, требующих участия человека. ИИ также может проверять эффективность установленных им же защитных механизмов и заданных людьми уровней риска и находить уязвимости раньше, чем их используют злоумышленники.
ИИ также может оказать неоценимую помощь в сборе и обобщении информации по всему портфелю проектов: что именно разрабатывают команды и какие инструменты они при этом используют. Это даст наглядную картину рисков гораздо быстрее, чем ручной сбор данных.
ИИ-этика
Этика ИИ — это ценности организации, которых она придерживается независимо от требований закона и регуляторов. Если управление отвечает за практическое внедрение ответственного ИИ, то ИИ-этика— это моральный ориентир для принятия решений, особенно в ситуациях, где формальные правила не сформулированы.
Как применять этические принципы в ИИ
- Чтобы заранее предотвратить возможное неправомерное использование, руководители могут провести мозговой штурм худших сценариев неэтичного использования ИИ. Например: кандидаты на работу, отсеянные алгоритмом, или группы, получившие недостаточно обратной связи. Выявив такие сценарии, нужно принять меры для их решения.
- Определить и четко донести до сотрудников организации набор ценностей, связанных с ИИ, например: «Мы не позволяем ИИ выдавать себя за человека».
- Создайте поездам и командам атмосферу безопасности, которая позволит открыто спрашивать: «А стоит ли нам это делать?»
- Попросите представителей бизнеса проводить структурированные «pre-mortem» разборы рисков для новых продуктов, то есть находить и моделировать наихудшие способы их неправомерного использования и затем заложить сценарии защиты от них в дизайн продукта.
Управление в ритме искусственного интеллекта
Искусственный интеллект коренным образом меняет принципы управления. Когда процессы принятия решений, результаты работы и риски развиваются со «скоростью ИИ», традиционные подходы к управлению с ручными и периодическими проверками быстро становятся «узким местом». Управление в ритме ИИ требует непрерывного и автоматизированного подхода, когда сам ИИ встраивается непосредственно в рабочие процессы и продукты.
Чтобы отслеживать решения ИИ по всему портфелю и оперативно реагировать на них, нужны качественные и надёжные данные. Более того, нужны автоматизированные информационные панели и аналитические сводки для руководства, которые превратят четыре ключевых элемента управления ИИ в конкретные действия в реальном времени. В итоге это даст руководителям возможность принимать решения, которые обеспечат максимальную отдачу от инвестиций в ИИ — и одновременно гарантируют безопасность компании и её клиентов. Будущее сферы труда формируется прямо сейчас, и ответственность за его создание лежит на руководителях.
