От риска к ответственности: Ахмад Шадид о создании безопасных рабочих процессов разработки с использованием ИИ

Вкратце

«Vibe coding» распространяется, но эксперты предупреждают, что традиционные инструменты создают риски безопасности и конфиденциальности для корпоративного кода, подчеркивая необходимость использования зашифрованных решений с аппаратной поддержкой «конфиденциального ИИ».

За последние месяцы «vibe coding» — рабочий процесс, основанный на ИИ, при котором разработчики используют большие языковые модели (LLMs) и агентские инструменты для генерации и доработки программного обеспечения — набирает популярность. В то же время несколько отраслевых отчетов подчеркнули, что хотя код, созданный ИИ, обеспечивает скорость и удобство, он часто вводит серьезные риски безопасности и цепочек поставок.

Исследование Veracode показало, что почти половина кода, созданного LLM, содержит критические уязвимости, при этом модели ИИ часто создают небезопасные реализации и игнорируют такие проблемы, как инъекции или слабая аутентификация, если их явно не запрашивать. Недавнее академическое исследование также отметило, что модульные «навыки» ИИ в системах на базе агентов могут нести уязвимости, которые позволяют повысить привилегии или раскрыть цепочки поставок программного обеспечения.

Помимо небезопасных результатов, существует часто игнорируемый системный риск конфиденциальности. Современные помощники по программированию на базе ИИ обрабатывают чувствительный внутренний код и интеллектуальную собственность в общих облачных средах, где провайдеры или операторы могут получить доступ к данным во время выполнения. Это вызывает опасения по поводу масштабного раскрытия проприетарного производственного кода, что является значительной проблемой для отдельных разработчиков и крупных предприятий.

Что происходит с чувствительным корпоративным кодом в помощниках по программированию на базе ИИ и почему это рискованно?

Большинство современных инструментов кодирования могут защищать данные только до определенного уровня. Корпоративный код обычно шифруется при отправке на сервер провайдера, обычно через TLS. Но как только код попадает на эти серверы, он расшифровывается в памяти, чтобы модель могла его прочитать и обработать. В этот момент чувствительные детали, такие как проприетарная логика, внутренние API и детали безопасности, отображаются в виде открытого текста в системе. И именно здесь кроется риск.

Код может проходить через внутренние журналы, временную память или системы отладки, которые трудно просмотреть или проверить клиентам во время расшифровки. Даже если провайдер гарантирует отсутствие сохраненных данных, утечка все равно происходит во время обработки, и этого короткого окна достаточно, чтобы создать слепые зоны. Для предприятий это создает потенциальный риск, который может привести к неправильному использованию чувствительного кода без контроля со стороны владельца.

Почему вы считаете, что основные инструменты ИИ для кодирования по своей сути небезопасны для корпоративной разработки?

Большинство популярных инструментов ИИ для кодирования не предназначены для моделей корпоративных рисков; они оптимизированы только для скорости и удобства, поскольку обучены в основном на публичных репозиториях, содержащих известные уязвимости, устаревшие шаблоны и небезопасные настройки по умолчанию. В результате создаваемый ими код обычно содержит уязвимости, если его не подвергнуть тщательному анализу и исправлению.

Более того, эти инструменты работают без формальных структур управления, поэтому они фактически не обеспечивают внутренние стандарты безопасности на ранних этапах, что создает разрыв между программированием и последующим аудитом или защитой. В итоге команды привыкают работать с результатами, которые они едва понимают, а уровень безопасности тихо снижается. Такое сочетание отсутствия прозрачности и технических последствий делает стандартную поддержку практически невозможной для организаций, работающих в сферах с высоким уровнем безопасности.

Если провайдеры не хранят и не обучают на коде клиента, почему этого недостаточно, и какие технические гарантии необходимы?

Гарантии политики существенно отличаются от технических гарантий. Данные пользователя все равно расшифровываются и обрабатываются во время вычислений, даже если провайдеры обещают их не сохранять. Временные журналы при отладке могут создавать пути утечки, которые политики не могут предотвратить или доказать для обеспечения безопасности. С точки зрения риска, доверие без проверки недостаточно.

Бизнесу следует сосредоточиться на обещаниях, которые можно закрепить на уровне инфраструктуры. Это включает конфиденциальные вычислительные среды, в которых код шифруется не только при передаче, но и во время использования. Отличный пример — аппаратно поддерживаемая доверенная среда выполнения, которая создает зашифрованную среду, в которой даже оператор инфраструктуры не может получить доступ к чувствительному коду. Модель обрабатывает данные в этой защищенной среде, а удаленная аттестация позволяет предприятиям криптографически подтвердить активность этих мер безопасности.

Такие механизмы должны быть базовым требованием, потому что они превращают конфиденциальность в измеряемое свойство, а не просто обещание.

Полностью ли решает риски конфиденциальности запуск ИИ на месте или в частном облаке?

Запуск ИИ в частном облаке помогает снизить некоторые риски, но не решает проблему полностью. Данные все равно остаются очень уязвимыми и видимыми во время обработки, если не применены дополнительные меры защиты. Следовательно, внутренний доступ, неправильная настройка и перемещение внутри сети все еще могут привести к утечкам.

Поведение модели — еще одна проблема. Хотя частные системы ведут журналы входных данных или хранят данные для тестирования, без сильной изоляции эти риски остаются. Бизнес-команды по-прежнему нуждаются в зашифрованной обработке. Внедрение аппаратных средств контроля доступа и установление четких ограничений по использованию данных — важные меры для безопасной защиты данных. Иначе они только избегают риска, но не решают его полностью.

Что такое «конфиденциальный ИИ» и как он влияет на инструменты кодирования?

Конфиденциальный ИИ — это системы, которые управляют безопасностью данных во время вычислений. Он позволяет обрабатывать данные в изолированной среде, например, в аппаратных доверенных средах выполнения, но в открытом виде, чтобы модель могла с ними работать. Аппаратная изоляция обеспечивает невозможность доступа платформенного оператора, хост-операционной системы или сторонних лиц, одновременно предоставляя криптографически проверяемую конфиденциальность без ущерба для функциональности ИИ.

Это полностью меняет модель доверия к платформам кодирования, так как разработчики могут использовать ИИ, не отправляя проприетарную логику в общие или публичные системы. Процесс также повышает прозрачность ответственности, поскольку границы доступа создаются аппаратными средствами, а не политиками. Некоторые технологии идут дальше, объединяя зашифрованные вычисления с историческим отслеживанием, чтобы можно было проверять результаты без раскрытия входных данных.

Хотя термин звучит абстрактно, его смысл прост: помощь ИИ больше не требует жертвовать конфиденциальностью ради эффективности.

Какие есть ограничения или недостатки использования конфиденциального ИИ на сегодняшний день?

Самое большое ограничение — скорость. Изолированные в доверенных средах выполнения системы ИИ могут работать с некоторой задержкой по сравнению с незащищенными структурами, просто из-за шифрования памяти на аппаратном уровне и проверки аттестации. Хорошая новость — современное оборудование сокращает этот разрыв со временем.

Также требуется больше настроек и правильного планирования, поскольку системы должны работать в более жестких условиях. Необходимо учитывать стоимость. Конфиденциальный ИИ часто требует специального аппаратного обеспечения — например, специализированных чипов NVIDIA H100 и H200 — и инструментов, что может увеличить начальные расходы. Но эти затраты оправданы потенциальным ущербом от утечек кода или несоблюдения нормативных требований.

Конфиденциальный ИИ пока не является универсальным системным требованием, поэтому команды должны использовать его там, где важна конфиденциальность и ответственность. Многие из этих ограничений со временем будут решены.

Ожидаете ли вы, что регуляторы или стандарты скоро потребуют, чтобы инструменты ИИ сохраняли все данные в зашифрованном виде во время обработки?

Регуляторные рамки, такие как Закон ЕС об ИИ и рамочная программа NIST по управлению рисками ИИ в США, уже подчеркивают важность управления рисками, защиты данных и ответственности за системы ИИ с высоким воздействием. По мере развития этих рамок системы, которые по умолчанию раскрывают чувствительные данные, становятся все труднее оправдать с точки зрения установленного управления.

Группы стандартов также закладывают основы, устанавливая более четкие правила обработки данных ИИ во время использования. Эти правила могут внедряться с разной скоростью в разных регионах. Тем не менее, компании должны ожидать усиления давления на системы, обрабатывающие данные в открытом виде. Таким образом, конфиденциальный ИИ становится скорее вопросом соответствия, чем догадкой о будущем.

Как сейчас выглядит «ответственное vibe coding» для разработчиков и ИТ-руководителей?

Ответственный vibe coding — это просто ответственность за каждую строку кода, начиная с проверки предложений ИИ и заканчивая оценкой безопасности, а также учетом всех крайних случаев в каждой программе. Для организаций это означает четкое определение политик по одобрению конкретных инструментов и безопасных путей для чувствительного кода, а также обеспечение понимания командой как сильных сторон, так и ограничений помощи ИИ.

Для регуляторов и лидеров отрасли задача — разработать ясные правила, позволяющие командам легко определить, какие инструменты разрешены и где их можно использовать. Чувственные данные должны попадать только в системы, соблюдающие требования конфиденциальности и соответствия, а операторы и пользователи должны проходить обучение, чтобы понять возможности и ограничения ИИ. ИИ экономит усилия и время при правильном использовании, но также несет дорогостоящие риски при неосторожном применении.

Как вы видите развитие помощников по программированию на базе ИИ с точки зрения безопасности?

Инструменты ИИ для кодирования будут развиваться от простых рекомендаций к проверке кода во время его написания с соблюдением правил, разрешенных библиотек и требований безопасности в реальном времени.

Безопасность, как важный аспект, также будет встроена глубже в работу этих инструментов через проектирование зашифрованного выполнения и четких записей решений как стандартных функций. Со временем это превратит помощники ИИ из рисков в инструменты поддержки безопасной разработки. Лучшие системы будут сочетать скорость и контроль. А доверие будет определяться тем, как работают инструменты, а не обещаниями создателей.