Рабочий процесс по обеспечению безопасности открытого ИИ Anthropic: семь этапов автоматического поиска уязвимостей, их проверки и генерации исправлений

Anthropic выпустила набор автоматизированных цепочек обеспечения кибербезопасности на базе Claude, вся система от поиска уязвимостей, многоступенчатой проверки до генерации патчей полностью управляется ИИ-агентами, любой команда по информационной безопасности теперь может развернуть её самостоятельно.
(Предыстория: Anthropic: модель «Mythos Preview» превосходит человеческих экспертов по принятию решений, победа в 64%)
(Дополнительная информация: Bloomberg сообщает, что Claude Mythos был несанкционированно доступен! Самым сложным для Anthropic является «человек» — самая уязвимая точка)

Содержание статьи

Переключить

• Семь этапов, одна самопроверяющаяся цепочка
• Два пути, один выбор
• Стена разрушается одним и тем же инструментом

Claude Opus от Anthropic за последнее время обнаружил сотни уязвимостей во множестве открытых репозиториев, несмотря на многолетний экспертный аудит, эти уязвимости оставались незамеченными, что подчеркивает структурные ограничения человеческого анализа.

Недавно Anthropic полностью открыл исходный код этой системы автоматического поиска уязвимостей, многоступенчатой проверки и генерации патчей на GitHub, любой команда по информационной безопасности может развернуть, настроить и адаптировать её под свой код.

Семь этапов, одна самопроверяющаяся цепочка

Вся система называется Defending Code Reference Harness, её ядро — автоматизированная цепочка из семи этапов:

Build (сборка), Recon (разведка), Find (поиск уязвимостей), Verify (проверка), Dedupe (удаление дубликатов), Report (отчет), Patch (патчинг). Каждый этап управляется отдельным ИИ-агентом, между этапами передается минимальная информация, чтобы не загрязнить последующие этапы субъективными выводами.

На этапе Build исходный код целевого ПО компилируется в образ с ASAN — AddressSanitizer, который служит «минами» для обнаружения ошибок памяти. В простых словах — это «детектор» уязвимостей памяти, который при выполнении программы сразу же срабатывает при незаконных обращениях к памяти. Этот образ используется на всех последующих этапах, что гарантирует одинаковую среду для всех ИИ-агентов.

Этап Find — это движок всей системы. N параллельных ИИ-агентов работают в изолированных контейнерах, читают исходный код и создают вредоносные входные данные. Такой метод, проще говоря, — fuzzing: подают разного рода странные, искаженные, выходящие за границы данные, чтобы проверить, не вызовет ли программа сбой.

Агенты публикуют находки только после стабильного воспроизведения сбоя трижды, чтобы исключить ложные срабатывания. Ложные срабатывания — это, по сути, «ошибочное распознавание нормального поведения как уязвимости», что является одной из главных критик в адрес инструментов безопасности.

Anthropic особо подчеркивает, что система использует многоступенчатую проверку, чтобы каждая обнаруженная уязвимость имела доверительный рейтинг и уровень серьезности.

Далее идет Verify. Новый агент в отдельном контейнере повторно запускает proof-of-concept (PoC) — минимальный исполняемый код, подтверждающий существование уязвимости. Только исходные байты PoC циркулируют между контейнерами, что исключает знание предыдущих выводов, обеспечивая независимость заключения.

На этапе Report для каждой уязвимости формируется полный анализ её exploitable-ности, есть отдельный агент, который проверяет аргументы в отчете, включая номера строк исходного кода и фактические результаты выполнения. Перед генерацией финального патча система требует ручного подтверждения.

Вся цепочка работает в песочнице gVisor — легковесной виртуализации, изолирующей процессы внутри контейнера от хост-системы. ИИ-агенты внутри контейнера не имеют доступа к файловой системе хоста, а выход в сеть открыт только к API Claude, что исключает утечку данных.

Два пути, один выбор

Эта система предлагает два варианта использования, их сложность значительно различается, и Anthropic рекомендует начать с простого.

Первый: интерактивные навыки (Interactive Skills). Требуются всего четыре команды:

git clone https://github.com/anthropics/defending-code-reference-harness cd defending-code-reference-harness claude /quickstart

Запуск /quickstart проведет вас через весь демонстрационный сценарий: моделирование угроз → статический анализ уязвимостей → ручная фильтрация и удаление дубликатов → генерация патчей. Не требуется контейнерная среда, подходит для ознакомления с логикой процесса перед автоматизацией.

Второй: автоматизированная цепочка (Autonomous Pipeline). Требует установки gVisor, настройки ANTHROPIC_API_KEY, чтобы запустить полный семиэтапный процесс на реальной цели, получить отчеты с доверительными рейтингами и кандидатные патчи. В репозитории GitHub есть пример с уязвимостями — drlibs, рекомендуется сначала потренироваться на нем, затем перейти к своим целям.

Рекомендуемый график: в первый день — запуск полного интерактивного сценария, во второй — автоматический запуск на C/C++ проекте, с третьего по пятый день — перенос навыков на другие языки или типы уязвимостей с помощью /customize.

В файле есть запоминающаяся фраза: «Успешные команды избегают соблазна сначала спроектировать идеальную цепочку, а потом начать. Лучше запустить и итеративно улучшать.»

Стена разрушается одним и тем же инструментом

Эта асимметрия в киберзащите — системная проблема. Атака — достаточно найти один вход; защита — закрыть каждую щель.

Цели вроде GhostScript, OpenSC, CGIF — это зрелые, широко распространенные open-source проекты, в которых уязвимости, скрытые десятилетиями, оставались незамеченными человеческим аудитом, пока Claude Opus не прочитал историю коммитов, не сделал неполный патч, проследил логику в другом файле и создал полноценный PoC. Этот процесс — не правила сравнения, а дедукция.

Anthropic предлагает два варианта: полностью управляемая коммерческая версия Claude Security, которая не требует настройки gVisor и инфраструктуры, и открытый исходный код Defending Code Reference Harness для команд, желающих полный контроль и возможность самостоятельной настройки; оба варианта — часть стратегии позиционирования Anthropic как поставщика инфраструктурных средств для защиты.

Открытая версия обеспечивает прозрачность и контроль, коммерческая — минимальные барьеры для быстрого внедрения, и за ними стоит стратегия Anthropic — превратить защитные инструменты в инфраструктуру.

Раньше способность находить уязвимости принадлежала только крупным организациям с ресурсами для найма топовых красных команд. Теперь эта цепочка открыта — стена неравенства в защите и атаке разрушается одновременно с обеих сторон одним и тем же инструментом.