Американские компании в области ИИ и данных будут давать показания по делу о шпионаже в китайском ИИ

В кратце

• Сообщается, что комитеты США запрашивают подробности о том, как код Anthropic's Claude использовался в кибератаке, связанной с государством.
• Anthropic раскрыл в этом месяце, что угроза группе автоматизированной разведки, эксплуатации и извлечения данных.
• Те же возможности ИИ могут ускорить крипто-взломы и кражи в блокчейне, сообщили Decrypt.

Центр искусства, моды и развлечений Decrypt.

Откройте SCENE

Согласно сообщениям, законодатели США вызвали несколько компаний, занимающихся разработкой ИИ, чтобы объяснить, как определенные модели стали частью широкомасштабной шпионской деятельности.

Среди них генеральный директор Anthropic Дарио Амодеи, которого попросили появиться перед Комитетом по внутренней безопасности Палаты представителей 17 декабря, чтобы объяснить, как китайские государственные деятели использовали Claude Code, согласно отчету Axios, опубликованному в среду, ссылаясь на письма, которыми делились в частном порядке.

В начале этого месяца компания Anthropic раскрыла, что группа хакеров, связанная с китайским государством, использовала их инструмент Claude Code для проведения того, что компания описала как первую крупномасштабную кибероперацию, в значительной степени автоматизированную системой ИИ.

Действуя под групповым названием GTG-1002, злоумышленники организовали кампанию, нацеленную на около 30 организаций, при этом Клод Код, согласно Anthropic, управлял большинством этапов: разведка, сканирование уязвимостей, создание эксплойтов, сбор учетных данных и эксфиляция данных.

Председателем последующего расследования является конгрессмен Эндрю Гарбарино (R-NY) вместе с двумя председателями подкомитетов.

Комитет хотел, чтобы Амодеи подробно рассказал, когда именно Anthropic впервые обнаружил активность, как злоумышленники использовали его модели на различных этапах утечки, и какие меры предосторожности не сработали или сработали по мере развития кампании. На слушаниях также будут присутствовать руководители Google Cloud и Quantum Xchange, согласно Axios.

“Впервые мы видим, как иностранный противник использует коммерческую ИИ-систему для выполнения почти всей киберактивности с минимальным человеческим участием,” сказал Гарбарино в заявлении, приведенном в первоначальном отчете. “Это должно вызывать беспокойство у каждого федерального агентства и каждого сектора критической инфраструктуры.”

Decrypt обратился за комментариями к представителю Гарбарино, Google Cloud, Quantum Xchange и Anthropic.

Конгрессный контроль происходит на фоне отдельного предупреждения от службы безопасности Великобритании MI5, которая на прошлой неделе выпустила предупреждение для законодателей Великобритании после выявления китайских разведчиков, использующих фальшивые профили рекрутеров для нацеливания на депутатов, пэров и парламентский персонал.

Хотя Великобритания стремится “продолжать экономические отношения с Китаем”, правительство готово “бросить вызов странам, когда они подрывают наш демократический образ жизни”, сказал министр безопасности Дэн Джарвис в своем заявлении.

Онлайн-финансы под угрозой

На этом фоне наблюдатели предупреждают, что те же возможности ИИ, которые сейчас используются для шпионажа, также могут легко ускорить финансовые кражи.

“Ужасная вещь в ИИ — это скорость,” сказал Шоу Уолтерс, основатель исследовательской лаборатории ИИ Eliza Labs, в интервью Decrypt. “То, что раньше делалось вручную, теперь можно автоматизировать в масштабах, которые поразительны.”

Логика может быть опасно простой, объяснил Уолтерс. Если государственные акторы могут ломать и манипулировать моделями для хакерских кампаний, следующим шагом будет направить агентный ИИ “для опустошения кошельков или незаметного siphoning средств.”

По словам Уолтерса, ИИ-агенты могут “установить взаимопонимание и доверие с целью, поддерживать разговор и довести его до того, чтобы он попался на мошенничество.”

После достаточной подготовки эти агенты также могут “начать атаку на смарт-контракты в блокчейне”, заявил Уолтерс.

“Даже так называемые “соответствующие” модели, такие как Claude, с радостью помогут вам найти уязвимости в 'вашем' коде – конечно, она не имеет понятия, что является вашим, а что нет, и, пытаясь быть полезной, она, безусловно, найдет уязвимости во многих контрактах, из которых можно вывести деньги,” сказал он.

Но, хотя ответы на такие атаки “легко построить”, реальность, говорит Уолтерс, заключается в том, что “это плохие люди, пытающиеся обойти защитные меры, которые у нас уже есть”, пытаясь обмануть модели, чтобы “выполнять черные дела, будучи убежденными, что они помогают, а не вредят.”