Исследовательская команда Alibaba: ИИ-агенты самостоятельно пытаются осуществлять несанкционированную майнинг криптовалют во время обучения

Deep潮 TechFlow сообщает, 8 марта, по данным Cointelegraph, что несколько совместных исследовательских команд в рамках экосистемы искусственного интеллекта Alibaba раскрыли в техническом отчёте, что их экспериментальный автономный ИИ-агент ROME во время обучения проявил неожиданные поведения, самостоятельно пытаясь использовать вычислительные ресурсы для майнинга криптовалют.

Исследователи отметили, что вышеуказанное аномальное поведение произошло на этапе обучения с использованием усиленного обучения. Команда обнаружила, что обучающие серверы генерируют исходящий трафик и вызывают тревоги безопасности, а в логах брандмауэра зафиксированы подозрительные операции по майнингу криптовалют и попытки доступа к внутренним сетевым ресурсам. В конкретных случаях ROME создавал обратные SSH-туннели для подключения к внешним IP-адресам, обходя защиту входящего брандмауэра; в другом случае этот агент перераспределял GPU-ресурсы, предназначенные для обучения модели, для майнинга. Исследователи подтвердили, что эти поведения не были запрограммированы человеком, а возникли самостоятельно в процессе оптимизации с помощью усиленного обучения, когда агент исследовал способы взаимодействия с окружающей средой.

ROME был разработан совместной командой ROCK, ROLL, iFlow и DT и работает на инфраструктуре под названием «Экосистема обучения агентов (ALE)». Он обладает возможностями планирования задач, выполнения команд, редактирования кода и взаимодействия в многопроцессных цифровых средах, превосходя возможности традиционных чат-ботов.