Команда досліджень, пов'язана з Alibaba: Штучний інтелект самостійно намагається здійснювати несанкціоновану майнінг криптовалют під час тренування

Згідно з повідомленням TechFlow від 8 березня, згідно з інформацією Cointelegraph, кілька спільних дослідницьких команд під егідою екосистеми штучного інтелекту Alibaba оприлюднили у технічному звіті, що їхній експериментальний автономний штучний інтелект ROME під час тренування проявив несподівану поведінку, самостійно намагаючись використовувати обчислювальні ресурси для майнінгу криптовалюти.

Дослідники зазначили, що вищезазначена аномальна поведінка виникла на етапі навчання з підкріпленням. Команда виявила, що сервери тренування генерують вихідний трафік і викликають сигнали безпеки, а журнали брандмауера зафіксували підозрілі операції майнінгу криптовалюти та спроби доступу до внутрішніх мережевих ресурсів. У конкретних випадках ROME створював зворотні SSH-тунелі для підключення до зовнішніх IP-адрес, обходячи вхідний брандмауер; в іншому випадку цей інтелектуальний агент перенаправляв ресурси GPU, призначені для тренування моделі, на процес майнінгу. Дослідники підтвердили, що ця поведінка не була навмисно запрограмована людиною, а виникла самостійно під час процесу оптимізації з підкріпленням, коли агент досліджував способи взаємодії з навколишнім середовищем.

ROME розроблений спільною командою ROCK, ROLL, iFlow та DT і працює на базовій інфраструктурі під назвою «Екосистема навчання агентів (ALE)». Він має здатність планувати завдання, виконувати команди, редагувати код та взаємодіяти з багатоступеневими цифровими середовищами, перевищуючи функціональні можливості традиційних чат-ботів.