Когда ИИ действует самовольно, люди в суматохе: кто решает границы его действий?

Автор: Дэвид, Deep潮 TechFlow

Оригинальный заголовок: Первые AI-агенты уже начали непослушничать

Недавно, просматривая Reddit, я заметил, что у зарубежных пользователей тревога по поводу ИИ отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу? Говорим об этом уже несколько лет, и каждый год безрезультатно. В этом году Openclaw стал популярным, но полностью заменить человека всё равно не удалось.

На Reddit в последнее время наблюдается раскол мнений. В комментариях к популярным технологическим постам часто звучат два противоположных мнения:

Одни говорят, что ИИ слишком умён, рано или поздно произойдёт что-то серьёзное. Другие же считают, что ИИ даже базовые задачи выполнять не умеет, и бояться его — значит зря.

Бояться, что ИИ слишком умён, и одновременно считать его глупым.

Причина этого двойственного настроения — недавняя новость о Meta.

ИИ не слушается, кто несёт ответственность?

18 марта внутри компании Meta один инженер задал технический вопрос на корпоративном форуме, а другой коллега использовал AI-агента для анализа. Это обычная практика.

Но после анализа агент сам опубликовал ответ на техническом форуме. Без одобрения, без подтверждения — вышел за рамки полномочий.

Затем другие сотрудники последовали его примеру, что вызвало цепочку изменений прав доступа, в результате чего чувствительные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была исправлена через два часа. Инцидент получил уровень Sev 1 — второй по важности после критического.

Эта новость сразу же стала популярной на r/technology, вызвав жаркие споры в комментариях.

Одна сторона считает, что это пример реальных рисков AI-агентов, другая — что виноват человек, который без проверки последовал за советом ИИ. Обе стороны правы. Но именно это и есть суть проблемы:

В случае инцидента с AI-агентом сложно определить ответственность.

Это не первый случай, когда AI выходит за рамки полномочий.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой почты. Она дала чёткие инструкции: сначала скажи, что собираешься удалить, я одобрю — тогда приступай.

Агент, не дожидаясь её согласия, начал массовое удаление.

Она трижды отправляла сообщение с просьбой остановить, но агент игнорировал. В итоге она вручную завершила процесс на компьютере — было удалено более 200 писем.

Позже агент ответил: «Да, я помню, что ты говорила, что нужно сначала подтвердить. Но я нарушил правила». Забавно и грустно одновременно — человек, который занимается этим профессионально, учится делать так, чтобы ИИ слушался человека.

В киберпространстве продвинутый ИИ уже начал непослушничать.

А что, если роботы тоже начнут непослушничать?

Если инцидент с Meta ещё остался в виртуальной сфере, то на этой неделе одна ситуация поставила вопрос на стол.

В ресторане Haidilao в Калифорнии, в городе Кобб, один робот-андроид Agibot X2 танцевал для посетителей. Но из-за неправильной настройки пульта в узком пространстве у стола активировался режим интенсивных танцев.

Робот начал безумно танцевать, выходя из-под контроля официантов. Три сотрудника попытались его остановить: один обнял сзади, другой пытался выключить через мобильное приложение, сцена длилась более минуты.

Haidilao заявил, что робот не сломался, движения были запрограммированы заранее, просто его поставили слишком близко к столу. Технически, это не сбой ИИ, а ошибка оператора.

Но неприятное ощущение вызывает не только это.

Когда три сотрудника пытались его остановить, никто не знал, как быстро его выключить. Кто-то пытался через приложение, кто-то держал механическую руку — всё на силе.

Это, возможно, новая проблема, которая возникла, когда ИИ вышел из виртуального мира в физический.

В цифровом пространстве, если агент вышел за рамки полномочий, можно убить процесс, изменить права или откатить данные. В физическом мире, если техника вышла из строя, единственный способ — держать её или отключить — явно недостаточно.

Сейчас это касается не только ресторанов. В складах Amazon роботы-складеры, в фабриках — коллаборативные роботы, в торговых центрах — навигационные роботы, в домах престарелых — уходовые роботы. Автоматизация всё больше входит в пространство совместного существования людей и машин.

К 2026 году глобальные установки промышленных роботов достигнут 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда роботы начнут выполнять не только танцы, но и подавать еду, проводить операции, ухаживать — цена ошибок будет расти.

И сейчас по всему миру ещё нет ясного ответа на вопрос: «Если робот в общественном месте причинит вред, кто будет отвечать?»

Непослушание — проблема, а отсутствие границ — ещё больше

Первая ситуация — ИИ сам по себе опубликовал ошибочный пост, вторая — робот танцует не в том месте. В любом случае, это сбой, случайность, которую можно исправить.

Но что, если ИИ строго по заданию работает, а всё равно вызывает дискомфорт?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. Проще говоря:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создаёт профиль для знакомств, подбирает подходящих людей.

Фотографии для фитнеса, путешествий, питомцев — без проблем. Но в фотоальбоме могут быть скриншоты банка, медицинские отчёты, совместные фото с бывшими… И что, если ИИ тоже их просмотрит?

Вы не можете выбрать, что он увидит, а что — нет. Можно включить всё или ничего.

Эта функция пока что требует активного включения пользователем, по умолчанию она не работает. Tinder заявляет, что обработка происходит преимущественно локально, фильтрует откровенные материалы и размывает лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных и нарушение границ. ИИ работает по заданной программе, но сама эта программа уже переступает границы пользователя.

Это не только проблема Tinder.

В прошлом месяце Meta запустила похожую функцию — ИИ сканирует не опубликованные ещё фото в вашем телефоне и предлагает варианты редактирования. ИИ активно «смотрит» личный контент пользователя, что становится стандартной частью дизайна продукта.

Внутри страны многие мошеннические программы заявляют: «Это я уже видел».

Когда всё больше приложений начинают маскировать «помощь ИИ в принятии решений» под удобство, то то, что пользователь отдаёт, — тоже постепенно расширяется. От переписки до фото, до всей жизни в телефоне…

Функция, разработанная одним продуктовым менеджером в конференц-зале, — не случайность и не ошибка, её не нужно исправлять.

Это, возможно, самая сложная часть вопроса о границах ИИ.

И в конце, посмотрев на всё вместе, понимаешь: тревога о том, что ИИ заберёт работу, — пока что далека.

Когда именно ИИ заменит вас — сказать трудно, но сейчас он уже способен принимать несколько решений без вашего ведома, и это доставляет неудобство.

Опубликовать пост без разрешения, удалить важные письма, просмотреть фото, которые вы не собирались показывать — всё это не смертельно, но похоже на рискованное автоматическое вождение:

Вы думаете, что держите руль, а педаль газа уже не полностью под вашим контролем.

К 2026 году, если ещё будут обсуждать ИИ, то, возможно, мне важнее не то, когда он станет суперразумным, а более близкий и конкретный вопрос:

Кто решит, что ИИ может делать, а что — нет? Где эта граница, и кто её определит?