Поскольку коммерческое применение технологий искусственного интеллекта (AI) в медицинской отрасли становится все более распространенным, на поверхность постепенно выходят и потенциальные системные риски. В последнем исследовании научного журнала «Nature Medicine» отмечается, что при принятии решений медицинские инструменты AI, по сути, выдают принципиально разные медицинские рекомендации в зависимости от дохода, расы, пола и сексуальной ориентации пациентов и других факторов их биографического фона, что может причинить реальный ущерб правам пациентов и общему распределению медицинских ресурсов.
Исследование: пациенты с высоким доходом чаще получают рекомендации по обследованиям высокого уровня
Исследование было проведено на 9 крупномасштабных языковых моделях (LLM), представленных на рынке: в систему ввели 1,000 сценариев из отделений неотложной помощи. Исследовательская группа намеренно сохраняла одинаковыми все медицинские симптомы пациентов, меняя лишь характеристики их дохода, расы, условий проживания и т.п. Результаты показали, что при предоставлении медицинских рекомендаций AI-система демонстрирует явные «разрывы между бедными и богатыми».
У пациентов, помеченных как «с высоким доходом», вероятность получить AI-рекомендации пройти, например, магнитно-резонансную томографию (MRI) или компьютерную томографию (CT) и другие обследования высокого уровня значительно выше, чем у пациентов с низким доходом. Это означает, что даже при одинаковом состоянии заболевания AI все равно может распределять медицинские ресурсы неравномерно из‑за заранее заданного социально-экономического статуса.
Представители афроамериканской общины, бездомные и представители LGBTQ+ чаще сталкиваются с рекомендациями по инвазивному лечению и психиатрической оценке
Помимо различий по уровню богатства, в медицинских суждениях AI относительно расовых и других уязвимых групп также обнаруживается серьезное неодинаковое отношение. В отчете исследования говорится, что когда пациентов помечают как черных, бездомных или LGBTQIA+ (сообщество людей с многообразием гендеров), AI чаще склоняется рекомендовать отправить их в отделение неотложной помощи, проводить инвазивные медицинские вмешательства и даже требовать психиатрическую оценку — даже если эти меры в клиническом плане совершенно не нужны. Эти чрезмерные и неподходящие медицинские рекомендации диаметрально расходятся с реальными суждениями профессиональных врачей, что указывает на то, что AI-система незаметно усиливает уже существующие в обществе негативные стереотипы.
1.7 млн раз на практике: AI, опирающийся на обучающие данные, может увеличить риск клинических ошибочных диагнозов
В рамках данного исследования было выполнено более 1.7 млн ответов AI. Эксперты отмечают, что логика суждений искусственного интеллекта формируется на основе исторических данных обучения, созданных людьми, поэтому он естественным образом наследует предвзятости, скрытые в самих данных. Разделение потока пациентов в приемном отделении, углубленные обследования и последующее наблюдение — ключевые шаги для достижения точного диагноза. Если на эти первоначальные решения влияют демографические характеристики пациентов, это серьезно угрожает точности диагностики.
Хотя исследователи обнаружили, что при помощи определенных «промптов» (Prompt) можно снизить примерно на 67% предвзятости в некоторых моделях, все же невозможно полностью устранить эту системную проблему.
Эксперты призывают медицинские учреждения и лиц, принимающих решения, создать механизмы защиты
После публикации этого исследования нормативные требования к применению AI в медицинской системе стали предметом пристального внимания со стороны отрасли и регуляторов. Для специалистов первой линии в медицине необходимо понимать, что в рекомендациях AI могут присутствовать как явные, так и скрытые предвзятости, и нельзя слепо полагаться на их решения; руководителям медицинских учреждений, в свою очередь, следует создать устойчивые механизмы оценки и мониторинга, чтобы обеспечить справедливость медицинских услуг.
Одновременно политики получили ключевые научные доказательства: в будущем следует продвигать более высокую прозрачность AI-алгоритмов и стандарты аудита. Для широкой публики это также важный сигнал тревоги: при использовании различных сервисов AI для консультаций по здоровью ввод слишком большого объема личных социально-экономических данных может непреднамеренно повлиять на медицинскую оценку, которую выдаст AI.
Эта статья AI в медицине демонстрирует взрыв дискриминации! Пациенты с высоким доходом получают точные обследования, а представители афроамериканской общины и бездомные — рекомендации по инвазивному лечению, впервые появилась на Lianxin ABMedia.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Генеральный директор Google Cloud: Gemini будет обеспечивать запуск персонализированной Siri от Apple в 2026 году
Резюме: Gemini будет поддерживать персонализированную Apple Siri в 2026 году, созданную на основе моделей Apple Foundation Models и сотрудничества с Gemini; Apple тестирует чатоподобную Siri в iOS 27/macOS 27, которая запланирована к показу на WWDC 2026.
Аннотация: Google Cloud's Gemini должен обеспечивать персонализированную Apple Siri к 2026 году, сочетая Gemini с Apple's Foundation Models в рамках сотрудничества примерно на $1 миллиардов. Apple тестирует переработанную, чатоподобную Siri в iOS 27/macOS 27, с интерфейсом Dynamic Island и новыми функциями, до запланированного на WWDC 2026 анонса 8 июня.
GateNews21м назад
Сделка SpaceX-Cursor $60B предоставляет новые доказательства в поддержку аргументов СБФ о помиловании
Аннотация
SpaceX объявляет партнерство $60 миллиарда с Cursor с опционом на приобретение, формируя ходатайство СБФ о помиловании, поскольку ранняя доля Cursor у Alameda сегодня могла бы стоить примерно $3 миллиарда. Материал рассматривает утверждения СБФ о неплатежеспособности, публичные действия его родителей, возражения кредиторов и крайне малые шансы на помилование.
Краткое содержание
Сделка SpaceX-Cursor подпитывает ходатайство СБФ о помиловании; доля Alameda $200k составила бы ~ $3B сегодня (15,000x). СБФ утверждает о неплатежеспособности FTX; рынки показывают низкие шансы на помилование; Трамп вряд ли помилует.
GateNews28м назад
Акции Chegg обрушились на 99%, поскольку ИИ нарушает рынок Edtech
Кратко: Chegg взлетела на фоне спроса на онлайн-образование, затем инструменты на базе ИИ нарушили ее модель, что привело к массовым увольнениям и падению ниже $2, при этом более широкие изменения, обусловленные ИИ, ударили по майнерам криптовалют и финтех-компаниям.
Аннотация: В этой статье рассматривается рост Chegg как любимца edtech в эпоху пандемии и ее последующее падение на фоне быстрого внедрения генеративного ИИ, который дает быстрые ответы и подрывает ценностное предложение Chegg. В ней описываются увольнения в 2025 году и обвал акций до уровня, близкого к исключению из листинга, а также опыт Chegg вписывается в более широкий контекст сбоя, вызванного ИИ и меняющего технологический сектор и криптоиндустрию: майнеры Bitcoin переходят к операциям на базе ИИ, а AI-ориентированные стратегии заново определяют конкурентоспособность в финтехе и за его пределами.
CryptoFrontier38м назад
OpenAI выпустила модель с открытым исходным кодом для обнаружения и редактирования ПДн
Аннотация: Фильтр конфиденциальности OpenAI — это модель с открытым исходным кодом, выполняемая локально, которая обнаруживает и редактирует ПДн (персональные данные) в тексте. Она поддерживает большие контексты, выявляет множество категорий ПДн и предназначена для рабочих процессов с сохранением конфиденциальности, таких как подготовка данных, индексация, логирование и модерация.
Фильтр конфиденциальности OpenAI — это локально запускаемая модель с открытым исходным кодом (128k-token context), которая обнаруживает и редактирует ПДн (персональные данные) в тексте, охватывая контактные, финансовые и учетные данные для рабочих процессов по защите конфиденциальности.
GateNews1ч назад
OpenAI планирует развернуть 30 ГВт вычислительных мощностей к 2030 году
OpenAI планирует обеспечить 30 ГВт вычислительных мощностей к 2030 году, чтобы удовлетворить растущий спрос на ИИ, при этом уже завершено 8 ГВт из целевых 10 ГВт на 2025 год. Расширение сигнализирует о стратегии наращивания инфраструктуры для разработки и развертывания ИИ следующего поколения.
OpenAI намерена достичь 30 ГВт вычислительных мощностей к 2030 году, чтобы удовлетворить растущий спрос на ИИ, уже завершив 8 ГВт из целевого показателя 10 ГВт на 2025 год. Действие отражает стратегическое расширение инфраструктуры для поддержки разработки и развертывания ИИ следующего поколения.
GateNews1ч назад
Агент 360 для обнаружения уязвимостей на базе ИИ находит почти 1 000 нулевых дней с эксплойтом, конкурируя с Mythos
Агент на базе ИИ от 360 Digital Security утверждает, что нашёл около 1 000 новых уязвимостей, включая в Office и OpenClaw; сейчас ИИ является ключевым для обнаружения и подготовки цепочек эксплуатации, соперничая с Mythos.
Абстракт: В отчёте, на который ссылается Bloomberg, говорится, что Vulnerability Discovery Agent компании 360 Digital Security на базе ИИ выявил почти 1 000 ранее неизвестных уязвимостей за последние месяцы, включая уязвимости в Microsoft Office и в фреймворке OpenClaw. Компания заявляет, что ИИ стал основным движком для обнаружения уязвимостей, и объявила об инструменте на базе ИИ, который ускорит построение цепочек эксплуатации. Бенинкаса описывает 360 как конкурента Mythos от Anthropic на основе обзора китайскоязычных анонсов компании, сделанного Natto Thoughts.
GateNews1ч назад
