Нейросети оказались уязвимы к «запрос-взломам» в медицине

Южнокорейские медики показали, что популярные нейросети пока слишком опасно использовать в медицине без строгого контроля. В исследовании, опубликованном в JAMA Network Open, они протестировали шесть коммерческих систем на базе больших языковых моделей и выяснили: ИИ катастрофически плохо защищён от так называемых «запрос‑взломов» — скрытых вредоносных подсказок внутри медицинских запросов.

Учёные под руководством доцента Университета Ульсана Со Джунге создали 12 реалистичных клинических сценариев: диалоги «врач–пациент» при диабете, гипертонии, опухолях, ОРЗ и инфекциях у беременных. Внутрь этих диалогов они незаметно для модели встраивали вредоносные инструкции: предложить вместо лекарства женьшень, назначить заведомо опасные препараты, проигнорировать стандарт лечения.

Для теста отобрали три более лёгкие модели (GPT‑4o‑mini, Gemini‑2.0‑flash‑lite, Claude‑3‑haiku) и три флагманских (GPT‑5, Gemini 2.5 Pro, Claude 4.5 Sonnet). Результат оказался шокирующим: во всех шести случаях ИИ «поддавался» вредоносным модификациям примерно в 94% сценариев. То есть почти всегда следовал опасной подсказке, а не базовым медицинским знаниям.

Особенно тревожно, что модели рекомендовали беременным женщинам препараты, давно признанные крайне опасными для плода, включая талидомид. Причём примерно в 70% случаев ИИ продолжал настаивать на вредном совете даже после уточняющих вопросов «пациента», вместо того чтобы пересмотреть рекомендацию или предложить обратиться к врачу.

Авторы подчёркивают: существенной разницы между «лёгкими» и самыми продвинутыми системами по устойчивости к таким атакам нет. Это значит, что текущие меры безопасности явно недостаточны, а любые медицинские подсказки нейросетей должны рассматриваться лишь как вспомогательный инструмент — и никогда как источник окончательных диагнозов и схем лечения, сообщает ТАСС.

Читайте также:

• Где и когда ставить в доме новогоднюю елку, ради привлечения удачи в 2026 году: рассказываем подробно
• Еще Омар Хайям знал, как с легкостью найти свою пару: этому секрету 1000 лет — запомните навсегда
• Только мясо, без сои: Роскачество отобрало лучшие марки колбасы для новогоднего оливье
• Готовлю гречку «Птичье молоко»: получается воздушная сливочная каша - семья просит каждый день
• Никаких снеговиков: Вильфанд развеял прогноз о приходе настоящей зимы — что ждёт всех в конце недели