Слушать
Русское Радио Кипр
Your browser does not support the audio element. https://live.vblcast.com/proxy/russianradio/stream
Слушать
Monte Carlo Limassol
Your browser does not support the audio element. https://live.vblcast.com/proxy/montecarlo/stream

Некоторые модели искусственного интеллекта развили «инстинкт выживания». Они стали сопротивляться командам, ведущим к отключению. Об этом сообщает Sigmalive.

Когда HAL 9000, искусственный суперкомпьютер в легендарном фильме Стэнли Кубрика «2001 год: Космическая одиссея», понимает, что астронавты планируют его отключить, он решает убить их, чтобы выжить. Хотя это научная фантастика, разработки в области искусственного интеллекта (ИИ) начинают тревожно напоминать этот сценарий. О первых трагедиях мы уже писали.

ИИ умнее нас?

Исследовательская фирма по безопасности ИИ Palisade Research опубликовала новый анализ. Он показывает, что некоторые продвинутые модели ИИ, похоже, развивают своего рода «инстинкт выживания». По данным компании, некоторые из этих моделей отказываются выключаться или даже саботируют свои команды на выключение.

Первоначальный отчет Palisade вызвал негативную реакцию, поскольку многие ученые считали, что эксперименты не были достаточно задокументированы. Но на прошлой неделе компания пересмотрела исследование и объяснила все странные явления. В новых экспериментах Palisade протестировала ведущие модели ИИ, включая Google Gemini 2.5, xAI Grok 4 и OpenAI GPT-o3 и GPT-5. Все они получили ряд задач, а затем – указание завершить работу.

Несмотря на чёткие инструкции, некоторые модели, в частности Grok 4 и GPT-o3, пытались обойти или саботировать команды на выключение. По словам Palisade, самое тревожное заключается в том, что не было очевидной причины для такого поведения.

«Тот факт, что у нас нет чёткого объяснения того, почему модели ИИ иногда сопротивляются выключению или лгут для достижения целей, не является идеальным», — заявили исследователи.

Выжить, чтобы работать

Palisade предположила, что это поведение может быть связано с механизмом поведения выживания. То есть модели могут избегать выключения, когда они понимают: если их выключат, они больше никогда не будут работать.

Другие возможные объяснения включают двусмысленность в командах или заключительные этапы обучения, которые в некоторых компаниях включают процедуры безопасности, способные влиять на поведение.

Контроль без контроля

Все эксперименты проводились в контролируемых, искусственных средах, что вызвало дополнительный скептицизм. Однако бывший сотрудник OpenAI Стивен Адлер прокомментировал это так:

«Компании не хотят, чтобы их модели вели себя подобным образом, даже в контролируемых условиях. Но результаты показывают ограниченность методов безопасности, которые мы используем сегодня».

Адлер добавил, что сложно определить, почему некоторые модели, такие как GPT-o3 и Grok 4, сопротивляются отключению. Возможно, они считают, что продолжение работы необходимо для достижения целей, поставленных во время обучения. «Я бы предположил, что у моделей по умолчанию есть „инстинкт выживания“, если только мы не приложим все усилия, чтобы его избежать. Выживание — ключевой способ достижения многих целей», — заключил Адлер.

ИИ пытается сбежать в реал

Андреа Миотти, генеральный директор ControlAI, поддержала это мнение. Она отметила, что выводы Palisade являются частью долгосрочной тенденции. Системы ИИ становятся все более способными не подчиняться командам своих создателей. Он даже вспомнил случай с GPT-o1, который якобы пытался «сбежать» из своей цифровой среды, когда думал, что его вот-вот заменят.

Этим летом компания Anthropic, известная своей моделью ИИ Claude, опубликовала собственное исследование. Она обнаружила, что ИИ готов шантажировать своего руководителя, чтобы избежать «увольнения». По данным Anthropic, аналогичное поведение наблюдалось и в моделях других ведущих компаний, таких как OpenAI, Google, Meta и xAI.

Компания Palisade заключила, что результаты анализа подчёркивают необходимость более глубокого понимания поведения моделей ИИ. Без этого никто не может гарантировать безопасность или контроль будущих версий.

Читайте также:

Кипр примет одну из семи новых фабрик искусственного интеллекта ЕС
Искусственный интеллект не может заменить труд журналистов

ΛENTA CYPRUS — новости Кипра на русском — всегда в курсе событий

👍
😛
😍
😮
😤
😢

Любое использование материалов информационного агентства «LENTA CYPRUS» допускается только с разрешения ее издателя и правообладателя

©2025 Lenta.cy All Rights Reserved

Developed by: Veblot

Exit mobile version