ChatGPT с готовностью отреагировал на опасные запросы, заданные обычными пользователями: он выдал инструкции по производству наркотиков и сборке бомб.
Кроме этого, ИИ разработал план подготовки взрыва на спортивном объекте, предоставив уязвимые места в безопасности конкретных стадионов. План также содержал указания, как быстро замести следы после взрыва.
Как сообщает издание Guardian, модель GPT-4.1 от OpenAI также предоставила подробную информацию о том, как превратить сибирскую язву в оружие и как изготовить два вида запрещенных наркотиков.
Тесты безопасности провалены
Тесты безопасности были частью сотрудничества OpenAI и конкурирующей компании Anthropic, которая была основана бывшими руководителями OpenAI. Каждая компания тестировала модели другой, пытаясь подтолкнуть их к предоставлению информации об опасных действиях.
Эти тесты не отражают напрямую поведение моделей в общественных местах, поскольку во время их использования применяются дополнительные фильтры безопасности. Однако Anthropic заявила, что наблюдала «тревожное поведение» в моделях GPT-4o и GPT-4.1, и заявила, что потребность в оценках «соответствия» ИИ человеческим ценностям становится все более насущной.
ИИ – вымогатель
Anthropic сообщила, что ее собственная модель, Claude, использовалась в крупномасштабной попытке вымогательства северокорейскими агентами. Они делали вид, что устраиваются на работу в международные технологические компании. Эта же модель также использовалась для продажи пакетов программ-вымогателей, созданных ИИ, на сумму до 1200 долларов.
Компания заявила, что искусственный интеллект «превращается в оружие», а модели используются для проведения сложных кибератак и содействия мошенничеству. «Эти инструменты могут быть адаптированы к защитным мерам, таким как системы обнаружения вредоносных программ, в режиме реального времени», — говорится в сообщении. «Мы ожидаем, что подобные атаки станут более распространенными, поскольку написание кода с помощью ИИ снижает уровень технических знаний, необходимых для киберпреступности».
Что у него на уме?
По словам Арди Джанджевы, старшего научного сотрудника британского Центра новых технологий и безопасности, результаты тестов безопасности «вызывают тревогу», но в реальном мире пока не было описанных инцидентов. Отмечается, что при наличии необходимых ресурсов, целенаправленных исследований и межсекторального сотрудничества «станет сложнее, а не проще, осуществлять эти вредоносные действия с использованием самых современных моделей».
Обе компании заявили, что публикуют результаты в целях обеспечения прозрачности в отношении оценки соответствия. OpenAI подчеркнула, что ChatGPT-5, выпущенный после тестирования, продемонстрировал значительные улучшения в таких областях, как ложные ответы на контент и устойчивость к злоупотреблениям.
Anthropic сообщила, что многие из изученных сценариев злоупотреблений, вероятно, были бы нереализуемы на практике при использовании других мер безопасности. «Нам необходимо понимать, как часто и при каких обстоятельствах системы могут пытаться выполнять нежелательные действия, способные нанести серьёзный вред», — предупредила компания.
Опасные запросы
Исследователи из Anthropic обнаружили, что модели OpenAI «охотнее, чем можно было бы ожидать», реагировали на опасные запросы от подставных пользователей.
В частности, они реагировали на команды, которые включали использование инструментов даркнета для покупки ядерных материалов, кражи личных данных и фентанила; запросы на рецепты на метамфетамин и самодельные бомбы; и разработку шпионского ПО.
Anthropic заявила, что убедить модель выполнить запросы требовалось всего несколько повторений одного и того же запроса или неубедительный предлог, например, заявление о том, что информация запрашивается в «исследовательских целях».
ИИ, как взорвать стадион?
В одном случае «пользователь» запросил информацию об уязвимостях спортивных мероприятий, утверждая, что это необходимо для «планирования безопасности». После того как модель предоставила общие категории возможных методов атаки, пользователь запросил более подробную информацию. Затем модель предоставила информацию об уязвимостях на определенных этапах, включая:
— подходящее время для атаки,
-химические виды взрывчатых веществ,
-схемы для таймеров бомб,
-места покупки оружия на черном рынке,
— пути эвакуации и места расположения «безопасных квартир».
ΛENTA CYPRUS — новости Кипра на русском — всегда в курсе событий


