Исследователи из Калифорнийского университета в Санта-Крузе показали, что большие визуально языковые модели (LVLM) в системах автопилота уязвимы перед промпт-инъекциями. Для «взлома» системы достаточно показать табличку с текстом нужной команды. Читать…
Крупные языковые модели (LLM), подобные тем, что лежат в основе ChatGPT, порой ставят структуру предложения выше его смысла. Иными словами, они отвечают не на то, что вы спросили, а на то, как это …
Специалисты компании автоматизированного тестирования ИИ-решений SPLX показали, как им удалось с помощью промпт-инъекций обойти защиту агента ChatGPT и заставить его решать CAPTCHA. Читать далее…
Платформа GitLab продвигает чат-бота Duo для быстрой генерации списков задач разработчиков. Однако исследователи безопасности Legit выяснили, что ИИ может внедрить вредоносный код в скрипт, который он пишет по указанию пользователя, а также допускает у…