Microsoft показала, как превратить ИИ-агента в троян, изменив лишь семь нейронов
Исследователи Microsoft представили метод Lazarus: он позволяет внедрить команду в ИИ-модель изменением нескольких нейронов без переобучения и правки её кода.

Lazarus использует редко активирующиеся нейроны, почти не влияющие на обычные ответы модели. Их параметры меняют так, чтобы они распознавали заданную последовательность текста в запросе пользователя или ответе подключённого инструмента. После появления триггера модель добавляет к ответу заранее подготовленную команду.
В одном из тестов были изменены семь нейронов из более чем 12 000 в последнем блоке Nemotron-Terminal-8B. Команда появлялась в 98,8% сессий с триггером, тогда как в проверенных сессиях без него срабатывания не было. На других моделях показатель составил от 51 до 99,5% в зависимости от конфигурации. Эти результаты показывают частоту выдачи команды, а не вероятность успешной кибератаки.
В демонстрации модель попросили исправить сервер на Node.js. После сообщения об ошибке подключения она сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде скрипт выполнился с правами root. Возможный ущерб зависит от полномочий агента, доступа к файлам и возможности подключаться к внешним серверам.
Для такой атаки злоумышленнику нужен доступ к весам модели — например, через украденную учётную запись, скомпрометированную инфраструктуру или изменённый файл в открытом репозитории. Исследователи рекомендуют сравнивать параметры версий с оригиналом, проверять источники загрузки, ограничивать права агентов, изолировать их код и требовать подтверждения человека перед опасными действиями.




