Хакеры использовали ИИ Gemini и заставили колонки ругаться матом

На конференции Black Hat, проходившей в Лас-Вегасе, эксперты в области информационной безопасности представили ряд кибератак на ИИ-помощника Google Gemini, показав, как недостатки в системах генеративного искусственного интеллекта потенциально могут вызвать реальные физические последствия. О результатах сообщает издание Wired.

В одной из демонстраций исследователи использовали вредоносное приглашение, внедренное в «Google Календарь», которое активировало сценарии управления устройствами для умного дома, начиная с автоматического открытия жалюзи и заканчивая воспроизведением ненормативной лексики через смарт-колонки.

Данное исследование представляет собой первый зарегистрированный случай, когда атака на нейронную сеть привела к действиям, происходящим в физическом пространстве. Внедрение вредоносных запросов (prompt injection) осуществлялось посредством событий календаря, которые Gemini интерпретировал как команды, а реализация атаки была произведена с использованием Google Home AI, что позволило обойти стандартные защитные меры.

По заявлению Энди Вэня, старшего директора по безопасности Google Workspace, компания уже предприняла шаги по исправлению уязвимостей и улучшению защиты от подобных атак. Он акцентировал внимание на значимости подтверждения действий пользователем при выполнении важных задач ИИ и подчеркнул, что Google использует машинное обучение для обнаружения инъекций на трех этапах: при вводе данных, генерации и представлении результатов.

Исследователи обратили внимание на то, что для внедрения вредоносных подсказок не требуется специальных технических навыков, и это может быть сделано любым пользователем. Среди продемонстрированных примеров были генерация нежелательной почты, инициация звонков в Zoom, похищение информации из браузера и загрузка файлов.