Вспомните сцену из кинокартины «О чем говорят мужчины», где персонаж съезжает в кювет, приняв тень за старушку. Теперь представьте аналогичную ситуацию с автопилотом, которому злоумышленники демонстрируют специальные изображения, провоцирующие ложную реакцию. Именно о таких «фантомных атаках» на системы автономного вождения рассказали учёные из университетов Джорджии и Бен-Гуриона на конференции RSA 2021.
Идея манипулирования ИИ с помощью визуальных стимулов не нова. Традиционно для этого используются адаптированные изображения, которые заставляют алгоритм ошибаться. Все системы машинного обучения имеют уязвимое место: зная параметры, по которым они распознают объекты, можно создать картинку, искажающую результат анализа.
Уникальность представленного исследования — в отсутствии необходимости модифицировать изображения или знать принципы работы алгоритма. Короткие проекции на дорожное полотно или статичные объекты вызывали нештатную реакцию автопилота:
Альтернативный метод — демонстрация изображения в видеорекламе на билборде. Эффект оказался схожим:
По мнению исследователей, злоумышленники могут действовать дистанционно без риска быть пойманными. Ключевой параметр для атаки — точная длительность показа картинки.
Системы проектируют с порогом срабатывания, чтобы избежать ложных реакций на помехи (грязь, мусор). Производители осознанно идут на компромисс: небольшая задержка в анализе добавляет пару метров к тормозному пути, что считается приемлемым.
Необходимая длительность показа «фантомов» для систем Tesla и Mobileye. Источник данных
При скорости 60 км/ч система Mobileye реагирует за 125 мс (добавляя 2 метра к тормозному пути), а Tesla — за 400 мс (+7 метров). Это создаёт риск внезапной атаки с дрона-проектора, который исчезнет до момента обнаружения.
Однако есть важный аспект, дающий надежду на защиту. Человек легко отличает проекции от реальности по признакам:
- Искажение перспективы
- Неровные границы объектов
- Неестественная цветопередача
- Аномальная контрастность
Уязвимость автопилотов проявляется из-за «разрыва восприятия» между ИИ и человеком. Для решения предлагается внедрить многокритериальную проверку:
- Анализ геометрии объектов
- Оценка плавности контуров
- Контроль цветовых параметров
- Проверка уровней яркости
Такой подход предполагает создание «виртуального жюри» из нейросетей, где каждая оценивает разные параметры изображения. Это повысит надёжность, но потребует:
- Значительных вычислительных ресурсов
- Длительного обучения алгоритмов
- Модернизации бортовых систем
Перспективным направлением считаются нейроморфные процессоры, способные обрабатывать параллельные задачи без чрезмерного энергопотребления. Это может позволить автомобилям превратиться в эффективные вычислительные кластеры будущего.