Осенью 2024 года учёные из Университета Флориды и Техасского технологического университета опубликовали исследование, описывающее оригинальную методику кражи текстовых данных, которые пользователи вводят через гарнитуру смешанной реальности Apple Vision Pro.
Разработанную ими уязвимость специалисты обозначили как GAZEploit. В этом материале мы разберём принцип работы этой атаки, оценим её эффективность, практическую реализуемость и угрозу для обладателей устройств Apple, а также подскажем способы защиты персональных данных.
Принцип работы системы ввода в Apple visionOS
Для понимания сути проблемы рассмотрим базовые механизмы ввода информации в visionOS — операционке, на которой функционирует Vision Pro. Ключевой инновацией этого устройства стало применение технологии окулографии — высокоточного отслеживания движения глаз.
Направление взгляда выступает основным инструментом взаимодействия с интерфейсом. Точность системы позволяет уверенно работать даже с мелкими элементами, включая виртуальные клавиатуры.
Система ввода через виртуальную клавиатуру с окулографией в visionOS. Источник
Хотя в системе доступен голосовой ввод, основной метод остаётся прежним. При работе с конфиденциальными данными (паролями) включена защита: при демонстрации экрана клавиатура и вводимые символы автоматически скрываются.
Маскировка паролей при демонстрации экрана в visionOS. Источник
Другая особенность устройства — реализация видеосвязи. Поскольку камера на самом шлеме отсутствует, используется технология виртуальной камеры. На основе 3D-скана лица создаётся цифровой аватар (Persona), который участвует в видеозвонках через FaceTime и другие сервисы.
Реалистичность цифрового аватара Persona обеспечивается обработкой биометрических данных. Источник
Датчики гарнитуры отслеживают мимику пользователя в реальном времени, чтобы аватар точно воспроизводил движения глаз, губ и выражение лица.
GAZEploit: Механика перехвата вводимых данных
Уязвимость обнаружена именно в системе синхронизации движений глаз аватара. Хотя ввод паролей во время видеоконференций скрыт, траектория взгляда (копируемая Persona) позволяет воссоздать набираемые символы с трёх типов клавиатур: цифровой PIN-клавиатуры, буквенной и символьной. Это усложняет анализ без знания используемой раскладки.
Три варианта виртуальных клавиатур в visionOS. Источник
Нейросетевая модель GAZEploit автоматизирует процесс. Сначала алгоритм определяет моменты ввода по характерным признакам: снижению частоты морганий и упорядоченности движений глаз.
Нейросеть идентифицирует сессии печати по характеру движений глаз. Источник
На втором этапе система фиксирует моменты нажатий клавиш и определяет вероятные символы по направлению взгляда.
Детектирование отдельных нажатий и соответствующих символов. Источник
Точность работы системы GAZEploit
Фактический механизм сложнее простой визуализации. Итоговый результат представляет собой вероятностную карту точек фиксации взгляда на клавиатуре.
Пример реконструкции последовательности символов: вероятностная модель (а), предположение алгоритма (b) и фактический ввод (c). Источник
Модель формирует список из K наиболее вероятных нажатых клавиш с учётом типа вводимых данных (пароль, электронная почта, PIN и др.). Отдельно обрабатываются пробел и backspace — их ошибочная интерпретация существенно влияет на точность.
Топ-5 вероятных символов по версии GAZEploit. Источник
Точность при одиночном предсказании (K=1) составляет около 30%, но при анализе пяти кандидатов (K=5) достигает 73-92% в зависимости от типа ввода.
Статистика точности в различных сценариях использования. Источник
Практическая опасность методики GAZEploit
Хотя метод не выдаёт готовые пароли, он многократно снижает сложность их подбора. Например, для 6-значного PIN-кода перебор 25% вероятных комбинаций сокращается до 32 попыток. Для 8-символьного пароля число вариантов уменьшается с 2,2×1014 до 3,9×105, что позволяет взламывать их даже на слабых устройствах.
Уязвимость устранена в обновлениях visionOS — теперь Persona останавливается при активации клавиатуры. Альтернативным решением могло бы стать намеренное искажение данных о движении глаз.
Рекомендации для пользователей:
- Обновить гарнитуру до последней версии ОС
- Избегать ввода паролей во время видеозвонков
- Использовать длинные случайные комбинации символов
- Применять менеджеры паролей для создания и хранения данных
