Создание программного обеспечения с помощью искусственного интеллекта стало распространённой практикой — по некоторым данным, за прошедший год ИИ участвовал в написании 40% нового кода. Технический директор Microsoft прогнозирует, что через пять лет этот показатель достигнет 95%. Однако вопросы надёжного сопровождения и защиты такого кода остаются открытыми.
Специалисты отмечают низкий уровень безопасности кода, созданного ИИ. В нём регулярно обнаруживаются традиционные уязвимости: SQL-инъекции, встроенные секреты, проблемы десериализации, XSS-атаки, логические ошибки, устаревшие интерфейсы, ненадёжные криптоалгоритмы, отсутствие обработки исключений и некорректных данных. Особенностью ИИ-разработки стало появление новой проблемы — галлюцинаций языковых моделей. Исследователи выявили, что нейросети иногда предлагают использовать сторонние библиотеки, которые реально не существуют.
Несуществующие зависимости в открытых и коммерческих языковых моделях
Чтобы проанализировать проблему, специалисты сгенерировали 576 тысяч примеров кода на Python и JavaScript с помощью 16 популярных языковых моделей.
Модели демонстрировали разную склонность к ошибкам: GPT-4 и GPT-4 Turbo реже всего создавали фантомные библиотеки (менее 5% случаев), у DeepSeek показатель достигал 15%, а Code Llama 7B допускал ошибки в четверти случаев. Настройки генерации (температура, top-p, top-k), снижающие появление случайных токенов, не смогли полностью устранить проблему.
Код на Python содержал меньше мнимых зависимостей (16%), чем JavaScript (21%). Частота ошибок возрастала на 10% при использовании недавно появившихся технологий и алгоритмов.
Главная опасность заключается в повторяемости ошибочных названий. При повторной генерации по тем же запросам 43% вымышленных пакетов возникали каждый раз.
Анализ имён показал: 13% содержали опечатки, 9% были заимствованы из экосистем других языков, а 38% имели логичные названия, но не соответствовали реальным библиотекам.
Феномен slopsquatting
Эти закономерности привели к появлению новой тактики атак — slopsquatting (по аналогии с typosquatting). Злоумышленники могут регистрировать часто встречающиеся в ИИ-коде фантомные названия библиотек, внедряя в них вредоносный функционал. Если разработчик автоматически устанавливает все предложенные зависимости или ИИ самостоятельно добавляет пакеты, это создаёт риск для цепочки поставок (ATT&CK T1195.001). Опасность усиливается с распространением vibe coding — практики создания приложений через чат с ИИ без глубокого анализа кода.
Учитывая, что за прошлый год в репозиториях обнаружили десятки вредоносных пакетов (1, 2) и около 20 тысяч опасных библиотек, можно ожидать массового использования slopsquatting.
Особенно уязвимы начинающие программисты и корпоративные команды, решающие внутренние задачи автоматизации.
Защитные меры против slopsquatting и рисков ИИ-разработки
Хотя стандарты безопасного использования ИИ в разработке уже существуют (OWASP, NIST, «Лаборатория Касперского»), их внедрение требует времени. Мы выделили ключевые меры для борьбы с фантомными зависимостями:
- Интеграция статического анализа кода в CI/CD-процессы. Весь код, включая ИИ-сгенерированный, должен проверяться на наличие уязвимостей, секретов и корректность зависимостей. Решения вроде Kaspersky Container Security подходят для таких задач.
- Дополнительная проверка кода самими ИИ-моделями. Использование донастройки и RAG (Retrieval-Augmented Generation) на базе актуальных библиотек снижает количество ошибок. В исследованиях это уменьшило число фантомных пакетов до 2,4% для DeepSeek и 9,3% для Code Llama, но полностью проблему не решает.
- Запрет на применение ИИ-ассистентов при создании критически важных компонентов. Для остальных задач обязателен код-ревью с чек-листом, учитывающим специфику ИИ.
- Использование белого списка доверенных библиотек. Доступ к зависимостям должен ограничиваться предварительно проверенными внутренними репозиториями.
- Повышение осведомлённости разработчиков о рисках ИИ через обучение и тренинг.
