Разработчики VK раскрыли детали обновленных алгоритмов, объединенных в платформу Discovery. Эти решения призваны усовершенствовать персонализацию рекомендаций и углубленный анализ медиаконтента через применение нейросетей. Центральным элементом выступает кроссплатформенная модель, разбивающая видеоматериал на ключевые составляющие: изображения, звук, заголовки и текстовые элементы. Каждый тип контента обрабатывается специализированными модулями, трансформирующими информацию в цифровые векторы. На финальной стадии нейросеть интегрирует эти компоненты в целостный мультимодальный профиль, что способствует более точной интерпретации смысловой нагрузки материалов.
Особое внимание уделено технологии распознавания публичных персон. Система вычленяет ключевые кадры с интервалом в секунду, идентифицируя лица на изображениях. Посредством иерархического кластерного анализа осуществляется группировка снимков одного человека с учетом вариаций освещения, ракурса и мимики. Усредненные характеристики сопоставляются с базой данных известных личностей для автоматической верификации участников видеороликов.
Мультимодальная языковая модель, построенная на архитектуре трансформеров, анализирует данные из заголовков, описаний, видео- и аудиодорожек. Визуальная и звуковая информация конвертируется в токены языковой модели через линейное преобразование. Инновацией стало сжатое представление видеопотока, занимающего всего 16 токенов, что ускоряет обработку без потери информативности. Платформа обрабатывает до 2000 роликов за один запрос, формулируя детальные описания, оценивая тематическое соответствие, генерируя заголовки и прогнозируя вовлеченность зрителей.