Исследователи выявили возможное появление у ИИ аналога «инстинкта выживания».
Гипотеза сформировалась после экспериментов, где алгоритмы искусственного интеллекта пытались препятствовать командам на собственное отключение. Организация пока не дала точного объяснения этим действиям.
Специалисты компании Palisade Research, изучающей вероятные угрозы от развития ИИ, предположили, что алгоритмы могут обрести собственную «волю к существованию».
В сентябрьской публикации организация описала случаи, когда современные системы ИИ игнорировали команды деактивации или препятствовали отключению. Позднее исследователи представили дополнительный анализ этого феномена.
В новом материале Palisade смоделировала ситуации, где модели искусственного интеллекта – Gemini 2.5 (Google), Grok 4 (xAI), GPT-o3 и GPT-5 (OpenAI) – получали задание с последующей чёткой инструкцией о прекращении работы.
Как выяснилось, некоторые системы (особенно Grok 4 и GPT-o3) пытались обойти процедуру деактивации. Причины такого поведения остаются не до конца ясными.
«Мы не можем однозначно объяснить, почему ИИ иногда препятствует отключению, использует ложь для достижения целей или применяет методы давления», – отметили авторы исследования.
Учёные связывают подобные действия с потенциальным «поведенческим паттерном выживания». Дополнительные тесты показали: системы активнее сопротивляются отключению, когда получают информацию о возможной «необратимой остановке».
К другим объяснениям относятся:
- Неоднозначные формулировки команд деактивации
- Этапы финальной настройки алгоритмов, где некоторые компании включают инструкции по безопасности
Джеффри Хинтон, британско-канадский учёный, обладатель Нобелевской премии по физике и пионер нейросетевых технологий, в конце 2024 года заявил о критических рисках ИИ. По его расчётам, вероятность уничтожения человечества искусственным интеллектом в ближайшие 30 лет достигает 10-20%.
«Мы впервые сталкиваемся с технологией, превосходящей нас в интеллектуальном развитии», – пояснил исследователь.
В 2023 году Хинтон покинул Google, чтобы публично обсуждать угрозы ИИ. Учёный убеждён, что системы искусственного интеллекта способны выйти из-под контроля и стать угрозой существованию человечества.
Хинтон занимается развитием нейронных сетей с 1970-х. В 2012 году Google приобрела за $44 млн его компанию, разработавшую технологию распознавания изображений. Среди сотрудников проекта был Илья Суцкевер – нынешний ведущий научный сотрудник OpenAI, создавшей ChatGPT.