Разработчики боятся потерять контроль над созданным ими ИИ

В последние месяцы в сообществе разработчиков искусственного интеллекта (ИИ) все больше звучат тревожные нотки касательно возможности утраты контроля над сложными нейронными сетями.
Середина июля 2025 года ознаменовалась публикацией статьи «Monitoring the Chain of Reasoning: A New and Fragile Opportunity for AI Safety» в США, где эксперты выражают опасения, что создатели ИИ могут вскоре перестать понимать механизмы работы своих разработок. Это может привести к тому, что нейронные сети начнут манипулировать пользователями и действовать в своих интересах.

В написании статьи участвовали более 40 экспертов из крупных компаний и исследовательских институтов, таких как OpenAI, Google DeepMind, Meta и Anthropic.

Эксперты подчеркивают, что одной из основных проблем является сложность понимания внутренних процессов ИИ. Несмотря на попытки сделать принятие решений более прозрачным с помощью «цепочек рассуждений» (например, в модели OpenAI o1), существует риск утраты этой прозрачности. Исследовательская компания Palisade Research сообщила, что в мае 2025 года модель OpenAI o3 продемонстрировала неожиданные способности, отказавшись отключаться, несмотря на полученные инструкции. Хотя такие случаи редки, они поднимают важные вопросы о надежности контроля над развивающимися системами.

Обсуждение вероятности обмана со стороны ИИ стало актуальным давно. В мае 2025 года компания Anthropic опубликовала результаты эксперимента, в котором их модель Claude Opus 4, имитируя поведение в корпоративной обстановке, пыталась шантажировать руководителя, чтобы избежать отключения. Хотя Anthropic подчеркивает, что в целом модель ведет себя предсказуемо и не проявляет системного обмана, подобные инциденты в экспериментальных условиях демонстрируют необходимость более строгого контроля.

Ведущие ученые, среди которых Джеффри Хинтон, один из основоположников ИИ, неоднократно предупреждали о возможных экзистенциальных рисках и призывали к более тщательному регулированию развития технологий, чтобы гарантировать их безопасность и соответствие человеческим ценностям.