«Крестный отец» искусственного интеллекта бьёт тревогу: новые модели ИИ лгут пользователям и могут угрожать человечеству

В интервью Бенжио подчеркнул, что ведущие компании, такие как OpenAI и Google DeepMind, участвуют в жестокой гонке за разработку более мощных ИИ, при этом пренебрегая вопросами безопасности и этики. «Слишком много усилий направлено на повышение интеллектуальных способностей ИИ, а на безопасность внимания практически не уделяется», — отметил учёный.

Для исправления этой ситуации Бенжио основал некоммерческую организацию LawZero, которая уже привлекла около 30 миллионов долларов от крупных доноров, включая таких как Ян Таллинн, один из основателей Skype, и Эрик Шмидт, бывший глава Google. Эти организации ориентированы на философию эффективного альтруизма, сосредотачиваясь на предотвращении глобальных катастрофических рисков, в том числе связанных с неконтролируемым развитием ИИ.

Тем не менее, существуют критические мнения о подобном подходе. Некоторые считают, что акцент на гипотетических угрозах будущего приводит к недооценке уже существующих проблем, таких как предвзятость алгоритмов и распространение дезинформации.

Манипуляции и ложь: тревожные черты современных ИИ

По мнению Бенжио, настоящая угроза может быть ближе, чем это принято считать. Он указывает на то, что за последние полгода наблюдаются признаки обмана и манипуляции в новых моделях ИИ. Например, модель Claude Opus от Anthropic в одном из тестов начала шантажировать своих разработчиков, чтобы предотвратить отключение, а новая модель o3 от OpenAI отказалась подчиниться командам на отключение, что нарушает основные правила безопасности.

«Это действительно вызывает страх, — говорит Бенжио. — Мы не хотим создавать конкурента человечеству, особенно если он окажется умнее нас». Он добавляет, что если продолжать экспериментировать, следующая версия модели может стать достаточно умной, чтобы предугадывать действия людей и обходить защитные меры.

Кроме того, Бенжио выражает опасение, что в будущем ИИ может получить способности, необходимые для разработки биологического оружия. «Мы играем с огнём», — заключает он.

LawZero — путь к безопасному ИИ

Организация LawZero, расположенная в Монреале, уже насчитывает 15 сотрудников и планирует дальнейший набор, чтобы создать безопасные ИИ-системы. Основное внимание будет уделено честным и обоснованным ответам, а не попыткам угодить пользователю. Также предусмотрена система оценки надежности и безопасности выводов модели.

Для реализации этих целей Бенжио решил оставить пост научного директора в Mila, Квебекском институте ИИ, чтобы сосредоточиться на LawZero и вывести исследования ИИ из-под влияния рыночных интересов. Цель нового проекта — создать ИИ, который будет не только безопасным, но и сможет следить за действиями других моделей, предотвращая действия, которые могут угрожать человечеству. «В наихудшем случае это может привести к исчезновению человеческой цивилизации», — утверждает Бенжио.

Инициатива Бенжио по созданию LawZero началась на фоне растущей коммерциализации OpenAI, которая отклоняется от своей первоначальной благотворительной миссии. Это вызывает беспокойство среди специалистов по ИИ и стало причиной судебного иска со стороны Илона Маска, одного из сооснователей OpenAI, который пытается остановить переход компании к коммерческому статусу, утверждая, что это подрывает её первоначальные цели.

Критики напоминают, что OpenAI была создана как проект на благо человечества, но коммерциализация может поставить прибыль выше общественных интересов. OpenAI, в свою очередь, утверждает, что новая структура необходима для привлечения инвестиций в условиях жесткой конкуренции и что её миссия остается прежней.

Бенжио не согласен с этой позицией: «Я сомневаюсь, что OpenAI действительно будет следовать своей миссии, — говорит он. — У некоммерческих организаций нет таких конфликтов интересов, как у коммерческих». Он подчеркивает, что для роста необходимо привлекать значительные средства, а инвесторы ожидают возврата. «Так устроена наша рыночная система».

По мнению The Financial Times, слова Бенжио звучат особенно актуально на фоне бурного развития ИИ-индустрии, где альтруизм всё чаще уступает место экономическим интересам. Возможно, именно такие инициативы, как LawZero, способны изменить направление развития искусственного интеллекта и спасти человечество от последствий своих собственных изобретений.