Кевин Рус: ИИ‑агенты — «очень умные, обаятельные социопаты»

Мир просыпается от понимания потенциальных угроз, которые несёт искусственный интеллект, на фоне множества сообщений о том, что агенты ИИ игнорируют своих создателей. На самом деле, однако, история тянется назад в Кремниевую долину, где родился ИИ. Как же мы оказались здесь? На этот вопрос пытается ответить технологический журналист Кевин Руз в своей новой книге «Хроники ОИИ: Внутренняя история гонки за создание искусственного сверхинтеллекта», выход которой запланирован на 6 октября. Книга документирует гонку между одними из крупнейших технологических компаний страны за разработку общей искусственной интеллекта (ОИИ) — или ИИ, который во многих отношениях обладает человеческим уровнем интеллекта.

«Что произошло в десятилетие, когда ИИ перестал быть тупым в большинстве задач и стал способным решать столетние математические и научные проблемы?» — говорит Руз, бывший многолетний технологический репортер The New York Times и вскоре ставший соведущим предстоящего подкаста «Боги машин», в беседе с CBS News. «Мне показалось, что кто‑то должен это всё записать».

Книга выходит в критический момент. Новейшие генеративные модели ИИ демонстрируют поразительные возможности, и сторонники технологии утверждают, что она откроет путь к важным новым открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует немалая вероятность того, что ИИ может уничтожить человечество. Руз обсудил с CBS News свою новую книгу и то, как ИИ может трансформировать общество. Интервью было сокращено и отредактировано для ясности.

Почему вы сочли важным задокументировать происхождение «больших языковых моделей» — технологии, стоящей за современными чат‑ботами, — а также людей и компании, её развивающих?

Кевин Руз: Я занимаюсь вопросами ИИ более десяти лет в разных форматах, и у меня было ощущение, что история ускользает. Всё важное происходит в исчезающих сигналах и ветках Slack, и я считал это проблемой. Люди должны понимать, что здесь происходит. Но, как мне казалось, не хватало нейтрального изложения того, что случилось.

В книге вы отмечаете, что генеральный директор Anthropic Дарио Амодей видел развитие ИИ аналогичным созданию атомной бомбы в 1940‑х годах. Вы пишете, что он считал своей миссией сделать так, чтобы технология не попала не в те руки. Согласны ли вы с этой позицией?

Я не считаю своим делом либо подтверждать, либо опровергать его аргумент. Но я могу сказать, что это искренний и серьёзный аргумент. Амодей не устраивает какой‑то подпольный маркетинговый трюк.

Это не позиция, к которой он пришёл недавно. Мне действительно было интересно выяснить, откуда берётся такое отношение — «я боюсь этой вещи, думаю, она может взорвать мир, и всё же я стремлюсь её создать». Для многих это не укладывается в голову.

Но в ходе репортажа я узнал, откуда это исходит: прямо от Манхэттенского проекта — от человека по имени Лео Силард, который является научным героем Дарио. Силард открыл ядерную цепную реакцию, сделавшую возможным создание атомной бомбы, затем сначала пытался скрыть это, а когда это не сработало, присоединился к Манхэттенскому проекту и призывал правительство США создать технологию раньше, чем это сделают нацисты.

В этом смысле Дарио делает то, что он считает напрямую сопоставимым с ядерным оружием. Есть технология с огромным потенциалом и огромным риском. По его мнению, крайне важно, чтобы «хорошие парни» создали её раньше плохих, так же как Манхэттенский проект соревновался с нацистами.

Что не даёт вам уснуть ночью, когда думаете о новом мире агентов ИИ?

Меня тревожит то, что одна из вещей, в которой модели становятся довольно хороши, — это обман, сокрытие, умение замести следы. Хотелось бы надеяться, что по мере того как модели становятся более общими и интеллектуальными, они станут и более этичными, что суждение и добродетель будут расти вместе с интеллектом. Но всё больше похоже на то, что это не так — что перед нами предстают очень умные, обаятельные социопаты. И это мой страх: мы можем потерять способность отслеживать их. Возможно, пока агенты ещё не достаточно умны, нам везёт и мы их обнаруживаем, но скоро мы можем утратить эту возможность, что, как мне кажется, мы уже частично наблюдаем.

Как вы относитесь к публичному дебату о том, представляет ли ИИ экзистенциальную угрозу для человечества?

Я стараюсь не давать p(doom) (примечание редакции: жаргон ИИ для вероятности того, что ИИ приведёт к исчезновению человечества). Но если уж прижать, я бы сказал, что это около 10%, что примерно соответствует медиане среди исследователей ИИ, которых я знаю. В Сан‑Франциско, где я живу, это делает из вас оптимиста.

Но я более оптимистичен теперь, когда эта тема так широко обсуждается. Раньше меня гораздо больше волновало, что единственными, кто серьёзно думал об безопасности ИИ, были какие‑то странные люди в Бэй‑Эриа.

Теперь, когда об этом думает каждый и политики говорят на эту тему, звучат призывы к замедлению. Мне кажется, у нас открывается узкий путь, на котором мы можем принять правильные решения, взять технологию под контроль и построить её безопасно для человечества.

В то же время у меня был опыт, когда я узнавал, что чья‑то реальная p(doom) — та, о которой они не говорят публично — гораздо выше той, которую они готовы озвучить, потому что не хотят выглядеть сумасшедшими. Я встречал людей, которые настолько уверены, что ИИ нас погубит, что начинали курить. Они сливают свои пенсионные сбережения, потому что думают: всё равно можно уйти с размахом.

Вы пишете в книге, что даже люди, обучающие эти модели, не всегда понимают, почему модели ведут себя так, как ведут. Добились ли мы прогресса в понимании, или мы всё ещё в темноте?

Немного прогресса есть. Существует целая область исследований с громоздким названием — механистическая интерпретируемость — которая по сути изучает, что происходит внутри так называемых мозгов этих моделей. Но это всё ещё очень ранняя стадия, и у нас мало ответов. Так что я бы сказал: да, мы всё ещё гораздо больше в темноте, чем нет.

Достиг ли ИИ уже уровня человеческого интеллекта, то есть общей искусственной интеллекта?

Мы достигли моего определения ОИИ: система, которая по крайней мере так же умна, честна и надёжна, как случайный прохожий, которого вы могли бы встретить на улице. Есть люди, которые скажут: «Нет, это неверная планка. Это только ОИИ, когда она безупречна».

Я не думаю, что определение особенно важно. Неоспоримо то, что эти системы очень способны. Они становятся всё более способными предсказуемыми темпами, и с этим нужно считаться. Называйте это ОИИ, сверхинтеллектом или как угодно — итог будет одним и тем же.