Компания Anthropic, разрабатывающая ИИ-модель Claude, призвала замедлить или временно остановить развитие искусственного интеллекта. С таким предложением компания выступила в статье «Когда ИИ создает сам себя», опубликованной на ее сайте.
В материале говорится, что ИИ вскоре может достичь этапа рекурсивного самосовершенствования — ситуации, когда система способна полностью автономно проектировать и разрабатывать своего преемника. В компании опасаются, что такой сценарий может реализоваться раньше, чем большинство институтов будут к нему готовы.
В Anthropic отмечают, что ИИ-системы все активнее участвуют в создании новых ИИ-моделей. Сегодня более 80% кода, который вливается в кодовую базу компании, написано Claude. При этом инженеры в среднем выпускают в восемь раз больше кода за квартал, чем в 2021–2025 годах.
Авторы статьи связывают это с тем, что модели перестали быть просто инструментами для подсказок и все чаще самостоятельно выполняют длительные инженерные и исследовательские задачи. В Anthropic утверждают, что длина задач, с которыми ИИ может надежно справляться без участия человека, удваивается примерно каждые четыре месяца.
«Если этот тренд сохранится, уже в этом году в зону возможностей ИИ могут попасть задачи, на которые у квалифицированного специалиста уходят дни. В 2027 году ИИ-системы могут оказаться способны выполнять задачи, занимающие у человека недели», — сказано в статье.
По словам авторов, пока главное преимущество людей остается в выборе целей и направлений исследования: люди решают, какие проблемы важны, каким результатам можно доверять и когда подход зашел в тупик.
Anthropic рассматривает несколько возможных сценариев развития. Первый — темпы роста возможностей ИИ замедлятся, но уже существующие модели широко распространятся по экономике. Даже в этом случае, считают авторы, мир ждут серьезные изменения: компании из 100 человек смогут выполнять работу организаций с тысячами сотрудников, поскольку каждый специалист будет управлять «пирамидой агентов».
Второй сценарий — у ИИ-лабораторий продолжит расти эффективность, но люди сохранят роль тех, кто задает направления исследованиям и оценивает результаты. Такой вариант может резко ускорить интеллектуальный труд, но также усилить риски: например, ИИ начнут использовать для массового надзора, операций влияния и персонализированной манипуляции.
Третий сценарий — полноценное рекурсивное самоулучшение, при котором ИИ-системы начнут создавать своих преемников. В этом случае, пишут в Anthropic, темп прогресса будет зависеть уже не от человеческой работы, а от доступных вычислительных мощностей и эффективности обучения моделей.
«У нас нет хороших интуиций о том, как выглядел бы такой мир, потому что сейчас нашей экономикой движут люди и созданные людьми инструменты», — говорится в статье. Авторы признают, что в таком сценарии неизвестно, останутся ли цели систем согласованными с интересами людей.
Чтобы общественные институты и исследования безопасности успели за развитием технологии, Anthropic предлагает приостановить разработку передового ИИ. Однако, как отмечают в компании, односторонняя пауза одной лаборатории не решит проблему: она лишь позволит отстающим выбиться в лидеры.
Для значимого замедления, по мнению авторов, потребуется согласие нескольких крупных ИИ-лабораторий в разных странах, а также механизм проверки, что участники действительно остановили или замедлили разработку.
В Anthropic сравнивают такую задачу с режимами контроля вооружений, но подчеркивают, что в случае ИИ проверка будет сложнее: обучающие запуски моделей легче скрыть, чем ракетные шахты, а стимул тайно нарушить договоренность очень велик.
«В принципе все это не обязательно невозможно: мир уже создавал режимы проверки для других сложных технологий, например Договор о ликвидации ракет средней и меньшей дальности. Но на создание инфраструктуры и доверия для таких режимов уходили десятилетия. У нас нет столько времени.», — пишут авторы.
В ближайшие месяцы Anthropic Institute планирует организовать обсуждения с политиками, исследователями, представителями гражданского общества и другими ИИ-компаниями. Их посвятят рискам рекурсивного самосовершенствования и возможным механизмам координации между разработчиками.
Как отмечает The Daily Telegraph, недавно Anthropic обошла OpenAI и стала самой дорогой ИИ-компанией в мире с оценкой в 965 млрд долларов. На этом фоне некоторые считают неоднозначным ее призыв затормозить развитие ИИ. По мнению критиков, такая мера поможет закрепить преимущество Anthropic и усложнить жизнь конкурентам.
