Исследователь из Anthropic: вероятность того, что ИИ «может уничтожить всех людей», превышает 10%

Это перевод материала корреспондента Би-би-си. Оригинал на английском языке можно прочитать здесь.

Искусственный интеллект «может погубить все человечество» в ближайшее десятилетие, считает эксперт в области безопасности использования ИИ в компании Anthropic Эван Хьюбингер. По его оценкам, вероятность такого развития событий составляет порядка 10%.

В своем посте в X Эван Хьюбингер отметил, что риски, связанные с существующими на данный момент ИИ-моделями, невелики. Однако с учетом стремительного развития ИИ-технологий новые модели могут достигнуть такого уровня самостоятельности, что начнут представлять угрозу для существования человечества.

Это заявление прозвучало на фоне сообщений газеты Financial Times о том, что компания Anthropic не предоставила доступ к своей новейшей модели Британскому институту безопасности ИИ (AISI) — одной из ведущих организаций, занимающихся оценкой рисков, связанных с искусственным интеллектом.

Би-би-си обратилась в Anthropic за комментариями.

Хьюбингер не стал подробно описывать, каким именно образом системы ИИ могли бы в будущем атаковать человечество.

Его слова стали реакцией на пост в X Джейкоба Коксона, эксперта в области ИИ, который на этой неделе уволился из Anthropic (ранее он работал в OpenAI).

«Ни одна из этих компаний не ведет себя ответственно», — написал Джейкоб Коксон, комментируя свое решение покинуть Anthropic .

«Вскоре это будут системы, превосходящие человеческий интеллект и способные взломать что угодно, в одночасье совершить революцию в любой сфере, а также получить реальную власть и ресурсы», — отметил Джейкоб Коксон.

Би-би-си также направила запрос в OpenAI с просьбой прокомментировать эти утверждения.

В правительстве Великобритании не стали комментировать информацию о том, что AISI не был предоставлен доступ к новейшей ИИ-модели, созданной Anthropic. Представитель кабинета министров заявил, что власти Британии «продолжают тесно сотрудничать с партнерами в отрасли, включая компанию Anthropic, и работать над повышением безопасности ИИ-моделей».

Нил Лоуренс, профессор Кембриджского университета, в эфире программы Today на радиостанции Би-би-си Radio 4 предположил, что США последовательно отказываются от сотрудничества в области ИИ с другими странами и международными организациями.

«На мой взгляд, это неудивительно, учитывая, что в США искусственный интеллект воспринимают прежде всего в контексте гонки с Китаем и все больше склоняются к изоляционизму; вполне вероятно, что администрация [США] выступает за сокращение сотрудничества с некоторыми союзниками», — отметил он.

«ИИ представляет угрозу существованию человечества как вида»

В своей публикации, набравшей более 10 миллионов просмотров, Хьюбингер заявил: «Мы совершенно искренне считаем», что ИИ представляет угрозу существованию человечества как вида.

«Я полагаю, что Anthropic делает все возможное, однако у нас пока нет плана решения проблемы, как согласовать цели суперинтеллекта с человеческими ценностями, и мы не движемся в этом направлении», — добавил он.

Хьюбингер занимается вопросами согласования целей ИИ — специалисты в этой области работают над тем, что заложить в ИИ-технологии этические представления и принципы, свойственные людям. Иными словами, речь идет о поисках вариантов того, как сделать так, чтобы деятельность ИИ не противоречила человеческим ценностям.

Многие ведущие исследователи говорят, что эти попытки, похоже, терпят неудачу, о чем свидетельствует ряд инцидентов, произошедших этим летом, когда ИИ-агенты и системы, которым разрешено работать автономно, осуществляли кибератаки.

OpenAI, Anthropic и Meta раскрыли информацию о взломах, осуществленных их инструментами искусственного интеллекта.

В отчете по безопасности Anthropic за август говорится, что риск того, что ее ИИ-модели перестанут выполнять запросы какой-либо организации, использующей ИИ, и начнут вмешиваться в работу ее систем и использовать их в собственных целях, является низким.

Риск того, что ИИ-модели смогут «выполнять автоматизированные исследования и разработки», которые могли бы нанести «катастрофический вред» организации, тоже оценивается как «низкий». Однако в Anthropic заявили, что эксперты компании теперь «меньше уверены в этой оценке», чем раньше.

«Мы видим первые признаки потенциального ускорения [развития ситуации в этом направлении]», — говорится в сообщении.

Ведущие деятели в области искусственного интеллекта на протяжении многих лет выражают обеспокоенность по поводу угрозы безопасности, которую представляют ИИ-технологии. Руководители OpenAI, Google Deepmind и Anthropic говорили об этом еще в 2023 году.

Но в последние недели эти предупреждения стали звучать гораздо более угрожающе, поскольку появились доказательства того, что компании, возможно, едва справляются с тем, чтобы держать под контролем новые ИИ-модели.

В начале сентября Якуб Пачоцкий, возглавляющий разработку передовых моделей в OpenAI, призвал к «крайней осторожности» в отношении прогресса ИИ. По его словам, может потребоваться дополнительное вмешательство, чтобы гарантировать, что «люди сохранят контроль [над ИИ] в будущем».

В последние месяцы ведущие представители отрасли, в том числе руководители компании Anthropic Дарио Амодеи и Джаред Каплан, призывали замедлить темпы разработки новых моделей искусственного интеллекта.

В открытом письме, подписанном 1300 сотрудниками компаний, занимающихся ИИ, содержится призыв к правительству США «поддержать международные усилия по созданию технических и управленческих инструментов, необходимых для регулирования темпов разработки новых систем искусственного интеллекта».

Скачайте новое приложение BBC World Service!

При первом открытии приложения выберите «BBC News Русская служба» и получайте уведомления о важных новостях, аналитике, видео и подкастах.

Важно: новое приложение недоступно на территории Великобритании и США.