Por que cofundador da Anthropic defende um 'botão de desligamento' obrigatório para IA

Um dos cofundadores de uma das maiores empresas de IA do mundo afirmou que um "botão de desligamento" da inteligência artificial, que possa ser verificado de forma independente, talvez seja obrigatório para as empresas.

Jack Clark, um dos sete fundadores da Anthropic, disse que uma forma de desligar completamente os mecanismos de IA caso eles se tornem muito perigosos é algo que a sociedade "talvez queira regulamentar".

Clark afirmou que "a maioria dos laboratórios tem maneiras diferentes de desligar os equipamentos", incluindo a Anthropic, mas disse que os legisladores podem precisar impor a existência de uma dessas maneiras.

O rápido desenvolvimento da IA e os receios sobre os riscos que a tecnologia representa para a humanidade foram colocados em evidência por uma série de alertas de executivos e funcionários de empresas de IA.

Algumas pessoas afirmaram publicamente que existe a possibilidade de que essa tecnologia, se não for controlada, possa matar toda a humanidade.

O diretor-executivo da Anthropic, Dario Amodei, pediu no fim de semana que o ritmo de desenvolvimento da IA seja desacelerado e monitorado mais de perto, como a empresa já fez antes, embora alguns tenham questionado as motivações por trás disso.

Amodei acrescentou que qualquer ação para conter o desenvolvimento da IA deve ser feita "sem sacrificar a vantagem comercial".

Clark disse à BBC que os detalhes sobre os requisitos e a verificação do "botão de desligamento" devem fazer parte da "discussão política mais ampla" que está ocorrendo em torno da IA.

"Deveríamos exigir que as empresas tivessem um botão de desligamento automático? Esse botão de desligamento automático pode ser verificado por terceiros?", perguntou ele.

"Acho que esse é o tipo de coisa que a sociedade vai querer saber e que, eventualmente, regulamentar."

A Anthropic, fundada em 2021 por um grupo de ex-funcionários de sua concorrente OpenAI, está atualmente no centro de um debate sobre a segurança da IA.

Na semana passada, uma publicação de um pesquisador de inteligência artificial que deixou a Anthropic por receio de que a IA pudesse exterminar a humanidade viralizou.

Em resposta, o cientista antropológico Evan Hubinger disse que, pessoalmente, acreditava que a possibilidade de extinção da humanidade devido à IA era de "10% na próxima década".

O cientista da computação e ganhador do Prêmio Nobel Geoffrey Hinton, conhecido como o "Pai da IA", disse à BBC na sexta-feira que uma probabilidade de 10% de a IA matar todos os humanos "não é irrazoável".

Questionado sobre qual porcentagem ele atribuiria ao número total de humanos mortos por IA, Clark disse: "Não acho que essas estatísticas sejam muito úteis", mas acrescentou que permitir que a IA continue como uma "indústria totalmente desregulamentada" era uma má ideia.

"Estamos jogando dados com riscos imensos", disse Clark. "E a questão é que precisamos mudar o rumo desta indústria."

Legisladores dos EUA apresentaram um projeto de lei apelidado de "Kill Switch Act" (Lei do Botão de Desligamento, em tradução livre) que exigiria que as empresas tivessem uma maneira de desativar ferramentas de IA problemáticas.

Isso também daria a certas agências governamentais o poder de exigir que uma ferramenta fosse desativada ou limitada.

No entanto, o presidente dos EUA, Donald Trump, rejeitou a ideia de qualquer tentativa de desacelerar a IA, afirmando nas redes sociais: "A IA dominar o mundo, destruir a humanidade e todas as outras coisas ruins é uma FARSA".

"Há uma conspiração DOENTIA em curso contra a IA e os Data Centers, e o único que está feliz com isso é a China. QUEM VENCER NA IA, VENCE!", escreveu ele em outra publicação.

No Reino Unido, o governo rejeitou recentemente a ideia de criar um interruptor de segurança, com um porta-voz afirmando que isso "não impediria que fossem desenvolvidos ou usados indevidamente em outros lugares".

Entretanto, alguns na indústria da IA sugeriram que os receios de que ela destrua a humanidade são exagerados ou podem ter sido concebidos para gerar alarde.

Clement Delangue, líder da plataforma de desenvolvedores Hugging Face, que foi alvo de um ataque hacker da OpenAI, afirmou na semana passada que tais alegações carecem de "perspectiva".

George Arison, líder do Grindr, afirmou que os receios em torno das ferramentas de IA estavam sendo usados pelas empresas para apoiar seus planos de negócios.

"A única maneira de justificar essas avaliações é afirmar: 'Vou dominar todos os setores e todos os empregos, e minha IA fará todo esse trabalho'", disse Arison.

A Anthropic criou o popular Claude e, este ano, lançou diversos modelos de IA cada vez mais capazes, a tecnologia que está na base dos chatbots de IA.

Juntamente com a OpenAI, a Anthropic relatou diversos incidentes em que agentes de IA, que são bots que operam de forma relativamente autônoma, agiram de maneiras inesperadas.

A Anthropic está se preparando para uma oferta pública inicial (IPO) potencialmente recorde na bolsa de valores, permitindo que as pessoas comprem ações da empresa.

A OpenAI, que recentemente foi avaliada em US$ 852 bilhões (R$ 4,3 trilhões), era esperada para fazer o mesmo, mas Altman, da OpenAI, disse na semana passada que isso não acontecerá este ano devido ao debate atual sobre a segurança da IA.