Os modelos de IA estão evoluindo rapidamente — tão rápido que em breve poderão ser capazes de se desenvolver sozinhos, sem intervenção humana. É por isso que a Anthropic está alertando o setor de IA: é preciso criar um “pedal de freio”, ou as empresas correm o risco de perder o controle sobre suas criações.

Sistemas de IA capazes de se aperfeiçoar sozinhos, conhecidos como “autoaperfeiçoamento recursivo total”, podem trazer grandes benefícios para a ciência e a saúde, mas também representam grandes riscos para a humanidade, de acordo com uma postagem no blog escrita por Marina Favaro, líder do The Anthropic Institute, e Jack Clark, cofundador da Anthropic.

“O autoaperfeiçoamento recursivo total também pode aumentar os riscos de os humanos perderem o controle sobre os sistemas de IA”, escreveram eles. “Se os sistemas forem capazes de construir totalmente seus próprios sucessores, as formas como os protegemos, monitoramos e moldamos seu comportamento se tornam muito mais importantes.”

O setor está muito mais próximo da IA com autoaperfeiçoamento do que se esperava anteriormente, alertam eles. Portanto, as empresas de tecnologia deveriam considerar desacelerar ou pausar o desenvolvimento de IA de ponta para dar tempo aos pesquisadores de compreenderem melhor os potenciais danos sociais que a IA com autoaperfeiçoamento poderia causar.

Os pesquisadores também deveriam criar uma maneira de os humanos intervirem caso as coisas saiam do controle, afirmaram eles.

Em participação na CNN na noite de quinta-feira, Clark pediu que o setor se dotasse de um “pedal de freio”.

“Quando olho para o carro que estamos dirigindo, tudo o que tenho é um pedal de acelerador. Não tenho um pedal de freio e, certamente, em algum momento no futuro, talvez queiramos essa opção”, disse ele a Anderson Cooper em uma entrevista.

Cooper citou o exemplo de filmes de ficção científica em que a IA se rebelou para matar seres humanos e perguntou se era isso que preocupava Clark.

“Sim, nós lemos e assistimos a ficção científica aqui também, então não é algo que nos escape”, respondeu Clark. “Como você mantém o controle sobre equipes de cientistas que são muito, muito maiores e muito mais rápidas do que as que você já teve antes?”

A incapacidade de validar, verificar e confiar no comportamento da IA representa um grande risco para o seu desenvolvimento, acrescentou ele.

O alerta surge depois que a Anthropic entrou com um pedido para realizar uma IPO (oferta pública inicial) de suas ações, uma medida que poderia levantar dezenas de bilhões de dólares junto a investidores para acelerar a construção de data centers e computadores necessários para a IA.

A SpaceX, que além de seus negócios com foguetes e satélites também atua no setor de IA, deve realizar na próxima semana o que seria a maior oferta pública inicial já registrada, levantando US$ 75 bilhões.

Ter grandes empresas de IA como a Anthropic, a SpaceX e a OpenAI trabalhando juntas para criar freios pode parecer antitético a um negócio competitivo com bilhões, senão trilhões de dólares em jogo. Mas essa cooperação é possível, insistiu Clark.

“Já fizemos isso antes. No auge da Guerra Fria, em meio a situações de grande tensão entre países rivais, eles encontraram maneiras de estabilizar aspectos da corrida armamentista nuclear”, disse Clark à CNN. “Tudo isso já foi feito antes em outros domínios, e talvez seja algo que precisemos fazer no domínio da IA.”