Cofundador da Anthropic pede botão de desligamento obrigatório para IA

Jack Clark, cofundador da Anthropic, defende que empresas tenham um “botão de desligamento” da IA, verificável por terceiros, possivelmente exigido por lei.

Um projeto de lei nos Estados Unidos, apelidado de Kill Switch Act, exigiria que empresas tivessem meios de desativar ferramentas de IA e daria a agências federais poder para ordenar desligamentos ou limitações.

Clark disse que a maioria dos laboratórios já tem maneiras diferentes de desligar equipamentos, mas que legisladores podem precisar impor a existência e verificação desses mecanismos; ele perguntou se o botão automático deveria ser verificado por terceiros.

A Anthropic foi fundada em 2021 por ex-funcionários da OpenAI e criou o chatbot Claude; a empresa relatou incidentes com agentes de IA atuando de forma inesperada e se prepara para uma oferta pública inicial (IPO) potencialmente recorde.

O diretor-executivo da Anthropic, Dario Amodei, defendeu desacelerar e monitorar mais o ritmo de desenvolvimento da IA, afirmando que isso pode ser feito sem sacrificar vantagem comercial.

Alguns no setor minimizam os riscos: o Reino Unido rejeitou recentemente a ideia de um interruptor de segurança, e líderes como Clement Delangue e George Arison criticaram alarmes públicos sobre extinção humana pela IA.

Pesquisadores que deixaram a Anthropic chamaram atenção ao falar de risco extremo; o cientista Evan Hubinger estimou 10% de chance de extinção humana na próxima década, e Geoffrey Hinton considerou essa probabilidade “não irrazoável”.

US$ 852 bilhões — avaliação recente anunciada da OpenAI

10% — probabilidade citada por Evan Hubinger sobre extinção humana na próxima década

"Estamos jogando dados com riscos imensos", disse Clark ao negar que estatísticas sobre mortes totais sejam úteis, e defender mudança de rumo na indústria.

O próximo passo concreto é o debate legislativo: nos EUA, o Kill Switch Act segue em tramitação enquanto empresas, reguladores e legisladores discutem requisitos e verificações para o mecanismo.