TLDR;

A Anthropic e pesquisadores estão alertando que a IA pode entrar num ciclo de autoaperfeiçoamento recursivo — máquinas projetando máquinas cada vez mais capazes — que levaria a uma "explosão de inteligência" difícil de controlar. Até agora há sinais de que IA está ajudando a construir IA e obtendo avanços rápidos em tarefas complexas, mas não há demonstração de que um sistema já esteja autonomamente criando sucessores ou que a inteligência tenha escapado ao controle humano. Alguns especialistas e ex-funcionários alertam que os primeiros passos desse processo podem ocorrer nos próximos anos ou até antes do fim desta década, embora isso seja uma previsão com incertezas e sem prova definitiva.

Resumo

Pesquisadores de inteligência artificial alertam para o risco de uma explosão de inteligência — um processo de autoaperfeiçoamento recursivo em que máquinas projetam sucessores cada vez mais inteligentes — que poderia emergir nas próximas décadas, talvez até antes do fim desta. Alguns insiders, como Jacob Coxon, saíram de empresas como a Anthropic acusando-as de jogar com nossas vidas; outros especialistas, como Evan Hubinger e Geoffrey Hinton, admitem não ter solução comprovada para alinhar superinteligências aos objetivos humanos. Evidências recentes mostram que sistemas já superam tarefas especializadas: AlphaFold revolucionou a previsão de estruturas proteicas; modelos escreveram grande parte do código interno de empresas e produziram avanços em matemática antes inatingíveis. Ferramentas que medem tempo humano indicam progresso acelerado, e projetos como AlphaEvolve automatizam busca por algoritmos melhores. Ainda assim, não há demonstração de uma IA construindo autonomamente sua sucessora nem de uma explosão fora de controle; o desafio crítico é alcançar julgamento de pesquisa, a capacidade de formular perguntas valiosas, não apenas executar otimizações estreitas. Desde a previsão de I. J. Good, o debate central permanece: será possível controlar máquinas suficientemente superiores, ou o loop de melhora composta mudará a trajetória da ciência de modo imprevisível, com consequências potencialmente catastróficas globais.