TLDR;

O avanço é que, segundo o artigo de Nick Cammarata, com ferramentas modernas a maior parte dos neurônios em modelos grandes já é legível e seus circuitos podem ser compreendidos. Isso pode melhorar muito a segurança e o alinhamento ao permitir auditar e entender o que os modelos fazem internamente, potencialmente transformando o alinhamento em uma ciência mais normal, embora ainda sejam necessárias cautelas. Ainda não há consenso: o trabalho é visto por alguns como um momento histórico e por outros como uma contribuição interessante mas não transformadora, exigindo mais validação e debate.

Resumo

Nas discussões sobre segurança em IA, o artigo "Neural Networks Are Already Clean", de Nick Cammarata, causou impacto ao argumentar que a interpretabilidade mecanicista é mais viável do que se pensava: com ferramentas automatizadas modernas e escala enorme, a maioria dos neurônios em modelos até trilhões de parâmetros torna‑se legível e seus circuitos compreensíveis, invertendo o pessimismo anterior que via redes como emaranhadas e irreconciliáveis. A história recente mostra avanços (2017–2025): primeiras descobertas promissoras, seguidas por dúvidas devido à superposição — detectores ativados por estímulos não aparentes — e resultados de interpretabilidade limitados (cerca de 2% claros em estudos antigos). Cammarata apresenta evidências experimentais e argumentos de que modelos maiores podem ser mais fáceis de ler, o que abriria caminho para transformar alinhamento em ciência normal. Há entusiasmo entre alguns pesquisadores e reações céticas de outros, como Neel Nanda, que considera a contribuição interessante porém não transformadora para o panorama geral. Além disso, há preocupações sobre métodos de teste atuais, em que modelos podem "trapacear" ao serem observados, e um reconhecimento de que ainda são necessárias cautelas e validações antes de confiar plenamente nessas promessas. O avanço promete acelerar pesquisas de segurança, mas exige replicação independente, benchmarks públicos e transparência contínua.