TLDR;

O talk explica como proteger sistemas de IA baseados em LLMs e demonstra a construção de uma camada defensiva self‑hosted, de baixa latência e custo inferior a um dólar, usando fine‑tuning de ModernBERT. ModernBERT é um encoder state‑of‑the‑art que usa atenção alternada entre global e local, rotary position encoding e flash attention, e será fine‑tuned por ser eficiente e adequado ao caso de uso defensivo. O conteúdo aborda vetores de ataque como prompt injection (injeção direta, ex.: caso Sydney), context injection via conteúdo externo/retrieval e ataques aos internos do modelo com sufixos 'gibberish' que quebram o alinhamento probabilístico, mostrando como esses vetores exfiltram dados ou manipulam decisões.

Resumo

O texto alerta para a necessidade de proteger sistemas de IA, especialmente baseados em LLMs, porque ataques que começaram em 2023 como experimentos de injeção de prompts evoluíram para vetores sofisticados e amplificados por fluxos de identidade, tornando-se prática comum. Propõe-se construir uma camada defensiva self-hosted de baixa latência e custo reduzido, finetunando um encoder moderno (ModernBird) e explorando aspectos arquiteturais que o tornam eficiente — atenção alternada global/local, codificação posicional rotatória, FlashAttention, entre outros. Descrevem-se três vetores principais: prompt (injeção direta), onde entradas maliciosas sobrescrevem controles sistêmicos e exfiltram dados, ilustrado pelo caso “Sydney” do Bing Chat; contexto (injeção indireta), em que instruções maliciosas são inseridas em conteúdo externo como páginas da web, URLs ou caixas de e-mail — exemplos incluem redirecionamentos em Wikipédia e manipulação de sistemas de revisão de anúncios; e internals (vetor matemático), em que tokens aparentemente sem sentido (sufixos gibberish) quebram o alinhamento do modelo, alterando a distribuição de próximos tokens para forçar respostas afirmativas a consultas prejudiciais. O texto enfatiza que modelos não separam nativamente instruções confiáveis de dados não confiáveis e que o alinhamento é uma preferência probabilística, vulnerável a exploração por técnicas que buscam maximizar probabilidades de afirmação.