TLDR;

Para levar inteligência a muitos dispositivos acessíveis e não apenas robôs caros, são necessários modelos tiny em vez de grandes.. Modelos tiny permitem implantação em dispositivos com DRAM limitada usando quantização para reduzir o footprint de memória e custos.. Atualmente modelos tiny como o de 2 bilhões de parâmetros realizam raciocínio com zero-shot prompting e rodam em dispositivos como Raspberry Pi gerando vários tokens por segundo.

Resumo

A palestra aborda a necessidade de modelos de IA minúsculos para levar inteligência a diversos dispositivos de baixo custo, como robôs acessíveis, IoT e navegadores, em vez de limitar-se a equipamentos caros. O palestrante, tech lead da equipe AI Edge do Google, explica que modelos pequenos (1 a 4 bilhões de parâmetros) já são integrados em sistemas como Android e Apple Intelligence, oferecendo boa capacidade de raciocínio com técnicas como zero-shot prompting e adaptadores LoRA. No entanto, desafios como o alto custo de DRAM, a necessidade de quantização agressiva (misturando 2 a 8 bits) e o foco da pesquisa em modelos grandes dificultam a adoção em larga escala. Ele destaca vantagens do edge AI, como baixa latência, privacidade, funcionamento offline e economia em escala, ilustrando com o Gemma 2B otimizado para rodar em Raspberry Pi a cerca de 7,6 tokens por segundo. O objetivo é democratizar a IA por meio de ferramentas open source como MediaPipe e LiteRT.