#82- BitNet, Transformers com 1 bit.
Description
Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia.
BitNet paper: https://arxiv.org/pdf/2310.11453
1.58 bit paper: https://arxiv.org/pdf/2402.17764
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
Fala galera, nesse episódio do podcast eu falo sobre as IAs on-device e o blog post da Hugging Face SmolLM.
Primeiro eu falo a minha opinião sobre as diferenças de utilização e necessidade entre IAs on-device e IAs em clusters. Depois eu explico algumas partes do blog post do...
Published 11/07/24
Fala galera, nesse episódio eu entrevistei o Felipe, CEO e Fundador da Clarice AI, o Grammarly brasileiro!
No episódio a gente conversou sobre como eles estão desenvolvendo a tecnologia de correção e melhora no estilo da escrita, além do enorme dataset que eles tem pra treinar um LLM...
Published 10/31/24