Episodes
Fala galera, nesse episódio do podcast eu falo sobre as IAs on-device e o blog post da Hugging Face SmolLM.
Primeiro eu falo a minha opinião sobre as diferenças de utilização e necessidade entre IAs on-device e IAs em clusters. Depois eu explico algumas partes do blog post do SmolLM.
SmolLM blog post: https://huggingface.co/blog/smollm
MobileLLM paper: https://arxiv.org/pdf/2402.14905
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram do...
Published 11/07/24
Fala galera, nesse episódio eu entrevistei o Felipe, CEO e Fundador da Clarice AI, o Grammarly brasileiro!
No episódio a gente conversou sobre como eles estão desenvolvendo a tecnologia de correção e melhora no estilo da escrita, além do enorme dataset que eles tem pra treinar um LLM brasileiro focado na melhora da escrita!
Vagas abertas na Clarice AI: https://clariceai.notion.site/Carreiras-e2771be57275448191265477b1812a86
Site da Clarice AI: https://clarice.ai/
Link do grupo do...
Published 10/31/24
Fala galera, nesse episódio eu entrevisto o Hugo Abonizio, LLM Engineer na Maritaca AI, a única empresa de LLM brasileira que acabou de lançar o Sabia 3, um LLM focado em portugues com resultados entre o gpt4o e o Claude 3.5 Sonnet.
No episódio a gente fala sobre a Maritaca AI, o Sabia 3 e LLMs em geral. Foi um papo muuito massa e eu recomendo a todo mundo escutar e compartilhar com a galera!
LSTM vs transformers, na figura 7 tem o paper das scaling laws da openai:...
Published 10/24/24
Fala galera, nesse episódio eu explico a minha ideia do porque Chain of Thought funciona. Ninguem sabe realmente ainda porque Chain of Thought funciona, não existe prova sobre isso, mas no episódio eu dou um pouco da minha intuição do porque ele funciona.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram of the podcast: https://www.instagram.com/podcast.lifewithai
Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai
Published 09/26/24
Fala galera, nesse episódio do podcast eu falo sobre o novo modelo da OpenAI, O OpenAI o1, o modelo que pensa antes de responder.
No episódio eu compartilho a minha opinião e a sensação depois dos primeiros contatos com o modelo.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram of the podcast: https://www.instagram.com/podcast.lifewithai
Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai
Published 09/19/24
Fala galera, nesse episódio eu falo sobre os diferentes tipos de IA. Eu não entro a fundo nos modelos, no episódio eu foco mais em explicar os diferentes tipos e quais problemas eles resolvem.
Como tipos de IA eu falo sobre estatística, machine learning, reinforcement learning, deep learning e IA generativa.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast:...
Published 09/12/24
Fala galera, esse episódio não tem nada a ver com IA, nele eu falo sobre falas dicas de investimentos, que é um tema que eu gosto bastante.
No espiódio eu falo dos diferentes tipos de investimento, renda fixa, variavel, exterior, previdencia, cripto... Importante falar que nada disso é recomendação de investimento!
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast:...
Published 08/29/24
Fala galera, esse é o último episódio da serie sobre o paper do Llama3. Nele eu falo sobre a discussão que eles fizeram sobre análise de contaminação nos benchmarks, da parte de visão e audio.
Eu espero que voces tenham gostado dessa serie de episódio sobre o paper, eu aprendi bastante!
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast:...
Published 08/22/24
Fala galera, nesse episódio eu falo sobre o pre-treinamento e pós-treinamento do Llama 3.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
Llama 3 paper:...
Published 08/15/24
Fala galera, FINALMENTE saiu o paper do Llama 3! Eles lançaram o modelo de 405B e atualizaram os modelos de 8B e 70B. Nesse episódio eu dou um pouco a minha opinião sobre cenário em geral ao redor do modelo e o que isso representa. Nesse episódio eu dou uma visão geral do artigo, e nos próximos episódios eu vou mais a fundo nos detalhes tecnicos!
Instagram of the podcast: https://www.instagram.com/podcast.lifewithai
Linkedin of the podcast:...
Published 07/25/24
Fala galera, nesse episódio eu falo sobre como escolher o melhor modelo de IA para o seu problema. Quais são os tradeoffs que voces tem que considerar na hora de escolher o modelo.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Github Transformers tutorials do Niels Rogge: https://github.com/NielsRogge/Transformers-Tutorials
Instagram of the podcast: https://www.instagram.com/podcast.lifewithai
Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai
Published 07/18/24
Fala galera, nesse episódio do podcast eu falo sobre o Stable Diffusion, um famoso algoritmo open source de geração de imagem.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Instagram of the podcast: https://www.instagram.com/podcast.lifewithai
Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai
Stable diffusion paper: https://arxiv.org/pdf/2112.10752
Good Medium post about SD:...
Published 07/11/24
Fala galera, nesse episódio eu falo sobre modelos de difusão, o algoritmo por trás de todos os modelos famosos de geração de imagem como o stable diffusion, dall-e e o midjourney. No episódio eu explico o processo de difusão e também alguns quesitos tecnicos relevantes pro problema, como o ruído branco e o processo de markov.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Video de gatinho no instagram:...
Published 07/04/24
Fala galera, nesse episódio eu falo sobre 3 modelos muito importantes que usam contrastive learning, CLIP, SigLIP e JinaCLIP. Eles são modelos de embedding de text-imagem que nos permitem de por exemplo faz retrieval em text e imagem ao mesmo tempo.
Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
CLIP paper: https://arxiv.org/pdf/2103.00020
SigLIP paper: https://arxiv.org/pdf/2303.15343
JinaCLIP paper: https://arxiv.org/pdf/2405.20204
Github of similarities and...
Published 06/27/24
Fala galera, nesse episódio eu falo sobre 2 conceitos tecnico muito importantes em Deep Learning, constrastive learning e similaridade de cosseno. Eles muito úteis pra treinar modelos de embedding ou fazer RAG.
Link pro grupo do whatsapp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Ótimo blog post sobre contrastive loss: https://lilianweng.github.io/posts/2021-05-31-contrastive/
SimCLR paper: https://arxiv.org/abs/2002.05709
Instagram do podcast:...
Published 06/20/24
Fala galera, nesse episódio do podcast eu falo sobre o dataset FineWeb, o melhor dataset open source de pre-treinamento existente até hoje. No episódio eu explico como eles fizeram a curadoria do dataset e um pouco dos resultados.
Link pro grupo do whatsapp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP
Link do blog da huggingface: https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast:...
Published 06/13/24
Fala galera, nesse episódio eu falo com o João Batista, Technical Product Manager da Stackspot AI. No episódio a gente falou bastante sobre o uso de LLMs como um copilot usando os próprios documentos da empresa para dar as respostas usando RAG.
A gente falou tanto de aspectos técnicos como de produto, como qual métrica de similaridade pro RAG, quantos documentos usar, como mostrar a resposta e como metrificar a qualidade.
Linkedin do Joao:...
Published 06/06/24
Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia.
BitNet paper: https://arxiv.org/pdf/2310.11453
1.58 bit paper: https://arxiv.org/pdf/2402.17764
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
Published 05/30/24
Episódio extra falando sobre o lançamento do Llama 3!!!
Published 04/19/24
Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs.
Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo.
Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routing pra escolher quais tokens vão ser processados em qual camada da rede.
Paper MoD:...
Published 04/18/24
Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance.
Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8
LoRA paper: https://arxiv.org/pdf/2106.09685.pdf
QLoRA paper: https://arxiv.org/pdf/2305.14314.pdf
Instagram do...
Published 04/11/24
Fala galera, nesse expiódio eu falo sobre Retrieval Aware Fine Tuning (RAFT), um paper que propos uma nova técnica que utiliza tanto domain specific fine tuning quanto RAG pra melhorar a capacidade de recuperação da informação dos LLMs.
Nesse epiódio eu também falo sobre um outro paper que também tem o nome de RAFT, mas dessa vez Reward rAnking Fine Tuning, que propoe uma nova técnica para fazer RLHF mas sem os problemas de convergencia de Reinforcement Learning.
Retrieval Aware Fine...
Published 03/21/24
Fala galera, nesse episódio eu explico como a gente consegue escalar a janela de contexto de um LLM pra mais de 1 milhão de tokens usando Ring Attention. Além disso eu discuto se a abordagem usando RAG está morta com esses avanços na janela de contexto.
Paper Lost in the Middle: https://arxiv.org/pdf/2307.03172.pdf
Gemini technical report: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
Paper Ring Attention: https://arxiv.org/pdf/2310.01889.pdf
Instagram do...
Published 03/07/24
Fala galera, nesse episódio eu recebi o André, ele é AI expert na IBM e a gente falou bastante sobre como usar IA pra resolver diversos problemas na industria.
Site da Brains: https://brains.dev/
Linkedin do Andre: https://www.linkedin.com/in/andrefelipelopes/
Linkedin da Brains: https://www.linkedin.com/company/brains-brazilian-ai-networks/
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
Published 02/22/24