#78- RAFT: Unindo RAG com fine tuning.
Listen now
Description
Fala galera, nesse expiódio eu falo sobre Retrieval Aware Fine Tuning (RAFT), um paper que propos uma nova técnica que utiliza tanto domain specific fine tuning quanto RAG pra melhorar a capacidade de recuperação da informação dos LLMs. Nesse epiódio eu também falo sobre um outro paper que também tem o nome de RAFT, mas dessa vez Reward rAnking Fine Tuning, que propoe uma nova técnica para fazer RLHF mas sem os problemas de convergencia de Reinforcement Learning. Retrieval Aware Fine Tuning: https://arxiv.org/abs/2403.10131v1 Reward rAnking Fine Tuning: https://arxiv.org/pdf/2304.06767.pdf Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
More Episodes
Fala galera, nesse episódio do podcast eu falo sobre as IAs on-device e o blog post da Hugging Face SmolLM. Primeiro eu falo a minha opinião sobre as diferenças de utilização e necessidade entre IAs on-device e IAs em clusters. Depois eu explico algumas partes do blog post do...
Published 11/07/24
Published 11/07/24
Fala galera, nesse episódio eu entrevistei o Felipe, CEO e Fundador da Clarice AI, o Grammarly brasileiro! No episódio a gente conversou sobre como eles estão desenvolvendo a tecnologia de correção e melhora no estilo da escrita, além do enorme dataset que eles tem pra treinar um LLM...
Published 10/31/24