Description
Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024
03 - Apprendre les langues aux machines : Modèles de langue
Résumé
Les modèles de langue, une direction de recherche indépendante de la représentation vectorielle pendant l'ère préneuronale. Leur évolution récente et leur rencontre, jusqu'aux modèles de langue contextuels neuronaux. Les architectures récurrentes (y compris les LSTM) et l'architecture Transformer. Les modèles de langues neuronaux : modèles par masquage (ELMo, BERT et ses dérivés), modèles génératifs (GPT, BLOOM, LLAMA), modèles encodeur-décodeur (BART, T5). L'affinage (fine-tuning). L'évaluation des modèles de langue : les grands benchmarks tels que GLUE/SuperGLUE et leurs limites.
Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024
Séminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifier
Intervenant : Yann LeCun, Professeur invité, Collège de France, Chief AI Scientist, Meta,...
Published 02/09/24
Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024
08 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et parole
Résumé
Multimodalité : TAL et images, TAL et parole. Améliorer la traduction automatique grâce au contexte,...
Published 02/09/24