Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifier Intervenant : Yann LeCun, Professeur invité, Collège de France, Chief AI Scientist, Meta, Professor, NYU Résumé Comment les machines pourraient-elles apprendre aussi efficacement que les humains et les animaux ? Comment les machines pourraient-elles apprendre le fonctionnement du monde...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 08 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et parole Résumé Multimodalité : TAL et images, TAL et parole. Améliorer la traduction automatique grâce au contexte, notamment aux images. Le TAL sans l'écrit : réconcilier TAL et traitement de la parole, avec l'exemple de la traduction automatique de la parole.

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Prédire c'est comprendre : un modèle neuro-cognitif du langage fondé sur la prédiction Intervenant : Philippe Blache, directeur de recherche CNRS Résumé La compréhension mutuelle pendant une conversation est un processus extrêmement rapide et efficace : nous pouvons traiter trois mots par seconde, souvent plus. Cette observation n'est cependant pas conforme aux expériences de...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 07 - Apprendre les langues aux machines : Converser avec la machine Résumé Agents conversationnels, chatbots et « large language models » conversationnels : d'Eliza à ChatGPT et ChatLLAMA. Comment les très grands modèles conversationnels ont-ils été entraînés ? Quelles limites, quels enjeux éthiques, quelles utilisations, quel avenir ?

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Analyse automatique de l'argumentation dans les débats politiques Intervenant : Elena Cabrio, professeur des Universités, université Côte-d'Azur, Inria, CNRS, I3S, France Résumé Les débats politiques offrent aux citoyens une occasion unique d'apprécier la position des représentants politiques sur les sujets les plus controversés de l'actualité. Au regard des prises actives de paroles...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 06 - Apprendre les langues aux machines : Linguistique computationnelle Résumé Le TAL au service de la linguistique, avec un bref détour par les applications du TAL au service des humanités et sciences sociales. La linguistique comme domaine d'application du TAL, en trois exemples : morphologie computationnelle et complexité morphologique ; approches informatiques de la linguistique historique et...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Génération de texte à partir de connaissances Intervenant : Claire Gardent, directrice de recherche CNRS Résumé La génération de texte peut cibler différents types de langues et prendre en entrée différents types de connaissances. Dans cette présentation, je montrerai comment adapter les modèles de langue neuronaux pour générer du texte à partir de graphes de représentation...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 05 - Apprendre les langues aux machines : Approches neuronales pour quelques tâches applicatives Résumé Quelques autres tâches aval : reconnaissance d'entités nommées ; analyse syntaxique ; la classification de phrases : approches classiques, embeddings de phrases ; la simplification de textes.

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Traduction neuronale massivement multilingue Intervenant : François Yvon, directeur de recherche CNRS Résumé Le développement d'architectures exploitant les méthodes d'apprentissage neuronal « profond » en traduction automatique a conduit à une augmentation considérable de l'acceptabilité et de l'utilisabilité des traductions calculées par la machine. Ces nouvelles architectures ont...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 04 - Apprendre les langues aux machines : Traduction automatique Résumé Histoire de la discipline, approches récentes. Enjeux actuels : couvrir les langues moins dotées ; prendre en compte le contexte ; être robuste à la variation linguistique.

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Apprendre un modèle de langue à partir de l'audio Intervenant : Emmanuel Dupoux, directeur d'études EHESS, chercheur META Résumé La modalité orale est le canal le plus naturel pour les interactions linguistiques, mais les technologies langagières actuelles (TAL) se basent surtout sur l'écrit, nécessitant de grandes quantités de textes pour développer des modèles de langage. Même les...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 03 - Apprendre les langues aux machines : Modèles de langue Résumé Les modèles de langue, une direction de recherche indépendante de la représentation vectorielle pendant l'ère préneuronale. Leur évolution récente et leur rencontre, jusqu'aux modèles de langue contextuels neuronaux. Les architectures récurrentes (y compris les LSTM) et l'architecture Transformer. Les modèles de langues neuronaux...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Deux exemples d'usage des transducteurs en linguistique Intervenant : Guillaume Jacques, directeur de recherche, CNRS, directeur d'étude, EPHE Résumé Les transducteurs sont un outil précieux pour plusieurs domaines distincts de la linguistique. En morphologie, ils permettent de produire des descriptions explicites et cohérentes des paradigmes morphologiques, aussi bien pour les...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 02 - Apprendre les langues aux machines : Approches symboliques et probabilistes Résumé L'étiquetage en parties du discours (des n-grams à la régression logistique) et la lemmatisation. Présentation de certaines classes de grammaires faiblement contextuelles pour la modélisation et l'analyse syntaxiques. Algorithmes d'analyse syntaxique pour le TAL. Interaction avec l'analyse de surface, y...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Séminaire : Quelques exemples d'application du TAL aux humanités numériques Intervenants : Daniel Stoekl Ben Ezra, directeur d'études, EPHE-PSL Jean-Baptiste Camps, maître de conférences, École nationale des chartes, Université PS Résumé Traitement automatique des langues et sciences humaines computationnelles : l'intelligence artificielle au service du passé Cette intervention présentera des...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 01 - Apprendre les langues aux machines : Représenter les unités textuelles Résumé Les niveaux d'analyse linguistique. Phrases et mots. La loi de Zipf. Quelles représentations pour les mots (voire les phrases), quelles propriétés pour ces représentations ? Les mots (lexiques, lemmes), leurs représentations sous forme de structures de traits puis de vecteurs (embeddings). Illustration sur la tâche...

Collège de France Benoît Sagot Informatique et sciences numériques (2023-2024) Année 2023-2024 Leçon inaugurale - Benoît Sagot : Apprendre les langues aux machines Depuis une dizaine d'années, le terme d'« intelligence artificielle » est revenu partout sur le devant de la scène, des magazines grand public aux créateurs de start-up et aux décideurs politiques. Des progrès dans la recherche sur les réseaux de neurones, une technologie pourtant ancienne, mais aussi l'augmentation de la...