Applications et évaluation des Transformers: de FlauBERT à LeBenchmark

Résumé

L'apparition des transformers dans le paysage déjà riche du deep-learning a profondément modifié la recherche en traitement automatique des langues, mais aussi dans d'autres domaines. Les enjeux soulevés par des modèles comme BERT sont multiples: scientifiques (peut on se passer de cette approche et rester compétitif), technologiques (apprendre de tels modèles n'est pas à la portée de tous) et stratégiques (avoir accès à un modèle adapté est important). Il ainsi souhaitable de mutualiser les efforts scientifiques afin de partager l'accès aux modèles pré-appris, ainsi que les outils d'évaluation. Cet exposé aborde différentes applications des transformers comme par exemple le traitement automatique du français pour les textes écrits (FLauBERT) et la parole (LeBenchmark).

Bio

Alexandre Allauzen est professeur à Paris Sciences et Lettres (PSL) depuis novembre 2019, où il coordonne le programme transverse DATA. Il enseigne les méthodes numériques et l'informatique à l'ESPCI (École supérieure de physique et de chimie industrielles de la ville de Paris) et il est affilié en recherche au LAMSADE (laboratoire d’Analyse et de Modélisation de Systèmes pour l’Aide à la Décision) de Dauphine Université dans l'équipe MILES (Machine Intelligence and Learning Systems). Ses recherches sur les architectures de réseaux de neurones profonds appliquées au traitement automatique des langues et depuis peu à la Physique.