Formation Grands Modèles de Langage

L'IXXI organise le 21 juin 2024 à l'ENS de Lyon une formation sur les Grands Modèles de Langage (LLM). Au cours de cette formation, nous nous pencherons les architectures à base de transformers pour comprendre le fonctionnement des modèles qui sous-tendent les agents conversationnels tels ChatGPT. 

Après un rapide retour sur le fonctionnement des réseaux de neurones, nous nous intéresserons aux mécanismes d'entraînement des LLM puis nous rentrerons dans le détail de l'architecture de GPT2, un modèle suffisamment petit pour être manipulable directement, mais suffisamment complexe pour présenter les aspects fondamentaux des LLM.

Cette formation durera toute la journée et est destinée à des personnes ayant une expérience de programmation en Python.