Few-Shot Intent Classification in User-Generated Short Texts: Application to Conversational Agents
Thomas Dopierre, Meetic
Résumé
Lara, le chatbot de Meetic, discute avec des dizaines de milliers d'utilisateurs chaque jour. Une des principales tâches pour son fonctionnement est la détection de l'intention dans les requêtes utilisateurs. Avec des scénarios qui évoluent de manière régulière, Lara doit pouvoir s'adapter rapidement à la compréhension de nouvelles intentions. Afin de pallier au problème du manque de données annotées, nous avons recours aux méthodes de classification "few-shot".
Dans un premier temps, nous comparerons les méthodes de classification "few-shot". Historiquement, les méthodes étaient comparées avec des encodeurs de textes différents, ce qui amenait à une comparaison biaisée. Nous verrons que l'utilisation d'un même encodeur de phrase basé sur un transformer (BERT) change la donne.
Ensuite, nous étudierons le pseudo-labeling. S'appuyant sur des exemples annotés, il s'agit d'attribuer automatiquement des pseudo-labels à des données annotées. Dans ce cadre, nous introduirons une nouvelle méthode de pseudo-labeling inspirée du clustering hiérarchique, dépourvue de tout hyper-paramètre, et qui sait faire abstraction du bruit.
Enfin, je vous présenterai ProtAugment, une architecture de méta-apprentissage pour le problème de détection d’intention. En parallèle d'une tâche de classification classique, cette méthode entraîne également le modèle à retrouver une phrase en fonction de ses paraphrases. Nous verrons également que la façon dont sont générées ces paraphrases joue un rôle important, et que les paraphrases qui aident le plus le modèle sont celles qui sont les plus diverses.
Dans un premier temps, nous comparerons les méthodes de classification "few-shot". Historiquement, les méthodes étaient comparées avec des encodeurs de textes différents, ce qui amenait à une comparaison biaisée. Nous verrons que l'utilisation d'un même encodeur de phrase basé sur un transformer (BERT) change la donne.
Ensuite, nous étudierons le pseudo-labeling. S'appuyant sur des exemples annotés, il s'agit d'attribuer automatiquement des pseudo-labels à des données annotées. Dans ce cadre, nous introduirons une nouvelle méthode de pseudo-labeling inspirée du clustering hiérarchique, dépourvue de tout hyper-paramètre, et qui sait faire abstraction du bruit.
Enfin, je vous présenterai ProtAugment, une architecture de méta-apprentissage pour le problème de détection d’intention. En parallèle d'une tâche de classification classique, cette méthode entraîne également le modèle à retrouver une phrase en fonction de ses paraphrases. Nous verrons également que la façon dont sont générées ces paraphrases joue un rôle important, et que les paraphrases qui aident le plus le modèle sont celles qui sont les plus diverses.
Bio
Thomas Dopierre est un jeune docteur, qui a réalisé sa thèse CIFRE au sein du Laboratoire Hubert Curien à l'Université Jean Monnet (St-Étienne), en partenariat avec Meetic, chez qui il travaille depuis quelques années. Son sujet principal de recherche est la classification de textes courts dans un cadre few-shot, c'est-à-dire quand très peu de phrases annotées sont disponibles.