Adaptation au domaine de modèles de langue à l'aide de réseaux à base de graphes - l'unam - université nantes angers le mans Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Adaptation au domaine de modèles de langue à l'aide de réseaux à base de graphes

Résumé

Les modèles de langue prodonds encodent les propriétés linguistiques et sont utilisés comme entrée pour des modèles plus spécifiques. Utiliser leurs représentations de mots telles quelles pour des domaines peu dotés se révèle être moins efficace. De plus, ces modèles négligent souvent les informations globales sur le vocabulaire au profit d’une plus forte dépendance à l’attention. Nous considérons que ces informations influent sur les résultats des tâches en aval. Leur combinaison avec les représentations contextuelles est effectuée à l’aide de réseaux de neurones à base de graphes. Nous montrons que l’utilité de cette combinaison qui surpassent les performances de baselines.
Fichier principal
Vignette du fichier
8526.pdf (358.7 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03701512 , version 1 (24-06-2022)

Identifiants

  • HAL Id : hal-03701512 , version 1

Citer

Merieme Bouhandi, Emmanuel Morin, Thierry Hamon. Adaptation au domaine de modèles de langue à l'aide de réseaux à base de graphes. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.270-279. ⟨hal-03701512⟩
100 Consultations
26 Téléchargements

Partager

Gmail Facebook X LinkedIn More