Résumé - Expliqueur de Cartes : Cartographie des Espaces d'Embeddings des LLM à l'Aide d'Agents d'Explication et de Vérification Basés sur la Perturbation

Expliqueur de Cartes : Cartographie des Espaces d'Embeddings des LLM à l'Aide d'Agents d'Explication et de Vérification Basés sur la Perturbation

2025-07-24 17:43:40

{"Xinyuan Yan","Rita Sevastjanova","Sinie van der Ben","Mennatallah El-Assady","Bei Wang"}

{cs.CG,cs.LG}

Le document présente le Explainable Mapper, un cadre conçu pour explorer et interpréter les structures topologiques des espaces d'embeddings de grands modèles de langage (LLM). Il utilise des graphes de mapper, un outil de l'analyse et de la visualisation des données topologiques, pour résumer et visualiser les espaces d'embeddings. Le cadre introduit deux types d'agents de mapper : les Agents d'Explication et les Agents de Vérification. Ces agents utilisent des techniques basées sur les perturbations pour générer et vérifier des explications pour des éléments de mapper tels que les clusters, la connectivité et les transitions. Voici une analyse des points clés : **Contexte** : * Les grands modèles de langage (LLM) produisent des embeddings à haute dimension qui captent des relations sémantiques et syntaxiques riches. * Les graphes de mapper résument la structure topologique de l'espace d'embeddings, où les nœuds représentent des groupes d'embeddings et les arêtes connectent des voisins superposés. * L'exploration manuelle de ces espaces d'embeddings nécessite un effort humain considérable. **Cadre Explainable Mapper** : * **Agents de Mapper** : * **Agents d'Explication** : Utilisent des techniques de perturbation pour générer des explications pour des éléments de mapper (par exemple, des clusters, la connectivité, les transitions). Ils peuvent résumer, comparer et perturber des éléments de mapper pour comprendre leurs propriétés. * **Agents de Vérification** : Vérifient la robustesse des explications générées en appliquant des perturbations et en comparant les résultats. * **Graphes de Mapper** : Visualisent la structure topologique de l'espace d'embeddings, montrant les clusters, la connectivité et les transitions. * **Projection** : Affichent les embeddings sur un graphique en nuage de points en utilisant des techniques de réduction de la dimensionnalité telles que PCA ou t-SNE. **Études de cas** : * Le cadre est démontré à l'aide du modèle BERT, en analysant diverses couches et étapes de fin-tuning. * Les études de cas incluent : * Pronoms possessifs : Analyse de la manière dont le BERT fin-tuned apprend les pronoms possessifs à travers différentes couches. * Conjonctions et prépositions : Exploration des propriétés syntaxiques des conjonctions et des prépositions dans différentes couches. * Prépositions temporelles : Investigation de l'utilisation des prépositions temporelles et de leurs transitions à travers les couches. **Avantages** : * Facilite l'exploration et l'interprétation des espaces d'embeddings des LLM. * Aide les utilisateurs à comprendre les propriétés linguistiques et les structures sous-jacentes. * Permet la vérification des explications et de leur robustesse. **Travaux futurs** : * Aborde les hallucinations potentielles dans les LLM en intégrant des ensembles d'explications et des retours humains. * Affine les techniques de perturbation pour mieux capturer les nuances du comportement des embeddings. * Automatise le processus de vérification pour les trajectoires et investigate des stratégies de validation basées sur les graphes. **Dans l'ensemble, le Explainable Mapper fournit un outil précieux pour explorer et comprendre les espaces d'embeddings des LLM, permettant aux utilisateurs de gagner des insights sur les propriétés linguistiques et les structures sous-jacentes**.