Zusammenfassung - Erklärbarer Mapper: Diagrammierung von LLM-Embedding-Räumen durch Perturbation-basierte Erklärung und Verifizierungsagenten

Erklärbarer Mapper: Diagrammierung von LLM-Embedding-Räumen durch Perturbation-basierte Erklärung und Verifizierungsagenten

2025-07-24 17:43:40

{"Xinyuan Yan","Rita Sevastjanova","Sinie van der Ben","Mennatallah El-Assady","Bei Wang"}

{cs.CG,cs.LG}

Das Papier stellt den Explainable Mapper vor, ein Framework, das entwickelt wurde, um die topologischen Strukturen der Embeddingsräume großer Sprachmodelle (LLM) zu erkunden und zu interpretieren. Es nutzt Mapper-Grafiken, ein Werkzeug aus der topologischen Datenanalyse und -visualisierung, um Embeddingsräume zu zusammenfassen und zu visualisieren. Das Framework führt zwei Arten von Mapper-Agenten ein: Erklärung-Agenten und Verifizierungs-Agenten. Diese Agenten verwenden störfeldbasierte Techniken, um Erklärungen für Mapper-Elemente wie Cluster, Verbindungen und Übergänge zu generieren und zu verifizieren. Hier ist eine Zusammenfassung der Hauptpunkte: **Hintergrund**: * Große Sprachmodelle (LLM) erzeugen hochdimensionale Embeddings, die reiche semantische und syntaktische Beziehungen erfassen. * Mapper-Grafiken zusammenfassen die topologische Struktur des Embeddingsraums, wobei Knoten Cluster von Embeddings und Kanten überlappende Nachbarschaften darstellen. * Die manuelle Erkundung dieser Embeddingsräume erfordert erhebliche menschliche Anstrengung. **Explainable Mapper Framework**: * **Mapper-Agenten**: * **Erklärung-Agenten**: Nutzen Störfeldtechniken, um Erklärungen für Mapper-Elemente (z.B. Cluster, Verbindungen, Übergänge) zu generieren. Sie können Mapper-Elemente zusammenfassen, vergleichen und stören, um ihre Eigenschaften zu verstehen. * **Verifizierungs-Agenten**: Verifizieren die Robustheit der generierten Erklärungen durch Anwendungen von Störungen und Vergleiche der Ergebnisse. * **Mapper-Grafiken**: Visualisieren die topologische Struktur des Embeddingsraums, zeigen Cluster, Verbindungen und Übergänge. * **Projektion**: Zeigen Embeddings in einem Streudiagramm an, indem Dimensionalitätsreduktionsmethoden wie PCA oder t-SNE verwendet werden. **Fallstudien**: * Das Framework wird am BERT-Modell demonstriert, indem verschiedene Schichten und Anpassungsschritte analysiert werden. * Die Fallstudien umfassen: * Besitzpronomen: Analyse, wie das angepasste BERT Besitzpronomen in verschiedenen Schichten lernt. * Konjunktionen und Präpositionen: Erkundung der syntaktischen Eigenschaften von Konjunktionen und Präpositionen in verschiedenen Schichten. * Temporale Präpositionen: Untersuchung der Verwendung von temporalen Präpositionen und ihrer Übergänge zwischen den Schichten. **Vorteile**: * Ermöglicht die Erkundung und Interpretation von LLM-Embeddingsräumen. * Hilft Benutzern, die zugrunde liegenden sprachlichen Eigenschaften und Strukturen zu verstehen. * Ermöglicht die Verifizierung von Erklärungen und ihrer Robustheit. **Zukünftige Arbeiten**: * Adressiert potenzielle Halluzinationen in LLMs durch die Integration von Erklärungskombinationen und menschlichem Feedback. * Verbessert die Störfeldtechniken, um die Nuancen des Embeddingsverhaltens besser zu erfassen. * Automatisiert den Verifizierungsprozess für Trajektorien und untersucht graphbasierte Validierungstechniken. **Insgesamt bietet der Explainable Mapper ein wertvolles Werkzeug für die Erkundung und das Verständnis von LLM-Embeddingsräumen, ermöglicht Benutzern, Einblicke in die zugrunde liegenden sprachlichen Eigenschaften und Strukturen zu gewinnen**.