概要 - 可解性マッパー：パラメータ調整に基づく説明と検証エージェントを使用してLLMエンブッディング空間を図示する

可解性マッパー：パラメータ調整に基づく説明と検証エージェントを使用してLLMエンブッディング空間を図示する

2025-07-24 17:43:40

{"Xinyuan Yan","Rita Sevastjanova","Sinie van der Ben","Mennatallah El-Assady","Bei Wang"}

{cs.CG,cs.LG}

以下に翻訳を行います： この論文では、大規模言語モデル（LLM）の埋め込み空間のトポロジカル構造を探索および解釈するためのフレームワークである「Explainable Mapper」を提案しています。このフレームワークは、トポロジカルデータ解析と可視化のツールであるマッパーグラフを使用して、埋め込み空間を要約および可視化します。フレームワークは、説明エージェントと検証エージェントの2種類のマッパーエージェントを導入しており、これらのエージェントはクラスタ、接続性、トランジションなどのマッパーエレメントに対してパラメータ変化に基づく技術を使用して説明の生成および検証を行います。 以下に主要なポイントをまとめます： **背景**： * 大規模言語モデル（LLM）は、豊かな意味的および文法的関係を捉える高次元の埋め込みを生成します。 * マッパーグラフは、ノードが埋め込みのクラスタを、エッジが重複する近隣を接続する埋め込み空間のトポロジカル構造を要約します。 * これらの埋め込み空間を手動で探索するには、多大な人間の労力が必要です。 **Explainable Mapper Framework**： * **マッパーエージェント**： * **説明エージェント**：パラメータ変化技術を使用して、マッパーエレメント（例：クラスタ、接続性、トランジション）に対する説明を生成します。説明を要約、比較、パラメータ変化することで、その性質を理解できます。 * **検証エージェント**：生成された説明の堅牢性を検証するために、パラメータ変化を適用し、結果を比較します。 * **マッパーグラフ**：埋め込み空間のトポロジカル構造を視覚化し、クラスタ、接続性、トランジションを示します。 * **プロジェクション**：PCAやt-SNEなどの次元削減技術を使用して、散布図に埋め込みを表示します。 **ケーススタディ**： * フレームワークはBERTモデルを使用して、様々な層および微調整ステップを分析するために示されます。 * ケーススタディには以下が含まれます： * 拥有詞：異なる層で微調整されたBERTが所有詞をどのように学習するかの分析。 * 接続詞および前置詞：異なる層で接続詞および前置詞の文法的性質を探索。 * 時間前置詞：時間前置詞の使用と層間のトランジションを調査。 **利点**： * LLMの埋め込み空間の探索と解釈を促進します。 * 使用者に基底の言語的性質と構造を理解する手助けをします。 * 生成的な説明とその堅牢性の検証を可能にします。 **将来の研究**： * 解释エンブレースメントと人間のフィードバックを統合して、LLMの潜在的な仮想を解消します。 * パラメータ変化技術を精査し、埋め込みの行動の微細なニュアンスをよりよく捉える。 * トロジーを自動化し、グラフベースの検証戦略を調査します。 **全体的に、Explainable Mapperは、LLMの埋め込み空間を探索および理解するための価値あるツールを提供し、ユーザーが基底の言語的性質と構造に洞察を得ることを可能にします**。