Zusammenfassung - Mix-Geneformer: Unified Representation Learning für menschliche und Maus-scrNA-seq-Daten

Mix-Geneformer: Unified Representation Learning für menschliche und Maus-scrNA-seq-Daten

2025-07-10 06:15:17

{"Yuki Nishio","Takayoshi Yamashita","Keita Ito","Tsubasa Hirakawa","Hironobu Fujiyoshi"}

{q-bio.GN}

Mix-Geneformer ist ein neuartiges tiefes Lernmodell, das zur Analyse menschlicher und mausartiger Genausdrucksdaten entwickelt wurde. Es erfasst effektiv sowohl gemeinsame als auch art-spezifische Genrepräsentationen mithilfe eines hybriden selbstsupervisierten Lernansatzes. Das auf der Transformer-Architektur basierende Modell kombiniert Masked Language Modeling (MLM) mit SimCSE-basiertem kontrastivem Lernen, um konsistente Genrepräsentationen über Arten hinweg zu erreichen. Die Architektur von Mix-Geneformer ist ähnlich wie die von Geneformer und Mouse-Geneformer, aber sie ist darauf ausgelegt, interspezifische Daten zu verarbeiten. Es nutzt eine groß angelegte kombinierte Datenbank, Mix-Genecorpus-50M, die menschliche und mausartige scRNA-seq-Daten integriert. Diese Datenbank wurde sorgfältig kuratiert und vorgebearbeitet, um die Fähigkeit des Modells, biologisch relevante Genmuster zu lernen, zu verbessern, indem Rank-Wert-Codierung verwendet wurde. Die Vorab-Trainierung von Mix-Geneformer umfasste ein hybrides selbstsupervisiertes Lernziel, das MLM und SimCSE-Verluste kombinierte. Dies ermöglichte es dem Modell, sowohl kontextabhängige Gene-Beziehungen als auch semantisch konsistente Zellrepräsentationen über Arten hinweg zu lernen. Evaluationsversuche zeigten, dass Mix-Geneformer in der Zelltypklassifikation und in silico Perturbationsaufgaben Leistung erbringt, die mit oder über denen bestehender art-spezifischer Modelle vergleichbar sind. In silico Perturbationsexperimente bestätigten die Fähigkeit von Mix-Geneformer, sowohl in menschlichen als auch in mausartigen Modellen genesimierte Gene zu identifizieren und vorherzusagen. Dies unterstreicht das Potenzial des Modells für die Drug Discovery und die Aufklärung von Krankheitsmechanismen. Insgesamt bietet Mix-Geneformer ein vielversprechendes Werkzeug für die Analyse interspezifischer Ausdrucksdaten und hat das Potenzial, die translationale Forschung zu beschleunigen und die Ressourcennachfrage in der Drug Discovery und der Krankheitsanalyse zu reduzieren.