Résumé - Rapport Technique Megrez2

Rapport Technique Megrez2

2025-07-23 17:43:07

{"Boxun Li","Yadong Li","Zhiyuan Li","Congyi Liu","Weilin Liu","Guowei Niu","Zheyue Tan","Haiyang Xu","Zhuyu Yao","Tao Yuan","Dong Zhou","Yueqing Zhuang","Bo Zhao","Guohao Dai","Yu Wang"}

{cs.CL}

Megrez2 est une nouvelle architecture de modèle de langage conçue pour une implantation native sur les appareils. Elle répond aux défis de la déployabilité des modèles de langage grands formats sur des appareils à ressources limitées en optimisant pour l'efficacité et le coût réduit tout en maintenant une haute précision. ### Innovations clés : * **Partage d'expertise inter-couche** : Megrez2 introduit un mécanisme pour partager les paramètres d'expert entre les couches adjacentes des transformatteurs. Cela réduit considérablement le nombre total de paramètres en réutilisant les experts, tout en maintenant le nombre de paramètres activés, ce qui permet de préserver les performances du modèle. * **Pré-routage codé** : Megrez2 intègre un pré-routage codé, qui permet un chargement efficace des experts en mémoire et une inference plus rapide. Cette technique permet au modèle de charger à l'avance les paramètres des experts sélectionnés, réduisant l'utilisation de la mémoire et améliorant la vitesse d'inference. * **Megrez2-Preview** : La première instantiation de l'architecture Megrez2, Megrez2-Preview, est pré-entraînée sur un corpus de 5 billions de tokens et améliorée par un affinage supervisé et un apprentissage par renforcement avec des récompenses vérifiables. ### Avantages : * **Conception efficace des paramètres** : Megrez2 atteint une performance compétitive avec un nombre beaucoup plus faible de paramètres par rapport aux modèles plus grands. Par exemple, Megrez2-Preview démontre une performance supérieure par rapport aux modèles de 7B et 8B de paramètres tout en utilisant seulement 3B de paramètres activés. * **Haute précision** : Malgré sa conception légère, Megrez2 atteint une haute précision sur diverses tâches, y compris la compréhension du langage, le suivi des instructions, la raison mathématique et la génération de code. * **Échelle** : Megrez2 est très scalable, avec le potentiel de améliorations et d'optimisations supplémentaires. * **Adéquate pour les appareils à ressources limitées** : La conception efficace des paramètres et le pré-routage codé de Megrez2 le rendent bien adapté à la déployabilité sur des appareils à ressources limitées. ### Conclusion : Megrez2 est une solution prometteuse pour le déploiement de grands modèles de langage sur des appareils à ressources limitées. Sa conception innovante, sa conception efficace des paramètres et sa haute précision le font devenir un candidat fort pour des applications réelles, en particulier dans les domaines où les ressources informatiques sont limitées.