Zusammenfassung - Der Einfluss der Sprachmischung auf das Reasoning von mehrsprachigen LLMs

Der Einfluss der Sprachmischung auf das Reasoning von mehrsprachigen LLMs

2025-07-21 17:56:09

{"Yihao Li","Jiayi Xin","Miranda Muqing Miao","Qi Long","Lyle Ungar"}

{cs.CL,cs.AI,cs.LG}

Dieses Papier untersucht den Einfluss der Sprachmischung auf die Schlussfolgerungsfähigkeiten mehrsprachiger groß angelegter Sprachmodelle (LLMs). Es erforscht das Phänomen der Sprachmischung, bei dem LLMs während der Schlussfolgerung zwischen Englisch und Chinesisch wechseln, und untersucht, ob dieses Verhalten ihre Leistung verbessert oder behindert. Die Autoren beobachten zunächst, dass stärkere Schlussfolgerungsfähigkeiten mit erhöhter Sprachmischung korrelieren, was darauf hindeutet, dass Sprachmischung möglicherweise eine bewusste Strategie zur Verbesserung der Schlussfolgerungsfähigkeit ist. Sie identifizieren das Verstärkungslernen mit überprüfbaren Belohnungen (RLVR) als den entscheidenden Trainingsabschnitt, der die Sprachmischung hervorruft. Um den Einfluss der Sprachmischung auf die Schlussfolgerungsfähigkeit zu testen, führten sie Experimente durch, bei denen sie die Ausgaben der LLMs auf einheitliche Sprachen beschränkten und diese mit nicht beschränkten mehrsprachigen Ausgaben verglichen. Sie fanden heraus, dass mehrsprachige Ausgaben die monolingualen bei mathematischen Schlussfolgerungsaufgaben erheblich übertroffen haben. Darüber hinaus trainierten sie ein leichtes Untersuchungsmodell, um vorherzusagen, ob ein potenzieller Sprachwechsel die Schlussfolgerungsfähigkeit verbessern oder schädigen würde. Dieses Modell wurde zur Lenkung der Dekodierung verwendet, was zu weiteren Verbesserungen der Genauigkeit führte. Dies deutet darauf hin, dass Sprachmischung nicht nur ein Nebenprodukt des mehrsprachigen Trainings ist, sondern eine strategische Schlussfolgerungsverhalten ist, das genutzt werden kann, um die Schlussfolgerungsfähigkeit von LLMs zu verbessern. Insgesamt liefert das Papier Beweise dafür, dass Sprachmischung eine vorteilhafte Strategie für die Schlussfolgerungsfähigkeit von LLMs sein kann. Es betont die Bedeutung des Verständnisses der Faktoren, die die Sprachmischung in LLMs beeinflussen, und schlägt Wege vor, wie dieses Verhalten genutzt werden kann, um die Schlussfolgerungsleistung zu verbessern.