Zusammenfassung - Die Generative Energy Arena (GEA): Integration von Energiebewusstsein in die Menschenbewertungen großer Sprachmodelle (LLM)

Die Generative Energy Arena (GEA): Integration von Energiebewusstsein in die Menschenbewertungen großer Sprachmodelle (LLM)

2025-07-17 17:11:14

{"Carlos Arriaga","Gonzalo Martínez","Eneko Sendin","Javier Conde","Pedro Reviriego"}

{cs.AI,cs.CL}

Die Generative Energy Arena (GEA) ist eine Plattform, die entwickelt wurde, um große Sprachmodelle (LLMs) durch die Einbindung von Energieverbrauchsdaten in den Bewertungsprozess zu bewerten. Dieses Papier untersucht den Einfluss von Energiebewusstsein auf Nutzerentscheidungen bei der Auswahl eines LLM für eine bestimmte Aufgabe. Die Autoren argumentieren, dass traditionelle Bewertungsmethoden wie automatisierte Benchmarks begrenzt sind und menschliche Bewertungen aufgrund der Skalierbarkeitsherausforderungen unpraktisch sind. Sie schlagen vor, öffentliche Arenen wie die beliebte LM-Arena zu nutzen, wo Nutzer Modelle frei bewerten können. Allerdings haben diese Arenen aufgrund unkontrollierter Fragen und der Profile der Evaluator ihre eigenen Einschränkungen. Um diese Probleme zu lösen, integriert die GEA Energieverbrauchsdaten in den Bewertungsprozess. Die Plattform vergleicht Modelle derselben Familie, aber mit verschiedenen Größen, um sicherzustellen, dass die Unterschiede in der Leistung hauptsächlich auf die Modellgröße und nicht auf andere Faktoren zurückzuführen sind. Nutzer werden gebeten, die Antworten der Modelle basierend auf Qualität zu bewerten und dann zu entscheiden, ob sie ihre Wahl ändern würden, nachdem sie über den Energieverbrauch informiert wurden. Das Papier präsentiert vorläufige Ergebnisse, die zeigen, dass Nutzer, wenn sie sich des relativen Energieverbrauchs bewusst sind, kleineren und energieeffizienteren Modellen den Vorzug geben. Dies deutet darauf hin, dass für die meisten Nutzerinteraktionen die zusätzlichen Kosten und der Energieverbrauch, der durch größere Modelle entsteht, ihre Nutzung nicht rechtfertigen. Die Autoren betonen, dass die Einbindung von Energiebewusstsein in menschliche Bewertungen entscheidend ist, um Nutzerpräferenzen zu verstehen und fundierte Entscheidungen über die Entwicklung und Implementierung von LLMs zu treffen. Sie erkennen die Einschränkungen ihres Studienansatzes an, wie zum Beispiel eine geringe Anzahl von Fragen und Nutzern, begrenzte bewertete LLMs und eine Einzellangaugebung. Dennoch glauben sie, dass dieser erste Schritt wertvolle Einblicke in den Einfluss von Energiebewusstsein auf Nutzerentscheidungen bietet. Die GEA zeigt das Potenzial auf, Energieverbrauch bei der Bewertung von LLMs in Betracht zu ziehen. Dieser Ansatz könnte die Entwicklung und Implementierung von LLMs beeinflussen, energieeffiziente Modelle fördern und nachhaltigere Praktiken in der AI-Branche fördern. Darüber hinaus betont sie die Bedeutung der Einbindung verschiedener Faktoren in die Bewertung von LLMs, um ihre Leistung und potenziellen Auswirkungen besser zu verstehen.