Modellvergleiche

Eine Studie von Google Research und dem Rochester Institute of Technology hat ergeben, dass die gängige Praxis, nur drei bis fünf menschliche Bewerter pro Testbeispiel für KI-Benchmarks zu verwenden, unzureichend ist. Um die Vielfalt menschlicher Meinungen angemessen zu erfassen, sind mindestens zehn Bewerter pro Beispiel erforderlich. Die Forscher untersuchten, wie man ein begrenztes Bewertungsbudget effizienter nutzen kann, um Unterschiede zwischen KI-Modellen zuverlässig zu erkennen. Ihre Ergebnisse zeigen, dass weniger als zehn Bewerter pro Beispiel nicht ausreichen, um reproduzierbare Modellvergleiche zu gewährleisten. Mit etwa 1.000 Gesamtbewertungen können jedoch zuverlässige Ergebnisse erzielt werden, wenn das Budget richtig zwischen Testbeispielen und Bewertern aufgeteilt wird. Die optimale Strategie hängt vom zu messenden Aspekt ab: Für Genauigkeit sind viele Testbeispiele mit wenigen Bewertern ideal, während zur Erfassung der gesamten Bandbreite menschlicher Antworten weniger Beispiele, aber mehr Bewerter pro Beispiel erforderlich sind. Diese Erkenntnisse könnten die Bewertung von KI-Modellen grundlegend verändern und die Qualität der Ergebnisse verbessern.