Leistung von großsprachigen Modellen (LLMs) auf Niederländisch

Es gibt genügend Listen, wie gute Sprachmodelle auf Englisch abschneiden, aber relativ wenig wie sie auf Niederländisch tun. Euroeval (Girub) Testen Sie jedoch die Leistung von Sprachmodellen in vielen (westlichen) europäischen Sprachen, einschließlich Niederländisch. Über dem Vergleich.

Was trifft mir:

• Der gigantische Call-3.1-405b Führt das Beste aus. Wahrscheinlich gibt es dank seiner gigantischen Größe auch genug Platz, um niederländische Konzepte im Modell zu codieren, wie Sie auf dem Hoch sehen können Genannte Entitätserkennung-Punktzahl.
• GPT-5 (mit Denkschritten) führt den zweiten Platz mit hohen Punktzahlen für Allgemeinwissen und Argumentation. Gemini 2.5 Pro bewertet vergleichbar.
• Mistral-Small-3.1-24B-Instruct-2503 (Bekanntmachung) Punkte als 4., was sehr beeindruckend ist, sind relativ geringe Größe von nur 24 Milliarden Parametern. Sie können dieses Modell selbst auf einem leistungsstarken Computer oder Laptop ausführen. In der Zwischenzeit war eine neue Version herausgekommen: Mistral-Small-3.2-24B-Instruct-2506 (aber das ist noch nicht getestet).
• Andere offene Modelle wie Lama 3.3 und Qwen3 punkten nicht schlecht, aber nicht so gut wie Mistral.
• OpenAIs kleinste Modelle (GPT -4.1 -Nano und -5 Nano) haben eindeutig nicht mehr die Fähigkeit, in Niederländisch ordnungsgemäß zu funktionieren. Sie sind wahrscheinlich vollständig für Englisch optimiert und das Modell hat auch Schwierigkeiten, Informationen über andere Sprachen zu speichern.

Hoffentlich wird jeder, der Sprachmodelle in Niederländisch verwenden möchte, davon profitieren. Mehr noch weiter https://euroeval.com/leaderboards/monolingual/dutch/