Mistral Large 4 Benchmarks: offizielle und unabhängige Ergebnisse

Kurz zusammengefasst

Am stärksten ist Mistral Large 4 bei Security-Aufgaben, Agenten für Recht und Finanzen sowie beim Lokalisieren von Objekten in Bildern; in breiten Intelligenz-Indizes liegt es im Durchschnitt. Dieses Muster zeigt sich sowohl in den eigenen Charts von Mistral als auch in den unabhängigen Ranglisten.

• Security: 82 % auf CyberGym-E2E und 93 % auf Cybench – vor allen Open-Weight-Modellen, mit denen Mistral sich verglichen hat.
• Recht: 15,8 % auf Harveys Legal Agent Benchmark, bei Vals AI Platz 6 von 75 Modellen und damit vor GPT-6 Astra (5,4 %).
• Coding-Agenten: 61,7 % auf DeepSWE v1.1, vor DeepSeek V4 Pro 0813 (57) und Qwen3.8 Max (51), hinter Kimi K3 (68).
• Bildverständnis: 42,0 auf Dense200 (Grounding), knapp vor GPT-6 Astra (41,5).
• Gesamt: Artificial Analysis vergibt 38 Punkte – hinter Claude Opus 5.5 (58) und GPT-6 Astra (53), aber vor DeepSeek V4 Pro (36,0).

Coding- und Agenten-Benchmarks (Herstellerangaben)

Bei Coding-Agenten schlägt Large 4 DeepSeek V4 Pro und Qwen3.8 Max, liegt in einigen Tests aber hinter GLM-5.3 und Kimi K3. Mistral hat die Tests mit den Harnesses von Artificial Analysis gefahren; jeder Konkurrent nutzte sein bevorzugtes Agenten-Tool (etwa Claude Code für Qwen3.8 Max und Codex für DeepSeek). Kleine Abstände sind daher eher ein Unentschieden.

Den kombinierten Coding Agent Index gibt Mistral mit 49,8 % an. In der verblindeten menschlichen Bewertung von Coding-Antworten durch Surge AI bekam das Modell 3,74 von 5 Punkten – vor Kimi K3 (3,59) und GLM-5.3 (3,60), aber hinter Claude Opus 5 (4,22).

Benchmarks zu IT-Sicherheit und Safety

In der IT-Sicherheit sticht Large 4 am deutlichsten heraus. Auf CyberGym-E2E, wo ein Modell echte Schwachstellen nachstellen und anschließend patchen muss, erreicht es 82 %. Claude Opus 5.5 und GPT-6 Astra kommen laut Mistral auf nahezu null, weil sie die Aufgaben verweigern. Im Cyber Index von Artificial Analysis löst es 50 Aufgaben, GPT-6 Astra 33 und Claude Opus 5.5 29.

Eindeutig schädliche Anfragen lehnt es trotzdem ab: im Schnitt 95,3 über JailbreakBench, StrongREJECT und AgentHarm sowie 93,3 % Angriffsresistenz im B3-Agenten-Sicherheitstest von Lakera. Cyber-Verantwortliche, geprüfte Partner und staatliche Stellen bekommen von Mistral schon vor der Veröffentlichung der Gewichte eine Version mit reduzierter Moderation für Red-Teaming.

Finanzen, Recht, Wissenschaft und Bildverständnis

Bei professioneller Arbeit führt Large 4 klar bei juristischen Agenten und ist bei Finanzen und Wissenschaft konkurrenzfähig. Seine 15,8 auf Harveys Legal Agent Benchmark sind etwa das Dreifache der 5,4 von GPT-6 Astra. Auf Finance Agent v2 erreicht es 54,7 – knapp vor GPT-6 Astra (53,5) und knapp hinter GLM-5.3 (55,8).

Bei Bildern liest es Diagramme und findet Objekte zuverlässig. Dense200 misst, wie präzise ein Modell Bounding Boxes zieht: Large 4 erreicht 42,0, GPT-6 Astra 41,5 und Kimi K3 28,9. Auf ChartQA Pro kommt es auf 63,1, knapp unter GPT-6 Astra (65,1).

Unabhängige Ergebnisse: Artificial Analysis

Artificial Analysis bewertet Large 4 mit 38 Punkten im Intelligence Index v4.3.2 – Platz 64 von 225 Modellen und Platz 8 unter den Open-Weight-Modellen. Damit liegt es vor DeepSeek V4 Pro (36,0) und GLM-5.2 (33,7), aber hinter GLM-5.3 (45) und MiMo-V2.6-Pro (46).

Es ist schnell, aber redselig. Die Ausgabegeschwindigkeit liegt bei 116,1 Token pro Sekunde (Median: 87), doch für den kompletten Index brauchte es 200 Mio. Output-Token (Median: 81 Mio.). Lange Antworten erhöhen also Kosten und Wartezeit. Artificial Analysis führt es derzeit als proprietäres Modell, weil die Gewichte noch nicht öffentlich sind.

Unabhängige Ergebnisse: Vals AI

Vals AI sieht Mistral Large 4 mit 48,05 % im Vals Index v2.1 auf Platz 32 von 44 Modellen – nahezu gleichauf mit Qwen 3.8 Max (48,27 %) und DeepSeek V4 Pro 0813 (47,63 %). An der Spitze dieses Index steht Gemini 4 Argon mit 68,90 %, gefolgt von Claude Opus 5.5 mit 66,97 %.

Die besten Platzierungen bei Vals holt es bei Recht und Finanzen, die schwächsten bei formalen Beweisen und rätselartigem naturwissenschaftlichem Schlussfolgern.

So liest du diese Zahlen richtig

Herstellerwerte und unabhängige Werte beantworten unterschiedliche Fragen. Die Abweichungen solltest du kennen, bevor du dich für ein Modell entscheidest.

• Terminal-Bench 4.0 hängt vom Harness ab: 28,3 % im Lauf von Mistral über Artificial Analysis, 22,73 % bei Vals AI.
• Mistral bezeichnet sein Ergebnis auf SciCode-Verified als Bestwert unter Open-Weight-Modellen, der eigene Chart zeigt aber MiMo-V2.6-Pro (91,9), GLM-5.3 (92,5) und Qwen3.8 2.4T A95B (93,8) über den 91,8.
• Die interne Experten-Gewinnrate gegen GLM-5.3 liegt für MINT im Domänen-Chart bei 68 % und im Detail-Chart bei 69 %; CAD kommt auf 62 %, Finanzen auf 50 % und Code auf 48 %.
• Alle Werte von Mistral beziehen sich auf die Preview-Version vom 6. Okt. 2026; mit den finalen Gewichten können sich die Ergebnisse noch ändern.
• Der Reasoning-Aufwand verändert für manche Nutzer eher die Kosten als die Qualität: Auf Hacker News berichtete Simon Willison, dass er in seinem Test kaum Unterschiede zwischen reasoning_effort "high" und "none" sah.

Teste das Modell mit deinen eigenen Prompts

Benchmarks zeigen Durchschnittswerte – entscheidend sind deine eigenen Aufgaben. Im Chat auf unserer Startseite kannst du Mistral Large 4 deine Coding-, Rechts- oder Finanzfragen direkt stellen, auch auf Deutsch; ein kostenloses Konto bekommt 15 Credits pro Tag. Was diese Leistung pro Token kostet, steht auf unserer Seite zu den API-Preisen, und die Vergleiche mit DeepSeek V4 und Mistral Large 3 gehen ins Detail.