Benchmarks de Mistral Large 4 : résultats officiels et tests indépendants

L’essentiel en bref

Mistral Large 4 excelle en cybersécurité, sur les agents juridiques et financiers et pour pointer des objets dans des images ; il est dans la moyenne sur les indices d’intelligence générale. Ce profil se retrouve aussi bien dans les graphiques de Mistral que dans les classements indépendants.

• Sécurité : 82 % sur CyberGym-E2E et 93 % sur Cybench, devant tous les modèles à poids ouverts auxquels Mistral s’est comparé.
• Droit : 15,8 % sur le Legal Agent Benchmark de Harvey, 6e sur 75 modèles chez Vals AI, devant GPT-6 Astra (5,4 %).
• Agents de code : 61,7 % sur DeepSWE v1.1, devant DeepSeek V4 Pro 0813 (57) et Qwen3.8 Max (51), derrière Kimi K3 (68).
• Vision : 42,0 en localisation sur Dense200, légèrement au-dessus de GPT-6 Astra (41,5).
• Classement général : Artificial Analysis lui attribue 38, derrière Claude Opus 5.5 (58) et GPT-6 Astra (53), mais devant DeepSeek V4 Pro (36,0).

Benchmarks de code et d’agents (annoncés par Mistral)

Sur les agents de code, Large 4 bat DeepSeek V4 Pro et Qwen3.8 Max, mais reste derrière GLM-5.3 et Kimi K3 sur certains tests. Mistral a utilisé les harnais d’Artificial Analysis ; chaque concurrent a tourné avec son outil d’agent préféré (par exemple Claude Code pour Qwen3.8 Max et Codex pour DeepSeek) : considérez les petits écarts comme des matchs serrés.

Mistral annonce un Coding Agent Index combiné de 49,8 %. Dans l’évaluation humaine à l’aveugle de Surge AI sur des réponses de code, les évaluateurs lui ont donné 3,74 sur 5, devant Kimi K3 (3,59) et GLM-5.3 (3,60), mais derrière Claude Opus 5 (4,22).

Benchmarks de cybersécurité et de sûreté

La cybersécurité est le domaine où Large 4 se démarque le plus. Sur CyberGym-E2E, qui demande de reproduire puis de corriger de vraies vulnérabilités, il obtient 82 %, alors que selon Mistral Claude Opus 5.5 et GPT-6 Astra tombent presque à zéro parce qu’ils refusent les tâches. Sur le Cyber Index d’Artificial Analysis, il réussit 50 tâches, contre 33 pour GPT-6 Astra et 29 pour Claude Opus 5.5.

Il refuse aussi les demandes clairement malveillantes : une moyenne de 95,3 sur JailbreakBench, StrongREJECT et AgentHarm, et 93,3 % de résistance aux attaques sur le test de sécurité d’agents B3 de Lakera. Mistral fournit aux acteurs majeurs de la cybersécurité, à des partenaires sélectionnés et aux autorités publiques une version à modération réduite pour le red teaming, avant la publication des poids.

Finance, droit, sciences et vision

Pour le travail professionnel, Large 4 domine nettement sur les agents juridiques et reste compétitif en finance et en sciences. Ses 15,8 sur le Legal Agent Benchmark de Harvey représentent environ trois fois les 5,4 de GPT-6 Astra. Sur Finance Agent v2, il obtient 54,7, juste au-dessus de GPT-6 Astra (53,5) et juste en dessous de GLM-5.3 (55,8).

Sur les images, il lit bien les graphiques et localise bien les objets. Dense200 mesure la précision avec laquelle un modèle trace des boîtes englobantes : Large 4 obtient 42,0, contre 41,5 pour GPT-6 Astra et 28,9 pour Kimi K3. Sur ChartQA Pro, il obtient 63,1, un peu sous GPT-6 Astra (65,1).

Résultats indépendants : Artificial Analysis

Artificial Analysis attribue à Large 4 un score de 38 sur son Intelligence Index v4.3.2, soit la 64e place sur 225 modèles et la 8e parmi les modèles à poids ouverts. Il se classe devant DeepSeek V4 Pro (36,0) et GLM-5.2 (33,7), et derrière GLM-5.3 (45) et MiMo-V2.6-Pro (46).

Il est rapide mais bavard. Sa vitesse de génération atteint 116,1 tokens par seconde contre une médiane de 87, mais il lui a fallu 200 millions de tokens de sortie pour boucler l’indice, contre une médiane de 81 millions : les longues réponses pèsent sur le coût et le temps d’attente. Artificial Analysis le classe pour l’instant comme modèle propriétaire, faute de poids publics.

Résultats indépendants : Vals AI

Vals AI place Mistral Large 4 à 48,05 % sur le Vals Index v2.1, 32e sur 44 modèles, quasiment à égalité avec Qwen 3.8 Max (48,27 %) et DeepSeek V4 Pro 0813 (47,63 %). Gemini 4 Argon mène cet indice avec 68,90 %, suivi de Claude Opus 5.5 à 66,97 %.

Ses meilleurs classements chez Vals concernent le droit et la finance ; ses plus faibles, les preuves formelles et le raisonnement scientifique façon énigme.

Comment lire ces chiffres

Les scores de l’éditeur et les scores indépendants ne répondent pas à la même question ; mieux vaut connaître leurs écarts avant de choisir un modèle.

• Terminal-Bench 4.0 varie selon le harnais : 28,3 % dans le test Artificial Analysis mené par Mistral, contre 22,73 % chez Vals AI.
• Mistral qualifie son résultat SciCode-Verified d’état de l’art parmi les modèles à poids ouverts, mais son propre graphique place MiMo-V2.6-Pro (91,9), GLM-5.3 (92,5) et Qwen3.8 2.4T A95B (93,8) au-dessus de ses 91,8.
• Le taux de victoire interne d’experts face à GLM-5.3 est de 68 % en STEM sur le graphique par domaine et de 69 % sur le graphique détaillé ; 62 % en CAO, 50 % en finance et 48 % en code.
• Tous les chiffres de Mistral portent sur la préversion sortie le 6 octobre 2026 ; les scores peuvent évoluer avec les poids définitifs.
• Le niveau de raisonnement change parfois plus le coût que la qualité : sur Hacker News, Simon Willison a constaté peu de différence entre reasoning_effort "high" et "none" dans son test.

Testez le modèle sur vos propres prompts

Les benchmarks donnent des moyennes ; ce qui compte, ce sont vos prompts. Envoyez vos propres questions de code, de droit ou de finance à Mistral Large 4 dans le chat de notre page d’accueil : un compte gratuit reçoit 15 crédits par jour. Le coût en tokens de ce niveau de performance est détaillé sur notre page Prix de l’API, et nos comparatifs avec DeepSeek V4 et Mistral Large 3 opposent les modèles point par point.