Mistral Large 4 vs Mistral Small 4

Pourquoi nous avons fait ce test

Notre chat gratuit offre à chaque nouveau compte ses 3 premières réponses sur Mistral Large 4, puis passe à Mistral Small 4 ; Pro et les packs de crédits restent sur Large 4. Nous voulions savoir, avec de vraies tâches plutôt que des tableaux de benchmarks, quand le plus gros modèle mérite son prix : au tarif catalogue, Large 4 coûte $1.36 par million de tokens en entrée et $4.18 par million en sortie, Small 4 $0.15 et $0.60, soit environ neuf fois plus cher en entrée et sept fois plus en sortie.

Méthode : huit prompts qui ressemblent à du vrai travail (pas des devinettes), envoyés une fois chacun à mistral-large-4 et mistral-small-2603 via l'API de chat completions avec reasoning_effort réglé sur none, température 0.2 et un plafond de 1,500 tokens en sortie. Le temps est mesuré en temps réel depuis une machine en Asie, donc vos chiffres absolus différeront ; c'est le rapport entre les deux modèles qui compte. Un seul passage par prompt, donc traitez les petites différences comme du bruit.

Le tableau des scores

Large 4 gagne là où l'exhaustivité et le respect des consignes comptent ; Small 4 le égale sur les conversions bien définies et est deux à trois fois plus rapide.

Là où Large 4 était nettement meilleur

Le schéma sur les six victoires : Large 4 fait ce que le prompt demande littéralement et continue jusqu'à ce que le travail soit terminé ; Small 4 répond à la forme générale de la question.

• Clause contractuelle : on demandait chaque risque avec les mots exacts qui le créent, Large 4 a listé cinq risques (y compris l'effet combiné des trois phrases de résiliation) et a cité le fragment précis pour chacun, puis a rédigé une clause de remplacement complète avec un préavis de 30 jours et un paiement au prorata. Small 4 a listé trois risques, cité des phrases entières, et a laissé « [X days] » dans sa réécriture.
• Revue de code : les deux ont repéré l'injection SQL, la boucle qui saute la première ligne et la connexion non fermée. La correction de Large 4 utilisait des gestionnaires de contexte, sqlite3.Row avec des colonnes nommées et « is not None » pour qu'une chaîne de statut vide filtre quand même ; Small 4 a gardé les index positionnels et a fermé la connexion avec un test « if conn in locals() ».
• Extraction depuis une longue page : le prompt collait notre page de tarifs API de 2,800 tokens et demandait chaque modèle Mistral avec ses prix au million. Large 4 a renvoyé les quatre modèles (Large 4, Large 3, Medium 3.5, Small 4). Small 4 a renvoyé dix lignes de paliers de prix de Large 4 (batch, priorité, régional) et aucun autre modèle. Les deux ont ensuite correctement chiffré 50M tokens en entrée et 5M en sortie : $88.90 au tarif catalogue, $44.45 en promotion.
• Traduction avec un idiome : Large 4 a rendu « heads up » et « swamped » de façon idiomatique en français, allemand, espagnol et japonais. Small 4 était correct dans les trois langues européennes mais a laissé « heads up » en anglais dans la phrase japonaise et a ajouté une note à ce sujet.
• Casse-tête d'emploi du temps : cinq conférences, cinq contraintes. Large 4 a exploré les quatre placements du bloc A-D et a trouvé le seul ordre valide, A-D-B-C-E, en 830 tokens. Small 4 a expliqué les contraintes en long et a buté sur le plafond de 1,500 tokens avant de finir son deuxième cas.
• Réécriture de copie sous contraintes (60 mots, sans mots de hype) : Large 4 a renvoyé 22 mots simples. Small 4 a renvoyé 30 mots qui commençaient par « Boost team productivity » et se terminaient par « innovate daily ».

Là où Small 4 était tout aussi bon

Deux tâches étaient à égalité, et sur les deux Small 4 était plus rapide. La conversion facture vers JSON est revenue identique des deux modèles au centime près (sous-total 2,580, taxe 490.20, total 3,070.20), en 1,9 seconde pour Small 4 contre 3,0 pour Large 4. La comparaison financière sur deux trimestres a donné le même bénéfice brut et le même bénéfice d'exploitation des deux côtés ; les trois questions de directeur financier de Large 4 étaient plus précises (demandant si la baisse de marge vient d'un changement de mix ou d'une pression sur les prix), celles de Small 4 étaient suffisantes.

Vitesse : Small 4 commençait à répondre après 0,6 à 0,7 seconde sur chaque tâche ; Large 4 mettait 0,8 à 1,9 seconde pour le premier token et environ deux à trois fois plus longtemps pour finir. Pour les travaux courts et bien définis, l'attente est la seule chose que vous sacrifiez.

Ce que chaque réponse a coûté

Les nombres de tokens sont les chiffres d'utilisation propres à l'API ; les dollars sont aux tarifs catalogue de Mistral (Large 4 bénéficiait d'une promotion limitée à 50 % quand nous avons fait ce test, ce qui divise sa colonne par deux). Sur notre site, chaque réponse de ce test a coûté un crédit sur l'un ou l'autre modèle, parce qu'un crédit couvre jusqu'à environ $0.0067 de coût modèle au tarif du plan gratuit ; l'écart de prix n'apparaît que sur les longues réponses et les longs documents.

Lequel utiliser

Utilisez Small 4 quand le format de sortie est fixé et l'entrée est courte : convertir du texte en JSON ou en tableau, extraire des champs que vous nommez explicitement, des calculs rapides sur des nombres que vous fournissez, des traductions courtes entre grandes langues européennes. Utilisez Large 4 quand vous allez agir sur la réponse sans la vérifier : revue juridique ou contractuelle, code que vous allez livrer, tout ce qui demande « chaque » élément dans un long document, casse-tête à contraintes, japonais ou autres langues où l'idiome compte, et l'écriture sous règles strictes.

Sur notre chat, le plan gratuit fait tourner vos 3 premières réponses sur Large 4 pour que vous voyiez la différence sur votre propre tâche, puis passe à Small 4 ; un pack de crédits ou Pro garde chaque réponse sur Large 4. La page des tarifs liste les deux.

Comment le reproduire

Les deux modèles sont appelés de la même façon ; seul le nom du modèle change. Voici la requête que nous avons utilisée, sans la clé API.

# MISTRAL_KEY holds your Mistral Studio API key (set it in your shell)
curl https://api.mistral.ai/v1/chat/completions \
  -H "Authorization: Bearer $MISTRAL_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-large-4",
    "messages": [{"role": "user", "content": "I am a freelance designer. List every risk in this clause for me, quoting the exact words that create each risk, and rewrite the clause so it is fair to both sides: ..."}],
    "reasoning_effort": "none",
    "temperature": 0.2,
    "max_tokens": 1500
  }'
# then the same call with "model": "mistral-small-2603"