AI Science Tracker
FR

Progrès des modèles · Chargement de la couverture des modèles…

Comparer modèles d’IA et benchmarks

Comparez des modèles précis, des estimations de capacité et des dates de publication enregistrées dans huit laboratoires.

Comparer des modèles précis

Choisissez un laboratoire et deux modèles. L’Epoch Capabilities Index (ECI) combine des scores de benchmarks sur une échelle de points commune ; ce n’est pas un pourcentage d’exactitude.

Capacité dans le temps

Un trait en pointillés montre seulement la comparaison choisie ; il n’implique pas une lignée de générations.

Voir les données du graphique
Que signifient les chiffres ?

Fiche ou publication ? Une fiche est un groupe de modèles importé ou un libellé du catalogue. Les alias peuvent se recouvrir. Les configurations d’évaluation sont regroupées et ne comptent pas comme de nouvelles générations.

ECI ou exactitude ? L’Epoch Capabilities Index combine de nombreux benchmarks sur une échelle de points arbitraire. Un gain de 5 points n’est pas « 5 % plus intelligent ». Un ECI absent ne signifie pas un modèle faible.

Quelle date ? Les dates de publication des benchmarks priment ; les dates de publication du catalogue comblent les lacunes. L’espacement des dates décrit ces sources, pas un calendrier complet des lancements.

Qu’est-ce qui a changé dans les benchmarks ?

Scores bruts de benchmarks sur une échelle commune de 0–100 %. Creux : référence. Plein : modèle de comparaison. Meilleure configuration observée par modèle ; les réglages peuvent différer.

Voir les scores exacts en tableau

Les variations sont des points de pourcentage. Les scores manquants sont absents de l’export de benchmark importé, ils ne valent pas zéro. La configuration d’évaluation gagnante est indiquée sous chaque score. Réglages et budgets d’inférence peuvent différer ; ces scores ne mesurent pas l’exactitude sur tout un domaine.

Modèles de la comparaison

Identité, dates, configurations d’évaluation et métadonnées disponibles rapportées par la source pour les deux modèles retenus.

SWE-bench Verified : résolution de problèmes logiciels

Résultats rapportés par la source sur 500 problèmes logiciels filtrés par des humains, avec mini-SWE-agent. Cette collection indépendante conserve les exécutions d’évaluation exactes ; elle n’est pas jointe aux noms de modèles Epoch ni incluse dans les comparaisons ECI.

La dernière version d’agent disponible est sélectionnée au départ. Les versions 1.x et 2.x ne sont pas nécessairement comparables ; à l’intérieur d’une version, les réglages de raisonnement et les budgets peuvent aussi différer. Le coût est la moyenne en USD par tâche rapportée par la source, pas le tarif actuel des API. Les dates concernent les évaluations, pas les publications de modèles. Ce sont des résultats rapportés, pas notre vérification indépendante.

Chargement de la couverture SWE-bench…

Source : SWE-bench Team, données officielles du classement, CC BY-NC 4.0 (réutilisation non commerciale seulement). Exécutions retenues de mini-SWE-agent ; champs renommés et triés ; scores inchangés. Télécharger le JSON attribué · Texte de la licence · Périmètre et maintenance.

Mesures supplémentaires : 11 sources d’éléments indépendantes

Explorez le raisonnement scientifique, les préférences humaines, les tâches d’agents, les horizons temporels METR, le code, la compréhension de graphiques, le long contexte et la robustesse à l’injection de prompts. Chaque collection conserve son échelle de score et ses conditions de réutilisation. Ces observations de source sont séparées de l’ECI et du catalogue des découvertes.

Ce sont des instantanés relus, pas des classements en direct. Plusieurs contiennent des résultats historiques ou préliminaires. Une tranche d’évaluation partagée restreint la vue ; elle ne garantit pas des budgets, prompts ou agents appariés. Les valeurs manquantes ne valent pas zéro. Les noms de source sont conservés sans jointures inférées avec les fiches Epoch.

Chargement d’éléments numériques indépendants…

Voir les observations détaillées · Chargement des décomptes…
Les 11 sources, sélections et licences

Réutilisez chaque composant sous sa licence déclarée, avec l’attribution de la source et les avis de modification. Les données adaptées de CharXiv sont en CC BY-SA 4.0 ; les autres composants restent CC BY 4.0, MIT ou Apache-2.0. Ces composants sont exclus de la licence générale du catalogue et de l’export Hugging Face. Aucun soutien des auteurs des sources n’est impliqué. Répertoire complet des sources, licences et maintenance · Répertoire des composants lisible par machine.

Explorer l’inventaire des modèles

Toutes les fiches sources sont disponibles, y compris les modèles sans ECI. Les réglages de raisonnement d’API sont regroupés sous le modèle source et ne comptent pas comme de nouvelles générations.

À quoi ressemble le rythme de publication enregistré ?

Une année qui se termine à la date d’import, 20 nov. 2026. Les dates combinent les dates de publication des benchmarks et les dates de publication du catalogue lorsqu’aucune date de sortie n’est disponible.

Dates de publication

Les modèles à la même date comptent comme un seul événement. Ce sont des dates enregistrées par les sources, pas un recensement des grandes générations.

Lire les deux signaux ensemble

Un intervalle plus court signifie des publications plus fréquentes. Un gain d’ECI plus grand signifie un changement plus grand de l’estimation composite des benchmarks. Ce sont des signaux différents ; aucun ne mesure la productivité scientifique d’un laboratoire.

Source : Epoch AI, CC BY 4.0. Export des benchmarks importé le 20 nov. 2026 et combiné au catalogue existant des modèles notables. L’ECI utilise une échelle de points arbitraire : les différences sont des points, pas des pourcentages. Les barres d’erreur montrent des intervalles de crédibilité à 90 % fournis par la source, lorsqu’ils existent ; nous n’estimons pas la confiance des différences deux à deux à partir de ces intervalles. Les groupes de modèles de la source et les libellés exacts du catalogue sont conservés ; des alias et des enregistrements de publication qui se recouvrent peuvent rester.