AI Science Tracker
IT

Progresso dei modelli · Caricamento della copertura dei modelli…

Confronta modelli di IA e benchmark

Confronta modelli precisi, stime di capacità e date di rilascio registrate in otto laboratori.

Confronta modelli precisi

Scegli un laboratorio e due modelli. L’Epoch Capabilities Index (ECI) combina i punteggi dei benchmark su una scala di punti comune; non è una percentuale di accuratezza.

Capacità nel tempo

Un connettore tratteggiato mostra solo il confronto scelto; non implica una discendenza di generazioni.

Vedi i dati del grafico
Che cosa significano i numeri?

Voce o rilascio? Una voce è un gruppo di modelli importato o un’etichetta del catalogo. Gli alias possono sovrapporsi. Le configurazioni di valutazione sono raggruppate e non contano come nuove generazioni.

ECI o accuratezza? L’Epoch Capabilities Index combina molti benchmark su una scala di punti arbitraria. Un guadagno di 5 punti non significa «più intelligente del 5%». Un ECI assente non significa un modello debole.

Quale data? Hanno priorità le date di rilascio dei benchmark; le date di pubblicazione del catalogo colmano i vuoti. La distanza tra le date descrive queste fonti, non un calendario completo dei lanci.

Che cosa è cambiato nei benchmark?

Punteggi grezzi dei benchmark su una scala comune 0–100%. Vuoto: baseline. Pieno: modello di confronto. Migliore configurazione osservata per modello; le impostazioni possono differire.

Vedi i punteggi esatti in tabella

Le variazioni sono punti percentuali. I punteggi mancanti sono assenti dall’esportazione del benchmark importata, non zero. La configurazione di valutazione vincente è mostrata sotto ogni punteggio. Impostazioni e budget di inferenza possono differire; questi punteggi non misurano l’accuratezza su un intero dominio.

Modelli del confronto

Identità, date, configurazioni di valutazione e metadati disponibili riportati dalla fonte per i due modelli selezionati.

SWE-bench Verified: risoluzione di problemi software

Risultati riportati dalla fonte su 500 problemi software filtrati da persone, con mini-SWE-agent. Questa raccolta indipendente conserva le esecuzioni di valutazione esatte; non è unita ai nomi dei modelli Epoch né inclusa nei confronti ECI.

All’inizio è selezionata l’ultima versione disponibile dell’agente. Le versioni 1.x e 2.x non sono necessariamente confrontabili; anche dentro una versione impostazioni di ragionamento e budget possono differire. Il costo è la media in USD per compito riportata dalla fonte, non il prezzo attuale delle API. Le date si riferiscono alle valutazioni, non ai rilasci dei modelli. Sono risultati riportati, non una nostra verifica indipendente.

Caricamento della copertura SWE-bench…

Fonte: SWE-bench Team, dati ufficiali della classifica, CC BY-NC 4.0 (solo riuso non commerciale). Esecuzioni selezionate di mini-SWE-agent; campi rinominati e ordinati; punteggi invariati. Scarica il JSON attribuito · Testo della licenza · Ambito e manutenzione.

Metriche aggiuntive: 11 fonti di evidenza indipendenti

Esplora il ragionamento scientifico, le preferenze umane, i compiti degli agenti, gli orizzonti temporali METR, la programmazione, la comprensione di grafici, il contesto lungo e la robustezza all’iniezione di prompt. Ogni raccolta conserva la propria scala di punteggio e le proprie condizioni di riuso. Queste osservazioni di fonte sono separate dall’ECI e dal catalogo delle scoperte.

Sono istantanee riviste, non classifiche vive. Diverse contengono risultati storici o preliminari. Una fetta di valutazione condivisa restringe la vista; non garantisce budget, prompt o agenti allineati. I valori mancanti non sono zero. I nomi delle fonti sono conservati senza unioni dedotte con le voci Epoch.

Caricamento di evidenza numerica indipendente…

Vedi le osservazioni dettagliate · Caricamento dei conteggi…
Tutte le 11 fonti, selezioni e licenze

Riusa ogni componente sotto la licenza dichiarata, con l’attribuzione della fonte e gli avvisi di modifica. I dati adattati di CharXiv sono CC BY-SA 4.0; gli altri componenti restano CC BY 4.0, MIT o Apache-2.0. Questi componenti sono esclusi dalla licenza generale del catalogo e dall’esportazione Hugging Face. Non si implica alcun avallo degli autori delle fonti. Directory completa di fonti, licenze e manutenzione · Directory dei componenti leggibile da una macchina.

Esplora l’inventario dei modelli

Sono disponibili tutte le voci della fonte, compresi i modelli senza ECI. Le impostazioni di ragionamento via API sono raggruppate sotto il modello di origine e non contano come nuove generazioni.

Come appare il ritmo dei rilasci registrato?

Un anno che termina alla data di importazione, 20 nov 2026. Le date combinano le date di rilascio dei benchmark e le date di pubblicazione del catalogo quando non c’è una data di rilascio.

Date di pubblicazione

I modelli con la stessa data contano come un solo evento. Sono date registrate dalle fonti, non un censimento delle generazioni principali.

Leggere insieme i due segnali

Un intervallo più breve significa pubblicazioni più frequenti. Un guadagno di ECI più grande significa un cambiamento più grande nella stima composita dei benchmark. Sono segnali diversi; nessuno misura la produttività scientifica di un laboratorio.

Fonte: Epoch AI, CC BY 4.0. Esportazione dei benchmark importata il 20 nov 2026 e combinata con il catalogo esistente dei modelli notevoli. L’ECI usa una scala di punti arbitraria: le differenze sono punti, non percentuali. Le barre di errore mostrano intervalli credibili al 90% forniti dalla fonte, quando ci sono; non stimiamo la confidenza delle differenze a coppie da quegli intervalli. I gruppi di modelli della fonte e le etichette esatte del catalogo sono conservati; possono restare alias e record di rilascio sovrapposti.