Le 3 septembre, OpenAI indiquait que GPT-6 Astra atteignait 62,7 % sur la partie semi-privée d’ARC-AGI-3. Il a ensuite annoncé 99,9 % avec un autre harnais, sans changer de modèle. Entre-temps, le concours ARC Prize a publié, le 30 septembre, les lauréats de son deuxième palier : le meilleur score open source y est de 27,9 %, contre 1,21 % en juin. Ce deuxième chiffre fait plus de bruit, mais c’est le premier écart qui oblige à relire tous les classements.
Des jeux sans notice, faits pour résister au par cœur
ARC-AGI-3 est la troisième génération des tests conçus par François Chollet, créateur de la bibliothèque Keras, pour mesurer l’écart entre les IA actuelles et une intelligence artificielle générale. Lancé le 25 mars 2026, il abandonne les grilles statiques pour 135 environnements à tours. Un écran, quelques actions possibles, aucune consigne : l’agent essaie, regarde ce qui change, formule une hypothèse sur la règle, la vérifie, puis doit deviner le but qu’on ne lui a jamais donné.
Chaque environnement doit être soluble par un humain sans entraînement. La fondation l’a vérifié auprès de 458 participants, la plus large campagne humaine de la série : 100 % des environnements ont été passés.
En open source, de 1,21 % à 27,9 % entre deux paliers
Au palier de juin, les trois premiers restaient sous 1,3 %, en tête « The Duck » (Tufa Labs) avec 1,21 %. Au palier de septembre, Daniel Franzen monte à 27,9 %, devant Lord Han Solo (23,8 %) et Lohit Siriki (22,5 %). Le meilleur score a donc été multiplié par 23 environ, et tous les lauréats ont publié leur code : ces résultats-là sont vérifiables.
Ils restent loin des modèles fermés, dont les chiffres viennent des labos eux-mêmes. Selon OpenAI, GPT-6 Astra obtient 62,7 % sur la partie semi-privée, GPT-6.1 Sol 52,7 %. Claude Opus 5 est à 30,2 %, Gemini 3.8 Flash à 10,4 %, GPT-5.6 Sol à 7,8 %.
Même modèle, 37 points d’écart
Le harnais est tout ce qui entoure le modèle : ce qu’il voit de l’écran à chaque tour, ce qu’il retient des tours précédents, le moment où il explore plutôt que d’agir. Entre 62,7 % et 99,9 %, seul ce réglage change. Le coût des deux runs, 26 000 $ et 19 000 $, est du même ordre : le gain ne vient donc pas d’un budget de calcul multiplié, mais de la façon dont le modèle est piloté.
Ce que cet écart invalide est précis : on ne peut plus comparer deux modèles à partir de deux annonces. Le 62,7 % d’Astra face aux 30,2 % de Claude Opus 5 ne dit rien si chaque score sort d’un harnais différent, réglé par son propre labo. La fondation publie d’ailleurs les mesures séparément. Deux questions restent sans réponse publique : qui a écrit le harnais à 99,9 %, et sur quel jeu de tests ce score a été mesuré. Sans cela, le chiffre n’est pas comparable à celui des lauréats open source.
Le précédent existe. En juillet, OpenAI avait déjà triplé le score de GPT-5.6 sur ARC-AGI-3 sans toucher au modèle, uniquement en retravaillant le harnais. Quand un même laboratoire gagne un facteur trois puis 37 points par le seul réglage du harnais, un « bond d’intelligence » annoncé peut d’abord être un bond d’ingénierie.
Un jeu résolu n’est pas un outil utilisable
Réussir des jeux à règles cachées ne revient ni à tenir un métier, ni à livrer un site. À 26 000 $ le run d’évaluation, on est de toute façon loin d’un budget d’usage courant. Pour qui choisit un assistant pour son site ou sa méthode de travail, le test utile consiste à comparer les outils sur sa propre tâche, avec le même cadre de départ : mêmes consignes, mêmes documents, mêmes critères.
François Chollet a par ailleurs demandé, le 12 septembre, que les appels des laboratoires à ralentir la recherche en IA relèvent d’une vraie préoccupation de sécurité, et non d’une manœuvre pour verrouiller le marché. Le propos ne porte pas sur les scores, mais le même problème s’y lit : ces laboratoires publient les chiffres et choisissent aussi le harnais qui les produit.
Prochaine échéance : le 8 novembre
Le concours reste ouvert : dépôts jusqu’au 8 novembre, résultats en décembre, grand prix de 700 000 $ pour la première solution à 100 %. Les participants publient leur code, ce qui permettra de comparer des harnais réellement consultables, pas seulement des pourcentages.