Un assistant de réservation ressort l'adresse de livraison d'il y a huit mois, celle d'avant le déménagement. Un autre, mal cloisonné, glisse la préférence d'un client dans la conversation d'un deuxième. Ni l'un ni l'autre ne figure dans un benchmark. Et pourtant, c'est de cela que dépend un produit qui prétend « se souvenir ».
Toute l'année, la course s'est jouée sur la taille du contexte : un million de tokens (les unités de texte que lit un modèle) par-ci, dix millions par-là. Une fenêtre de contexte n'est pourtant pas de la mémoire. Un modèle qui « voit » tout dans une session ne se souvient de rien à la suivante. Pour qu'un agent retrouve quelque chose demain, quelqu'un doit avoir décidé de le stocker, de le résumer, puis de le rappeler au bon moment. C'est cette persistance qui devient, en 2026, le vrai chantier d'un produit web.
Même produit, 92,5 % ou 66,9 %
Le sujet a quitté le terrain des intuitions pour celui de la mesure. En juillet 2025, l'équipe de l'université HUST a publié MemoryAgentBench (arXiv 2507.05257, retenu à ICLR 2026), qui découpe la mémoire d'agent en quatre compétences : récupération exacte, apprentissage pendant la conversation, compréhension de textes longs et oubli sélectif. Les auteurs constatent qu'aucun benchmark existant ne couvre les quatre.
Les éditeurs, eux, publient leurs propres scores. Mem0 annonce 92,5 % sur LoCoMo et 94,4 % sur LongMemEval, pour environ 6 900 tokens par requête (mise à jour du 10 octobre 2026). Or un comparatif compilé le 23 mai 2026 place le même Mem0 à 66,9 % sur LoCoMo, et la mémoire d'OpenAI à 52,9 %. D'autres relevés donnent 95,4 % à OMEGA ou 71,2 % à Zep/Graphiti sur LongMemEval.
Cet écart de 25 points ne s'explique pas par un mystère : le protocole change, comme le découpage des conversations, le jeu de questions retenu et le modèle qui juge les réponses. Retenons le plus important : ces scores sont auto-déclarés, publiés par ceux qui vendent la mémoire. Ils disent qu'un système sait retrouver un fait dans de bonnes conditions, rien de plus. Tant qu'un tiers n'a pas rejoué le test avec le même protocole pour tous, ces pourcentages relèvent de l'argument commercial.
LongMemEval repose sur une quarantaine de conversations multi-tours : un jeu restreint. LoCoMo et BEAM élargissent le terrain, mais aucun ne mesure ce qui casse en production. Quand deux souvenirs se contredisent, lequel l'emporte ? Un contenu piégé glissé dans la mémoire par injection de prompt (une consigne cachée dans un message ou un document) peut-il dicter la conduite de l'agent des semaines plus tard ? Les données d'un client restent-elles isolées de celles d'un autre ? Combien coûte un rappel quand on a dix mille utilisateurs ?
Le mot que personne ne veut prononcer : oublier
Une mémoire d'agent ressemble moins à un disque dur qu'à une base de données qu'il faut administrer. Un papier de Shanghai Jiao Tong, Tsinghua et MemTensor (arXiv 2606.24775, juin 2026) la décompose en quatre modules : stockage, extraction, récupération (savoir quel souvenir remonter, et d'où) et maintenance. Il passe en revue 12 systèmes. Sa critique : les évaluations ne notent que la réponse finale (scores F1, BLEU) et ignorent ce qui se passe à l'intérieur, donc les coûts d'exploitation et le comportement quand une information change.
Sur l'oubli, c'est le vide : aucun standard. Effacer un souvenir, est-ce le supprimer, le marquer comme périmé ou le laisser s'estomper ? L'article 17 du RGPD (droit à l'effacement) ne tranche pas pour les mémoires d'agents. Beaucoup d'équipes ne savent même pas lister ce qu'elles stockent, dans quels embeddings (représentations numériques du texte) et quels journaux.
Ce que ça change pour qui conçoit un site ou une appli
Pour un studio ou un indépendant, on ne choisit plus seulement un modèle : on dessine une persistance. Quoi garder tel quel, quoi résumer, quoi jeter, et quand déclarer un souvenir faux ? Ces décisions se prennent dans le schéma de données, les règles de rétention et l'interface (que voit l'utilisateur de ce que l'agent sait de lui ?). Un prompt n'y suffit pas.
Microsoft a ouvert une autre piste avec STATE-Bench (19 mai 2026) : 450 tâches réparties sur trois domaines (support client, voyage, achat), qui testent si l'agent s'améliore avec l'expérience plutôt que s'il rappelle un détail. Un agent qui se souvient d'un client mais rate la procédure de remboursement n'a rien gagné. Reste à voir si cette approche s'imposera, mais elle mesure au moins quelque chose d'utile.
Le vocabulaire de recherche est instable, et les plateformes qui vendent de la mémoire ont intérêt à ce que le débat se joue sur leurs chiffres. Prudence donc avec tout fournisseur qui affiche un seul pourcentage : on lui demandera le protocole, le jeu de test et ce qu'il fait des données d'un client qui part.
Lundi matin, avant de comparer des scores, un studio a un travail plus simple : écrire sur une page ce que l'agent a le droit de retenir, pendant combien de temps, pour qui, et comment un utilisateur l'efface. Le choix du fournisseur pourra changer, ce document restera. La vraie question n'est pas « quel modèle se souvient le mieux », mais « que doit oublier votre produit, et qui en décide ». C'est moins vendeur, et c'est ce qu'il faudra écrire noir sur blanc dans les conditions d'utilisation.