Retour aux carnets
Toolbox IA · Carnet de recherche

Que faut-il mettre dans le contexte d'un agent IA ?

C'est notre conviction : ce qu'on retire du contexte d'un agent compte autant que ce qu'on y met, parce que plus la fenêtre est chargée, moins le modèle retrouve l'information utile. Ce carnet rassemble ce qui est mesuré (la dégradation du contexte, l'effet réel des fichiers AGENTS.md, le coût des méthodes spec-driven), les pannes les plus courantes, et ce qui reste à mesurer.

Publié le 10 juillet 2026 · mis à jour le 16 octobre 2026
L'essentiel

Ce qu'il faut retenir

01

Plus on charge la fenêtre, moins le modèle retrouve l'information

Anthropic le pose dans son guide de septembre 2025, et Chroma le mesure sur 18 modèles : un seul passage trompeur fait déjà baisser les scores, et l'écart se creuse à mesure que le texte s'allonge.

02

Le fonctionnement qui s'impose : peu d'office, le reste à la demande

Des fichiers de contexte courts chargés au démarrage, puis la recherche du reste par l'agent lui-même. Anthropic le décrit pour Claude Code ; Cursor y ajoute la recherche sémantique, qui donne selon ses mesures les meilleurs résultats combinée à la recherche par mots.

03

AGENTS.md est devenu un standard

Publié par OpenAI en août 2025, revendiqué par plus de 60 000 projets open source, confié à une fondation de la Linux Foundation en décembre 2025. Il sépare la documentation pour les humains de celle pour les agents.

04

Ces fichiers aident quand ils apportent ce que le modèle ignore

La seule étude académique qui mesure la réussite des tâches, celle de l'ETH Zurich, ne trouve aucun gain significatif et un coût d'inférence en hausse de plus de 20 %. Vercel, sur ses propres tests, réussit toutes ses tâches quand le fichier indexe une documentation récente que le modèle ne connaît pas.

05

Les méthodes spec-driven coûtent surtout en relecture

Chez Scott Logic, une même fonctionnalité s'est faite environ dix fois plus vite en prompting itératif qu'avec Spec Kit, sans gain de qualité constaté. Un comparatif noté par son auteur ne juge aucun des trois outils testés prêt pour une grande entreprise sans adaptation.

06

Une panne banale : des contenus qui se contredisent

HubSpot a vu les assistants mêler cinq sortes de contenus, dont deux versions de son API, et donner des conseils contradictoires. Dans une étude médicale, des documents contradictoires font baisser jusqu'à 20 % le score des réponses.

07

Trier ses documents avant de construire un RAG

Un RAG sans cas d'usage précis ni évaluation échoue sans bruit. Nous recommandons de dater, trier et purger les documents de référence avant d'indexer quoi que ce soit, puis de mesurer sur vos propres tâches.

01 / 08

Qu'est-ce que le context engineering ?

C'est le choix, à chaque tour, de ce qu'un agent IA a sous les yeux : instructions, documents, historique, résultats d'outils. L'enjeu est contre-intuitif : plus on charge la fenêtre de contexte, moins le modèle retrouve l'information utile. Réduire le contexte est d'abord une question de fiabilité, avant d'être une question de coût.

Un arbitrage à chaque tour

Anthropic le définit dans son guide du 29 septembre 2025 par contraste avec l'écriture d'un prompt, qui est une tâche ponctuelle : le context engineering est itératif, et le tri se refait chaque fois qu'on décide de ce qu'on passe au modèle. Avec un agent qui enchaîne les tours, ce tri devient permanent.

Le guide pose le constat de départ : quand le nombre de tokens dans la fenêtre augmente, la capacité du modèle à rappeler précisément l'information diminue. Anthropic reprend le nom donné au phénomène, le context rot, la dégradation du contexte.

Plus on charge, moins ça marche

Chroma l'a mesuré en juillet 2025 sur 18 modèles, dont GPT-4.1, Claude 4, Gemini 2.5 et Qwen3, sur des tâches volontairement simples. Un seul passage proche de la réponse mais faux, un distracteur, fait déjà baisser les scores ; quatre aggravent la baisse, et l'écart se creuse à mesure que le texte s'allonge.

0,92 contre 0,38score de Claude Opus 4 aux mêmes questions de mémoire, avec environ 300 tokens utiles, puis avec ces passages noyés dans 113 000 tokens surtout hors sujet (Chroma, banc d'essai LongMemEval).

Chroma précise que l'écart des modèles Claude vient surtout de leurs abstentions : face à l'ambiguïté, ils préfèrent ne pas répondre. Le rapport porte sur des tâches contrôlées, et la dégradation varie d'un modèle à l'autre ; le travail d'un agent en entreprise reste à mesurer. Chroma édite par ailleurs une base de données vectorielle.

Le phénomène était connu avant les agents. L'article « Lost in the Middle » (Liu et al., publié en 2024 dans la revue TACL) montrait qu'avec 20 documents, GPT-3.5-Turbo passait de 75,8 % de bonnes réponses quand l'information utile était en tête à 53,8 % quand elle était au milieu, moins bien que sans aucun document (56,1 %). Le modèle date de 2023.

Une question de fiabilité avant d'être une question de coût

Pour nous, la conséquence est directe pour qui outille des agents : un parcours documentaire de plusieurs centaines de milliers de tokens est plus bruité que riche. Le ramener à quelques dizaines de milliers de tokens sert d'abord à ce que l'agent retrouve la bonne information. Le gain sur la facture vient en plus, puisque le contexte chargé se paie à chaque appel au modèle.

Trois niveaux à séparer

Trois sujets se mélangent souvent dans les discussions. Ce carnet les traite dans cet ordre, du plus outillé au moins mûr :

  • Les fichiers de contexte d'un dépôt de code : AGENTS.md, CLAUDE.md et leurs équivalents.
  • Les méthodes spec-driven, qui produisent des spécifications en markdown versionnées avec le code.
  • La gouvernance documentaire de l'entreprise : documents de référence, classement, RAG.

C'est le pendant de notre carnet sur le loop engineering : là, on parlait de la boucle de l'agent ; ici, de ce qu'on met dedans.

Schéma du context rot : une fenêtre de contexte qui se remplit de documents, et une courbe de score qui descend à mesure que les tokens s'accumulent, de 0,92 avec 300 tokens utiles à 0,38 avec 113 000 tokens surtout hors sujet (Claude Opus 4, LongMemEval, Chroma) ; la zone du milieu de contexte est signalée, avec la mesure de Lost in the Middle sur GPT-3.5 : 75,8 % de bonnes réponses quand l'information est en tête, 53,8 % quand elle est au milieu
Diagramme en barres de Chroma Research : score moyen sur le banc d'essai LongMemEval pour sept modèles Claude, en contexte focalisé (barres rouges, environ 300 tokens) contre contexte complet (barres bleues, environ 113 000 tokens). Claude Opus 4 passe de 0,92 à 0,38, Claude Sonnet 4 de 0,89 à 0,38, Claude Sonnet 3.7 de 0,87 à 0,45 ; avec le raisonnement activé, Opus 4 passe de 0,95 à 0,72
Les mêmes questions, posées avec seulement les passages utiles (environ 300 tokens) ou avec ces passages noyés dans 113 000 tokens surtout hors sujet. Sur Claude Opus 4, le score tombe de 0,92 à 0,38 ; avec le raisonnement activé, l'écart se réduit (0,95 contre 0,72). Figure : Chroma Research
02 / 08

Comment alimenter un agent en documentation ?

En deux temps : des fichiers de contexte courts chargés d'office au démarrage, puis la recherche du reste par l'agent lui-même, au moment où il en a besoin. Anthropic décrit ce fonctionnement pour Claude Code. Cursor y ajoute la recherche sémantique, et l'arbitrage entre les deux approches n'est pas tranché.

Peu d'office, le reste à la demande

Le guide d'Anthropic décrit le fonctionnement de Claude Code : les fichiers CLAUDE.md sont déposés tels quels dans le contexte dès le départ, pendant que des commandes comme glob et grep permettent à l'agent de parcourir son environnement et de récupérer les fichiers au moment où il en a besoin. Anthropic qualifie ce modèle d'hybride : une partie des données chargée en amont pour aller vite, le reste exploré par l'agent.

Le bon dosage dépend de la tâche, précise le guide. Pour nous, on charge au départ ce que l'agent ne devinerait pas (les commandes, les conventions non standard) ; le reste attend qu'il le cherche.

Recherche sémantique ou recherche par mots ?

L'autre voie consiste à indexer le corpus pour une recherche sémantique, par embeddings. Cursor l'a mesurée en novembre 2025 sur son propre banc d'essai : 12,5 % de bonnes réponses en plus en moyenne quand son agent dispose de la recherche sémantique. Son agent se sert aussi beaucoup de grep, et Cursor conclut que la combinaison des deux donne les meilleurs résultats.

Dans l'autre sens, l'équipe de Claude Code a raconté en mai 2025, dans le podcast Latent Space, avoir utilisé un index vectoriel dans ses toutes premières versions, puis l'avoir abandonné pour la recherche par l'agent, qui marchait nettement mieux, sur une impression interne plus que sur une mesure publiée.

Zenika a échoué en février 2025 à consolider plusieurs documents avec un RAG classique, sur un petit corpus et des modèles locaux : le modèle ne reçoit que des morceaux de chaque document et ne voit jamais leur ensemble. Pour nous, l'arbitrage se tranche sur un pilote mesuré, avec vos documents et vos tâches.

Le contexte devient un sujet d'architecture

En France, OCTO a présenté à la Duck Conf 2026 la documentation comme le contexte de l'IA et l'architecte comme « Context Engineer du SI », avec trois niveaux de maturité (l'assistant de chat, les skills en markdown, les serveurs MCP) et un monorepo qui partage ce contexte à sa racine. Sur un projet de modernisation présenté à la même conférence, l'équipe dit passer environ 70 % de son temps à planifier et à spécifier.

Francis Eytan Dortort pousse la même logique dans le choix entre un dépôt unique et plusieurs dépôts : selon lui, avec des agents de code, la bande passante de contexte est devenue la contrainte déterminante. C'est une opinion argumentée, sans mesure.

Schéma du fonctionnement hybride : à gauche un bloc chargé d'office, court et écrit à la main (AGENTS.md, conventions, commandes, index d'une documentation récente), à droite la récupération à la demande par glob, grep, chemins de fichiers et liens entre documents, et en dessous la voie de l'index vectoriel par embeddings, avec la mention : arbitrage non tranché, Cursor combine les deux avec grep
03 / 08

Un fichier AGENTS.md aide-t-il vraiment un agent ?

Cela dépend de ce qu'il contient. La seule étude académique qui mesure la réussite, celle de l'ETH Zurich, ne trouve aucun gain significatif, mais un coût d'inférence accru de plus de 20 %. Vercel, sur ses propres tests, passe de 53 % à 100 % de réussite quand le fichier indexe une documentation que le modèle ne connaît pas.

Un format devenu standard

AGENTS.md est un fichier en markdown placé à la racine d'un dépôt de code, que les agents lisent avant de travailler. Publié par OpenAI en août 2025, il est revendiqué par plus de 60 000 projets open source, c'est-à-dire des dépôts qui contiennent le fichier, quel que soit l'usage qu'ils en font. Son site le dit compatible avec 23 agents et outils, dont Codex, Cursor, GitHub Copilot, Devin, Windsurf, Zed, VS Code et Junie. Claude Code lit son propre fichier, CLAUDE.md.

OpenAI l'a confié en décembre 2025 à l'Agentic AI Foundation, créée sous l'égide de la Linux Foundation avec MCP d'Anthropic et goose de Block. Sa position la plus utile est la séparation des publics : le README pour les humains, AGENTS.md pour le contexte dont les agents ont besoin (étapes de build, tests, conventions).

Ce que ces fichiers contiennent

L'étude « Agent READMEs » a recensé 2 303 fichiers de contexte dans 1 925 dépôts GitHub, puis en a annoté 332 à la main. Dans sa version d'août 2026, ces fichiers parlent surtout :

  • de tests (75,9 % des fichiers annotés) ;
  • de détails d'implémentation (70,8 %) ;
  • d'architecture (68,1 %) ;
  • de commandes de build et d'exécution (63,0 %).
14,8 %des fichiers de contexte annotés dans l'étude « Agent READMEs » donnent des consignes de sécurité, et 14,5 % des consignes de performance.

Autrement dit, à peine un fichier sur sept donne des garde-fous pour que l'agent produise du code sûr ou rapide. Ces fichiers vivent : 67,0 % des CLAUDE.md sont modifiés sur plusieurs commits, avec environ un jour entre deux mises à jour en médiane (environ trois jours pour ceux de GitHub Copilot). Les traiter comme une documentation figée, c'est passer à côté de leur usage.

Ce qu'ils changent vraiment

L'étude de l'ETH Zurich est la mesure la plus solide : des agents de code sur 300 tâches de SWE-bench Lite et 138 tâches tirées de dépôts réels. Fournir un fichier de contexte n'améliore pas, en général, le taux de réussite, et augmente le coût d'inférence de plus de 20 % en moyenne. Les vues d'ensemble du dépôt, pourtant recommandées par les fournisseurs de modèles, n'aident pas.

Le détail compte. Dans la dernière version de l'étude (septembre 2026), les fichiers écrits par des développeurs améliorent la réussite de 2,4 %, ceux générés par un LLM la réduisent de 0,5 à 2 %, et aucun de ces écarts n'est significatif. Le surcoût atteint au plus 19 % pour les fichiers écrits à la main. Les auteurs leur gardent un usage : préciser les pratiques non standard du projet. La première version, de février 2026, donnait environ 4 % de gain pour ces fichiers.

Vercel a publié en janvier 2026 un résultat inverse, sur ses propres tests : des tâches qui utilisent des fonctions de Next.js 16 absentes des données d'entraînement des modèles. Sans aide, 53 % de réussite ; avec un AGENTS.md qui indexe en 8 Ko la documentation de Next.js, 100 %. Vercel édite Next.js, et l'article ne donne ni le nombre de tâches ni le modèle utilisé.

Pour nous, les deux résultats se lisent ensemble : le fichier aide quand il apporte ce que le modèle ignore (une documentation récente, des conventions maison) ; une vue d'ensemble de ce que le dépôt montre déjà n'aide pas.

Une étude plus petite mesure autre chose : le temps et les tokens. Sur 10 dépôts et 124 petites pull requests confiées à Codex, la présence d'un AGENTS.md va avec un temps d'exécution médian plus court de 28,64 % et 16,58 % de tokens de sortie en moins. Les tokens d'entrée ne baissent pas, et l'étude n'évalue pas la qualité du résultat.

LogRocket a raconté un cas en mars 2026, une même fonctionnalité développée trois fois avec Claude Sonnet 4.5 :

  • sans contexte ajouté, 2,48 millions de tokens et 81 appels ;
  • avec un AGENTS.md, 1,18 million et 42 appels, soit 53 % de tokens en moins ;
  • avec un AGENTS.md et un skill, plus de 6 millions.

Une seule tâche et un seul essai : à lire comme un ordre de grandeur.

Court, écrit à la main, spécifique

Pour nous, un AGENTS.md sert donc à transmettre à l'agent ce qu'il ne devinerait pas : commandes, conventions, documentation récente. Les conseils de format vont dans ce sens. Un guide publié sur Red Hat Developer en juillet 2026 recommande moins de 150 lignes, et 30 à 50 pour un petit dépôt, sans mesure à l'appui.

Le Journal du Net conseille d'éviter les consignes génériques et d'y écrire plutôt :

  • les commandes du projet ;
  • les conventions de nommage ;
  • les exigences de sécurité internes ;
  • les choix d'architecture qui s'écartent des pratiques courantes.
Schéma en deux colonnes des effets mesurés d'un fichier AGENTS.md : à gauche, ses apports, de 53 % à 100 % de réussite chez Vercel quand il indexe une documentation récente, puis 28,64 % de temps d'exécution médian et 16,58 % de tokens de sortie en moins (Codex, 124 pull requests) et 53 % de tokens en moins sur une seule tâche (LogRocket) ; à droite, ses limites : aucun gain de réussite significatif (ETH Zurich), 20 % de coût d'inférence en plus en moyenne, des vues d'ensemble du dépôt qui n'aident pas, des fichiers générés par un LLM sans effet et plus chers ; en bas, la règle de format : court, écrit à la main, spécifique, moins de 150 lignes selon un guide de Red Hat Developer
04 / 08

Les méthodes spec-driven sont-elles prêtes pour l'entreprise ?

Pas telles quelles. Un comparatif de trois outils, noté par son auteur, n'en juge aucun prêt pour une grande entreprise sans adaptation. Leur coût caché est la relecture : chez Scott Logic, une même fonctionnalité s'est faite dix fois plus vite en prompting itératif. Ce qui se transpose, ce sont les spécifications versionnées avec le code.

Un comparatif noté par son auteur

Itzhak Eretz Kdosha, ingénieur chez Palo Alto Networks, a testé en février 2026 trois outils sur une même fonctionnalité ajoutée à un service Python existant, avec Cursor et Claude Sonnet 4.5. Il les a notés sur 13 critères, de la qualité de la spécification à la santé du projet, en prévenant que ses notes sont très personnelles :

  • OpenSpec : 4,00 sur 5, 3 heures de planification et un jour de mise en œuvre, 95 dollars ;
  • BMAD : 3,74 en version rapide ; 3,65 en version complète, pour deux jours de planification, quatre de mise en œuvre et 200 dollars ;
  • Spec Kit : 2,77, 4 heures de planification et un jour de mise en œuvre, 75 dollars.

Son verdict : aucun de ces outils n'est prêt pour une adoption en grande entreprise sans modification, du moins au moment du test. Les trois ont beaucoup évolué depuis, et Kiro, l'environnement de développement spec-driven d'AWS, ne faisait pas partie de l'essai.

Le coût caché de la relecture

Colin Eberhardt, directeur technique de Scott Logic, a développé en novembre 2025 une même fonctionnalité de son application personnelle de deux façons. Avec Spec Kit, le premier incrément a produit 689 lignes de code et 2 577 lignes de markdown, pour 33 minutes de travail de l'agent et 3 h 30 de relecture. En prompting itératif, toute la fonctionnalité a demandé 8 minutes d'agent, 15 minutes de revue de code et 9 minutes de tests.

10 foisplus rapide sans méthode spec-driven, selon Colin Eberhardt (Scott Logic), qui n'a vu aucun bénéfice de qualité justifiant le surcoût, sur un cas unique.

C'est un développeur seul sur une application personnelle, qui doute lui-même d'être le public visé. Pour nous, le critère vaut pour toute pratique documentaire : le temps passé à relire du markdown généré se compare à la valeur produite avant d'adopter une méthode.

Une technique abandonnée par son créateur

L'histoire du sharding de BMAD vaut au-delà de BMAD. Cette technique découpait les gros documents (spécification produit, architecture) en fichiers par titre de niveau 2, avec un index en table des matières ; la méthode s'en servait déjà en version 4. Début 2026, la documentation l'a marquée « Deprecated » : plus recommandée, et bientôt inutile, puisque la plupart des modèles et des outils savent lancer des sous-processus.

L'outil a été retiré du projet à l'été 2026, avec la version 6.11 publiée en août, sans remplacement. Un utilisateur avait signalé dès novembre 2025 que le découpage n'économisait aucun contexte tant que le document entier restait en place ; l'équipe a corrigé. Pour nous, la leçon vaut pour toute équipe tentée par un standard documentaire maison : ne pas bâtir sur une technique que son créateur abandonne en quelques mois.

Ce qui se transpose

Ce qui reste utile dans ces méthodes, ce sont les spécifications en markdown versionnées avec le code : elles remplacent un contexte de conversation volatil et donnent à l'agent un point d'appui stable d'une session à l'autre. Ippon le montre en français, sur Kiro : la spécification devient la source de vérité du projet, versionnée avec le code et consultée chaque jour.

Deux contreparties sont à connaître :

« Si votre organisation ne sait pas bien faire de conception pilotée par le domaine, elle ne pourra pas non plus tirer profit de la couche de spécification de BMAD. »
Daniel Westheide, INNOQ, mars 2026 (traduit de l'anglais)

L'outil rend les manques de connaissance visibles tôt, ajoute-t-il, sans pouvoir les combler : le changement d'organisation vient d'abord, les outils ensuite.

Chronogramme Scott Logic d'une fonctionnalité développée avec Spec Kit, titré environ 5 h 30 jusqu'à la fin : quatre phases (Specify, Plan, Tasks, Implement), avec côté humain 15 minutes, 2 heures et 15 minutes de relecture de markdown puis une heure de revue de code, et côté agent 6, 8, 2 et 13 minutes de travail
Le coût caché du spec-driven, phase par phase, sur le premier incrément : 2 h 30 de relecture de markdown et une heure de revue de code côté humain, une demi-heure de travail côté agent. Scott Logic compte environ 5 h 30 jusqu'à la fin de la fonctionnalité. Figure : Scott Logic
Chronogramme Scott Logic de la même fonctionnalité en prompting itératif, titré environ 30 minutes jusqu'à la fin : trois itérations (opérations de base, intégration aux sessions, géolocalisation), l'humain et l'agent travaillant en parallèle, avec 1 à 3 minutes d'agent et 2 à 10 minutes de revue ou de test par étape
La même fonctionnalité en prompting itératif : environ 30 minutes, l'humain relisant une itération pendant que l'agent construit la suivante. Environ dix fois plus rapide selon l'auteur, qui n'a vu aucun gain de qualité du côté spec-driven. Figure : Scott Logic
05 / 08

Qu'est-ce qui met un agent en échec malgré la documentation ?

Deux pannes reviennent. La surcharge : trop de contenus mélangés, dont des versions qui se contredisent, et l'agent donne des conseils contradictoires. La dérive : le code change, la documentation reste figée, et des agents qui modifient vite le code l'aggravent. Les parades passent par des contraintes plus que par des outils.

Trop de contenus, et qui se contredisent

HubSpot a raconté en octobre 2025 ce qu'il a appris en migrant sa documentation pour développeurs vers Mintlify. Selon HubSpot, le problème venait de la surcharge plus que de contenus périmés : les modèles mélangeaient la documentation de l'ancienne API V1, celle de la V3, des exemples et des tutoriels, et en tiraient des conseils contradictoires. Sa parade : un serveur MCP qui repère l'ancienne version et ne sert que l'actuelle.

jusqu'à - 20 %sur le score des réponses quand les documents fournis se contredisent, selon le modèle (de 4 à 20 % pour cinq modèles), dans une étude sur des questions de médicaments (Javadi et al., préprint).

Cette étude de Deakin University et de RMIT annonce une baisse moyenne de 18,2 %, un chiffre que son propre tableau ne retrouve pas (environ 12 %). Elle mesure seulement la proximité des réponses avec une réponse de référence, et porte sur des documents médicaux. Pour nous, le scénario est pourtant le plus banal en entreprise : une politique périmée à côté de la version en vigueur, un système en fin de vie documenté au même niveau que son remplaçant.

Pour nous, la parade commence par des documents de référence datés (des golden sources) : prioriser la version en vigueur et purger l'obsolète avant d'indexer quoi que ce soit.

La documentation qui dérive

La seconde panne est la dérive de la documentation (doc drift). Fiberplane a publié en mars 2026 un outil, Drift, qui ancre les spécifications en markdown au code source et signale en intégration continue quand le code ancré a changé. L'auteur part d'un constat : les agents changent beaucoup de code et voient mal ce que leurs changements affectent ailleurs. Sa conclusion : « la vraie valeur n'est pas l'outil, c'est la contrainte ».

Deux autres garde-fous vont dans le même sens. Swimm rattache chaque partie de la documentation qu'il génère à des endroits précis du code pour éviter les hallucinations, selon l'éditeur. Et un guide de Daniel Vaughan sur Codex CLI prévient qu'un agent qui rédige les décisions d'architecture à partir du code peut en inventer le pourquoi : il propose des tests d'architecture en intégration continue plutôt que la confiance.

L'outillage autour

Sur l'outillage périphérique, trois constats :

  • Les serveurs de documentation de bibliothèques ne se départagent pas. Le comparatif de MCP.Directory d'avril 2026 observe Ref meilleur sur les longues sessions d'agent, grâce à son plafond d'environ 5 000 tokens par page lue, Context7 sur les demandes courtes et DeepWiki pour comprendre une architecture, sans publier de mesure.
  • Le fichier llms.txt n'aide pas un site à être cité. SE Ranking, sur près de 300 000 domaines, ne trouve aucun effet de ce fichier sur la fréquence à laquelle les LLM citent un site ; retirer cette variable a même amélioré la précision de son modèle. L'étude ne dit rien de son usage par un agent qui lit une documentation.
  • Repomix compresse le code source. Cet outil rassemble un dépôt en un seul fichier pour le donner à un agent ; son option de compression, que l'éditeur annonce à environ 70 % de tokens en moins, garde les signatures des fonctions et reste expérimentale.
Schéma des deux pannes documentaires face à un agent : à gauche la surcharge, avec la documentation de l'ancienne API (V1) et celle de l'actuelle (V3) chargées ensemble et une réponse contradictoire, 18,2 % de baisse moyenne du score dans une étude médicale, et la parade : des sources de référence datées et la purge de l'obsolète avant indexation ; à droite la dérive, avec le code qui change et la documentation qui reste figée, et la parade : ancrer la documentation au code et vérifier en intégration continue, la valeur est dans la contrainte
06 / 08

Faut-il construire un RAG avant de structurer ses documents ?

Non, selon nous. Un RAG sans cas d'usage précis ni évaluation échoue sans bruit, et la qualité du contenu pèse autant que le choix technique. Nous recommandons de dérouler d'abord l'inventaire, le nettoyage et le classement, puis de réévaluer le RAG quand les documents de référence existent et qu'un cas d'usage réel tourne.

Préparer le contenu d'abord

Enterprise Knowledge propose sept étapes pour rendre un contenu exploitable par l'IA, que nous résumons ici :

  1. définir ce qu'on entend par contenu, cas d'usage par cas d'usage ;
  2. nettoyer : doublons, quasi-doublons, contenus périmés ou faux ;
  3. combler les manques, en recueillant aussi le savoir tacite ;
  4. ajouter de la structure : taxonomies, métadonnées, glossaires ;
  5. étiqueter le contenu selon ce modèle, avec une validation humaine quand l'étiquetage est automatique ;
  6. unifier les droits d'accès ;
  7. gouverner dans la durée, en améliorant par itérations.

La classification paie, selon la méthode

Une étude acceptée à la conférence IEEE CAI 2026 teste l'ajout de métadonnées générées par un LLM aux passages indexés. L'effet dépend de la méthode : sur la documentation d'AWS S3, avec un découpage simple, des métadonnées ajoutées en préfixe font passer la précision des dix premiers résultats de 0,640 à 0,798.

C'est à peine mieux qu'un découpage récursif sans métadonnées (0,783). Avec les autres découpages, le gain est minime, et une pondération TF-IDF fait moins bien que le texte seul, contrairement à ce qu'annonce le résumé de l'article. Les auteurs concluent qu'aucune configuration ne l'emporte sur tous les critères.

Leur référence de pertinence est elle-même produite par un modèle, sans annotation humaine. Pour nous, la classification s'instrumente sur vos documents : elle ne s'applique pas en aveugle.

Ce que disent les retours de terrain

SFEIR décrit en avril 2026 l'écart entre une preuve de concept, qui vise le spectaculaire, et la production, qui exige la robustesse : PDF scannés mal reconnus, tableaux coupés par le découpage, contrats de 200 pages pleins de renvois internes. Pour SFEIR, le context engineering est « une discipline à part entière ».

Sabrine Bendimerad tire six leçons de ses projets en décembre 2025, dont deux à afficher au mur : « répondre aux questions internes » n'est pas un cas d'usage, et c'est à cette étape que la plupart des projets RAG échouent sans bruit. Sans évaluation, les erreurs n'apparaissent que quand les utilisateurs se plaignent.

Notre conclusion : dérouler d'abord le tri (inventaire, nettoyage, classement, documents de référence), puis réévaluer le RAG. Et mesurer localement, avant et après, sur quelques tâches représentatives, ce que la littérature ne tranche pas.

07 / 08

Que ne sait-on pas encore ?

Si un fichier de contexte rend un agent plus juste sur du travail réel, ce que vaut vraiment la recherche sémantique face à la recherche par mots, et comment se comporte un agent face à la documentation métier d'une entreprise plutôt qu'à un dépôt de code.

  • L'effet des fichiers de contexte sur la réussite reste mal connu. Une seule étude académique mesure la réussite des tâches, sur des bancs d'essai publics ; Vercel l'a mesurée sur ses propres tests, dans un cas favorable ; les autres mesures portent sur le temps et les tokens.
  • Aucune mesure indépendante ne départage la recherche par mots et la recherche sémantique. Les chiffres viennent de Cursor, sur son propre banc d'essai, ou d'une impression interne chez Anthropic.
  • Le context rot est mesuré sur des tâches simples. Chroma et « Lost in the Middle » isolent l'effet de la longueur ; personne n'a mesuré ce que change une documentation réduite sur le travail d'un agent en entreprise.
  • La documentation métier est peu étudiée. Presque toutes les mesures portent sur des dépôts de code ; les politiques, procédures et bases de connaissances d'une entreprise beaucoup moins.
08 / 08

Quelles précautions pour lire ces retours d'expérience ?

Distinguer l'étude de l'avis, repérer les cas uniques et les éditeurs qui vendent l'outil dont ils parlent, et dater chaque source : ce domaine change de mois en mois.

  • Plusieurs sources vendent l'outil ou le service dont elles parlent : Chroma (base de données vectorielle), Cursor (recherche sémantique), Anthropic (Claude Code), Vercel (éditeur de Next.js), Swimm et Fiberplane (leurs outils), Repomix. HubSpot est client de Mintlify, et son fonds d'investissement est entré au capital de Mintlify en avril 2026.
  • Beaucoup de retours portent sur un seul cas : LogRocket (une tâche, un essai), Scott Logic (une application personnelle), le comparatif de Ran the Builder (des notes de son auteur), le projet de modernisation présenté par OCTO.
  • Plusieurs études sont des préprints, et certaines ont changé de chiffres d'une version à l'autre (ETH Zurich, « Agent READMEs ») : nous citons leur dernière version.
  • Les signalements sur BMAD viennent d'utilisateurs, sur des versions de test de début 2026, et les outils spec-driven évalués en février 2026 ont beaucoup changé depuis.
  • « Lost in the Middle » porte sur un modèle de 2023 ; l'étude sur les documents contradictoires porte sur des questions médicales et de petits modèles.
  • Les 60 000 projets d'AGENTS.md comptent des dépôts qui contiennent le fichier, y compris de tout petits : ils mesurent une présence.
En pratique

Cinq questions à poser avant de donner de la documentation à vos agents

La grille qu'on utilise en mission pour savoir où en est une équipe sur le contexte de ses agents. Si une question reste sans réponse, le chantier commence là. Notre position reste la même : tester sur vos propres tâches, mesurer, se planter vite s'il le faut, mais avancer.

01

Savez-vous ce qui est chargé dans vos agents ?

Être capable de lister ce qui entre d'office dans la fenêtre et ce que l'agent va chercher à la demande. Tant que personne ne le sait, aucun arbitrage n'est possible.

02

Vos fichiers de contexte sont-ils courts et écrits à la main ?

Y mettre d'abord ce que l'agent ne devinerait pas : commandes, conventions non standard, documentation récente. L'ETH Zurich ne trouve aucun gain de réussite avec les fichiers générés par un LLM, et un coût en hausse.

03

Que se passe-t-il quand deux documents se contredisent ?

Une ancienne version à côté de la version en vigueur peut produire des conseils contradictoires. Il faut des documents de référence datés et une règle de purge, tenues à jour.

04

Mesurez-vous l'effet de votre documentation, ou le supposez-vous ?

Les études ne tranchent pas. Un avant et un après sur cinq tâches représentatives, répétés, disent ce que les chiffres publiés ignorent de votre contexte.

05

Voulez-vous adopter une méthode spec-driven, ou en extraire des pratiques ?

Les spécifications versionnées avec le code se transposent seules ; le reste se juge au temps de relecture qu'il demande.

Le paysage

L'outillage, couche par couche

Contexte de dépôt

Acteurs
AGENTS.md, CLAUDE.md, règles propres aux éditeurs de code
Ce qu'on en retient
AGENTS.md est revendiqué par plus de 60 000 projets et confié à la Linux Foundation fin 2025. Utile pour les conventions non standard ; aucun gain de réussite mesuré.

Doc pour humains

Acteurs
README, Diátaxis, Backstage TechDocs
Ce qu'on en retient
Versionnée avec le code. AGENTS.md la sépare explicitement de la documentation pour les agents.

Récupération à la demande

Acteurs
glob, grep, index léger, liens entre documents
Ce qu'on en retient
Fonctionnement de Claude Code, qu'Anthropic qualifie d'hybride avec les fichiers chargés au départ ; le dosage dépend de la tâche.

Récupération sémantique

Acteurs
Embeddings, RAG documentaire
Ce qu'on en retient
Cursor la combine avec grep. Un RAG classique a échoué à consolider plusieurs documents chez Zenika (petit corpus, modèles locaux).

Doc externe de bibliothèques

Acteurs
Context7, Ref, DeepWiki, Docfork
Ce qu'on en retient
Pas de gagnant unique, d'après des observations sans mesure publiée : Ref sur les longues sessions, Context7 sur les demandes courtes, DeepWiki pour l'architecture.

Méthodes spec-driven

Acteurs
OpenSpec, BMAD, Spec Kit, Kiro
Ce qu'on en retient
OpenSpec en tête d'un comparatif noté par son auteur en février 2026. Aucun des trois outils testés n'était prêt pour l'entreprise sans adaptation ; Kiro n'était pas testé.

Détection de la dérive

Acteurs
Fiberplane Drift, Swimm, décisions d'architecture et tests en CI
Ce qu'on en retient
Ancrer la documentation au code et vérifier en intégration continue. Selon Fiberplane, la valeur tient à la contrainte posée.
Sources

Toutes les sources du carnet

Carnet écrit à partir d'une recherche du 10 juillet 2026, mise à jour le 31 juillet. Pour cette édition, nous avons vérifié chaque chiffre, date et citation sur sa source d'origine, corrigé, réattribué ou retiré une vingtaine d'entre eux, puis fait relire le texte par un relecteur contradicteur. Les outils décrits ont évolué depuis l'été et n'ont pas été réévalués. Édition du 16 octobre 2026.

Le socle : context rot et context engineering

AGENTS.md et fichiers de contexte

Méthodes spec-driven

Surcharge, dérive et outillage

Gouvernance documentaire et RAG

Envie de savoir ce que lisent vraiment vos agents ?

On aide les équipes à faire l'inventaire de ce qu'elles donnent à lire à leurs agents, à écrire des fichiers de contexte courts et à poser des documents de référence datés avant tout projet de RAG, et notre formation Agents IA en donne les bases. Parlons-en.