Sur un corpus de 571 000 documents, la partie qu'on démontre — poser une question, obtenir une réponse sourcée — représente une fraction du travail. Le reste se répartit sur trois postes que les business cases initiaux ignorent presque toujours.
L'ingestion incrémentale
Indexer un corpus une fois est un projet fini. Le maintenir à jour est un service. Les documents arrivent, sont corrigés, dépubliés, retaggés ; il faut détecter ces changements, réindexer sans tout reconstruire, et garder la cohérence entre l'index et la source pendant l'opération.
Sur les archives d'un quotidien, segmenter les bases de connaissance par période a divisé le coût de réindexation par un facteur significatif : une correction sur un article de 1997 ne touche pas la base des trois dernières années, qui porte l'essentiel du trafic.
L'exploitation
Un RAG en service produit des réponses fausses. Pas souvent, mais régulièrement, et il faut quelqu'un pour les recevoir. Cela suppose un canal de signalement dans l'interface, une personne qui traite ces signalements, et une boucle qui transforme un signalement en cas de test ajouté à la grille d'évaluation.
Le coût des appels de modèles, lui, est le poste le plus visible et le plus facile à maîtriser : une passerelle unique, des quotas par équipe et un suivi hebdomadaire suffisent. C'est rarement là que le budget dérape.
La reprise
Le poste invisible. Un système livré sans runbook, sans jeux d'évaluation versionnés et sans deux personnes formées à l'exploiter revient chez son prestataire à la première panne — et le coût de cette dépendance dépasse en général celui du développement initial.
C'est pour cette raison que nous chiffrons la reprise dans la proposition initiale, comme une phase, et non comme une bonne intention de fin de projet.