Le RAG avancé

Un salarié demande le préavis du contrat MX-200. La réponse dit trois mois ; c'est deux depuis l'avenant de l'an dernier. Le modèle de langage n'a rien inventé : il a résumé fidèlement les passages qu'on lui a donnés, et l'avenant n'en faisait pas partie. Dans un RAG, une réponse ne peut pas être meilleure que les passages que la recherche lui rapporte.

Les deux recherches de base ont chacune leur angle mort. Par le sens, l'outil rate un terme exact, un numéro de contrat ou un code d'erreur ; par les mots, il rate une même idée dite autrement. Un passage coupé de son document perd aussi ce qui le situait : « le préavis passe à deux mois » ne dit plus de quel contrat il s'agit.

La recherche mixte. On lance les deux recherches sur la même question et on fusionne les deux classements en un seul. La fusion la plus répandue, la Reciprocal Rank Fusion, ne regarde que les rangs : un passage bien placé dans les deux listes passe devant un passage premier dans une seule. C'est ce que fait la recherche dans les fichiers d'OpenAI, et ce que documente pgvector avec la recherche plein texte de PostgreSQL.

Le contexte des passages. Avant de ranger un passage, on lui ajoute quelques lignes qui disent d'où il vient : le document, la partie, l'objet. Anthropic fait écrire ces lignes par un modèle, 50 à 100 tokens par passage, et les ajoute avant les deux recherches.

Le reclassement. Les deux recherches sont rapides parce qu'elles comparent des index. Un modèle de reclassement est plus lent mais plus fin : il lit la question et chaque candidat ensemble, et note leur pertinence. On le réserve donc aux meilleurs candidats ; Anthropic en reclasse 150 pour en garder 20.

1. À l'indexation, une fois par document : découper en passages courts, de quelques centaines de tokens, qui gardent leur titre ; leur ajouter leur contexte ; les ranger dans deux index, l'un par le sens, l'autre par les mots.
2. Le filtre, à chaque question : écarter d'abord ce que la personne n'a pas le droit de lire, ou ce qui n'est pas du bon type, par les métadonnées des documents.
3. Les deux recherches rapportent chacune leurs meilleurs passages, quelques dizaines à 150.
4. La fusion en fait une seule liste de candidats, sans doublons.
5. Le reclassement note chaque candidat avec la question et garde les meilleurs. Anthropic obtient de meilleurs résultats en donnant 20 passages au modèle plutôt que 10 ou 5.
6. La réponse s'écrit sur ces passages, et les cite.

La question : « Quel est le préavis pour résilier le contrat de maintenance MX-200 ? ». Six passages de la base, fabriqués pour l'exemple, avec leur rang dans chaque recherche. La fusion donne à chaque passage la somme de 1 / (60 + rang) sur les deux classements ; 60 est la valeur de l'article qui a proposé la méthode en 2009, qui la dit peu critique. Les scores sont multipliés par 1 000 pour se lire.

Ce que fait la fusion. La fiche produit C arrive première par mots, parce qu'elle répète « MX-200 », et huitième par le sens. La procédure D arrive première par le sens et neuvième par mots. Aucune des deux ne répond. La fusion remonte A, présente en bonne place dans les deux listes, et elle garde B ; mais C reste troisième et l'avenant E, qui change la réponse, n'est que quatrième.

Ce que fait le reclassement. Le modèle de reclassement relit la question avec chaque candidat et lui donne une note de pertinence. Il garde A, E et B, et écarte la fiche produit. La réponse peut alors dire : trois mois selon le contrat, ramenés à deux par l'avenant de 2025, en citant les deux passages. Avec les trois premiers de la fusion seule, l'avenant manquait, et la réponse aurait été fausse.

1. Écrire le jeu de questions avant de toucher à quoi que ce soit : des questions réelles, chacune avec le passage où se trouve la réponse, et la réponse attendue. Anthropic conseille beaucoup de questions notées par un programme plutôt que quelques-unes notées à la main. La méthode : les jeux de tests.
2. Mesurer la recherche seule : le rappel à k, la part des questions dont le passage attendu figure parmi les k premiers résultats. Anthropic mesure à 20 ; prenez le nombre de passages que vous donnez vraiment au modèle.
3. Ajouter la recherche par mots, puis mesurer. Ce réglage n'ajoute aucun appel de modèle, quand l'outil ne le fait pas déjà.
4. Ajouter le reclassement, puis mesurer le rappel et le délai d'une question.
5. Ajouter le contexte des passages si le rappel reste insuffisant, en sachant qu'il faut réindexer.
6. Mesurer la réponse à part : la fidélité, part des affirmations de la réponse que les passages appuient, de 0 à 1 ; le rappel du contexte demande la réponse de référence du jeu de questions.

La fusion et le rappel à k tiennent en quelques lignes, sans bibliothèque. Le programme ci-dessous reprend l'exemple de la page ; il n'appelle aucun modèle.

# Fusion de deux classements (Reciprocal Rank Fusion) et rappel à k.
# Données fabriquées pour l'exemple de la page : les passages A à F, et d'autres passages de la base.

def fusionner(*classements, k=60):
    """Chaque classement est une liste d'identifiants, le meilleur d'abord.
    Score d'un passage : somme de 1 / (k + rang) sur les classements où il figure."""
    scores = {}
    for classement in classements:
        for rang, pid in enumerate(classement, start=1):
            scores[pid] = scores.get(pid, 0.0) + 1.0 / (k + rang)
    return sorted(scores.items(), key=lambda x: x[1], reverse=True)

def rappel_a_k(resultats, attendus, k):
    """Part des questions dont le passage attendu figure parmi les k premiers résultats."""
    trouves = sum(1 for q, attendu in attendus.items() if attendu in resultats[q][:k])
    return trouves / len(attendus)

par_mots = ["C", "A", "F", "E", "G", "B", "H", "I", "D"]
par_sens = ["D", "B", "A", "J", "E", "K", "F", "C"]

for pid, score in fusionner(par_mots, par_sens)[:6]:
    print(f"{pid}  {score:.5f}")

# Trois questions de test, chacune avec le passage qui contient la réponse.
resultats = {"q1": ["C", "A", "F"], "q2": ["B", "D", "E"], "q3": ["F", "C", "B"]}
attendus = {"q1": "A", "q2": "E", "q3": "D"}
print("rappel à 1 :", round(rappel_a_k(resultats, attendus, 1), 2))
print("rappel à 3 :", round(rappel_a_k(resultats, attendus, 3), 2))

A  0.03200B  0.03128C  0.03110E  0.03101D  0.03089F  0.03080rappel à 1 : 0.0rappel à 3 : 0.67

Essayé le 9 octobre 2026 avec Python 3.12, sur les données fabriquées de l'exemple.

Sur trois questions, le passage attendu n'arrive jamais premier, mais deux fois parmi les trois premiers : rappel à 1 de 0, rappel à 3 de 0,67. Si le modèle reçoit trois passages, c'est le second chiffre qui compte.

Une autre question, d'autres passages fabriqués. Par mots, l'ordre est P, Q, R, S ; par le sens, R, S, T, P. Calculez la fusion avec k = 60 : quels sont les trois premiers ?