[EPIC] Définir et réaliser des tests pour optimiser le Retriever

[rprebot]

📌 Contexte

Une fois la base de connaissance externe créée sur Albert, on va l'interroger pour récupérer des sources de droits identifiées les plus pertinentes et les insérer dans le prompt du LLM qui génère la réponse.

Sur la "pipeline RAG" il y a différentes étapes (rewriter, chunking, pre-retriever, retriever, re-ranker, post retriever, ...) sur laquelle différents choix de paramètres et / ou méthodes peuvent être sélectionnés afin d'optimiser la performance du RAG.

🚀 Objectif

Toutes les options de paramétrage de la "pipeline RAG" (et leurs combinatoires) ne pourront pas être testées pour construire le MVP, soit par manque de temps, soit par manque de moyen technique.

L'objectif de cette EPIC est de prioriser des tests à réaliser pour améliorer la performance de cette "pipeline RAG".

Les critères qui nous permettent d'évaluer la performance du RAG sont :

• la précision (%) : (nombre de sources pertinentes par rapport à la question) / (nombre de sources de droit total identifiées)
• le recall (%) : (nombre de principes généraux de droit déductibles à partir des sources **) / (nombre de principes généraux de droit attendus)
  ** ce nombre est évalué par un LLM

Les différentes options possibles à tester sont répertoriées dans ce document

🔎 Features attendues - MVP

• [pipeline de test] Ecrire un notebook qui permet de tester la pipeline RAG sur la base de 20 questions annotées #30
• [pipeline RAG] Héberger le contenu des documents sur une base de données externes #31
• [Test métier] Approximer un score de précision / recall sur les sources obtenues en sortie du search #51
• [Test métier] Tester si mettre le texte en entier vs le chunk améliore les métriques d'impact #52
• [Test métier] Tester si le Search est plus performant avec des multiple queries vs la question reformulée #53

🤖 Features attendues - Post-MVP

à définir

📚 Ressources utiles

• Advance RAG - Improve RAG performance : https://luv-bansal.medium.com/advance-rag-improve-rag-performance-208ffad5bb6a
• chunk augmentation (réalisé par un data scientist etalab) : https://medium.com/@camille_andre/enhancing-language-model-performance-insights-into-rag-and-chunking-augmentation-techniques-897ba15a04d6