[EPIC] Automatiser le "pipeline RAG", de la question de l'utilisateur jusqu'à la réponse (backend du workflow de mise en production)

[rprebot]

Pré-requis

Dépend des options décidées sur l'EPIC #24

📌 Contexte

Le cas d'usage va être intégré sur une application où l'utilisateur entrera une question et recevra une réponse. Toutes les étapes qui permettent d'arriver de la question à la réponse, selon une architecture qui aura été améliorée et définie à l'aide des tests de l'EPIC #24 doivent être automatisées pour y arriver.

🚀 Objectif

• Automatiser la totalité de la pipeline
• Déclencher la chaîne de traitement de la pipeline par API, afin de faciliter son intégration sur l'interface utilisateur
• Définir les informations à envoyer en retour, en cas de succès et d'échec
• Ne pas dépasser un temps de traitement de moyen cible et réaliste (à définir, de l'ordre de quelques secondes)

🔎 Features attendues - MVP

En MVP, on testera encore plusieurs paramètres de la pipeline RAG, on a donc besoin en entrée de l'API de pouvoir sélectionner différents paramètres de la pipeline.

Paramètres d'entrée attendus de l'API :

• modèle de LLM pour la re-formulation / le découpage en query / la génération de la réponse
• le nombre de chunk à sélectionner en sortie du search (au total ou par query)
• le seuil T en sortie du search
• l'option "insérer tout le document" vs "insérer seulement les chunks"
• la version des prompts à utiliser

Attendu en sortie de l'API :

• la réponse format texte

• les temps de traitement : global, sur le search, sur la génération de la réponse

• les documents remontés en sortie du search (format URL)

• les documents sources retenus dans a réponse finale (format URL)

• la question reformulée

• [ ]

• Déclencher la pipeline RAG par API (et 4 endpoints) #44

🤖 Features attendues - Post-MVP

à définir

📚 Ressources utiles

https://www.notion.so/fabnummas/End-points-SRDT-584e50abbec64eedab214c7932d3350b?pvs=4

[rprebot]

Etapes d'automatisation (Victor) :