Améliorer l’accès à des données pointues grâce aux LLM

Sans fonctions de recherche avancées, les connaissances contenues dans les systèmes de stockage documentaires ne sont pas pleinement exploitées : Où trouver le bon document ? Quels documents sont accessibles ? Que faire des schémas ? 

Contexte 

Dans le cadre d’une démarche d’implémentation de LLM, nous avons collaboré avec un grand groupe industriel international dans le but de déployer une application de RAG (Retrieval-Augmented Generation) pour libérer l’accès à des informations techniques pointues. 

Approche 

Aux prémices du projet, une idée : en simplifiant l’accès à des données de pointe on permet aux utilisateurs de prendre plus souvent des décisions éclairées.  

Par où commencer ? 

Pour guider les choix de ce projet, nous avons réalisé un état des lieux du marché des LLM (acteurs, état de l’art et concepts clefs) qui a permis d’identifier des briques cruciales, pour concevoir un système où les moyens peuvent être mobilisés de manière pragmatique. 

Que faire de nos expériences en cours ? 

Les initiatives menées dans le Groupe ont été confrontées à nos convictions à propos des éléments constitutifs d’une application LLM, pour tirer parti des savoir-faire déjà acquis et ajuster si besoin. 

Des données confidentielles. 

La nature des données a représenté un enjeu majeur. Il s’agissait d’informations sensibles relatives à des processus de production, des technologies et des stratégies commerciales. Assurer la sécurité de ces données était primordial, ce qui nécessitait la mise en place de protocoles de sécurité rigoureux et de solutions technologiques avancées. 

Des données complexes. 

Les données utilisées par le RAG (Retrieval-Augmented Generation) incluaient de la documentation technique, des schémas, du code et des procédures techniques. Ces documents étaient souvent très détaillés et spécifiques, nécessitant une compréhension approfondie des technologies et des processus. 

Pour garantir la pertinence et l’exactitude des informations extraites par le RAG, nous avons dû collaborer étroitement avec les experts techniques pour définir une baseline de performance adéquate.  

Résultats 

Au cœur des systèmes RAG, les données et leur transformation en vecteurs.  

La VectorDB d’un système de RAG est une brique critique qui devient difficilement interchangeable. Pour bien la choisir, nous avons réalisé un benchmark des solutions du marché. Cette analyse comparative a été axée autour des capacités de gestion des accès aux documents, des enjeux de performance et des capacités de recherche (sémantique, textuelle, hybride et reranking). 

Le processus complet en ligne de mire. 

De nombreux composants et expertises (Data, IA, soft, Cloud et produit) sont nécessaires au développement d’une application RAG complète et ce système n’a de valeur que quand il est “complet”. Nous avons ainsi structuré la roadmap de la solution en aidant à prioriser les efforts de développement qui visent à une intégration de “bout-en-bout”, dans le but d’avoir rapidement un système, certes perfectible, mais opérationnel. 

A destination des utilisateurs. 

Les projets LLM ne font pas figure d’exception dans le monde de l’IA : c’est grâce à une conception finement préparée et à la prise en compte très précise des besoins des utilisateurs que les conditions du succès se créent. Nous avons renforcé l’accompagnement des clients internes, ce qui a amélioré la communication et la collaboration entre les différentes unités opérationnelles, créant ainsi une dynamique positive et une attente favorable envers la solution. 

Des performances mesurables. 

Nous avons lancé une démarche d’évaluation continue du système pour garantir que les performances des solutions mises en place soient régulièrement mesurées et optimisées, en utilisant des outils du marché tels que DeepEval et Giskard.