Améliorer l'efficacité opérationnelle grâce aux MFT
Exploiter de grands modèles de langage pour obtenir des informations précieuses à partir de données textuelles non structurées, de manière plus rapide, moins coûteuse et plus fiable qu'un analyste à plein temps.
Une société de services professionnels souhaitait extraire les principales tendances du secteur à partir des rapports trimestriels de l'entreprise.
Dans ce projet, nous avons démontré comment les grands modèles de langage (LLM) pouvaient extraire des informations précieuses de vastes quantités de données non structurées. Pour certaines tâches, notre pipeline pourrait même surpasser le travail manuel d'un analyste financier.
Contexte et objectifs
L'objectif du projet était d'obtenir des informations claires et complètes sur les tendances sectorielles et les stratégies des entreprises.
A la fin du projet, notre pipeline LLM devait prouver qu'il était possible d'extraire les informations requises plus rapidement qu'un analyste financier tout en maintenant la qualité des données. Pour être convaincant, le pipeline LLM ne doit pas permettre à l'analyste financier de rattraper la charge de travail que le pipeline peut gérer.
L'un de nos principaux objectifs était d'être plus rapide et plus fiable qu'un être humain.
Environ 500 rapports d'entreprises issus des réunions trimestrielles d'actionnaires ont fourni d'importants volumes de données textuelles riches et non structurées pour l'analyse par de grands modèles de langage.
Cependant, notre objectif était d'extraire des tendances spécifiques liées à un seul département. Cela signifie qu'il pouvait arriver que seules quelques phrases fassent référence au sujet souhaité dans l'ensemble d'un rapport. C'est pourquoi nous avons dû faire preuve de prudence quant aux implications de la rareté des données sur les résultats, en particulier en ce qui concerne l'exactitude.
En outre, étant donné qu'une grande partie de notre objectif était d'être plus rapide et plus fiable qu'un être humain, nous devions comparer nos résultats à ceux d'un analyste traitant manuellement les mêmes données. Nous avons identifié trois principaux défis à relever pour atteindre l'objectif du projet :
Exhaustivité: Un analyste lisant le contenu ne manquerait aucune information ou contenu essentiel. Pour atteindre l'objectif, nous devions donc nous assurer que notre modèle ne manquait aucune information clé avec un degré élevé de certitude.
Fiabilité: Un analyste lisant le rapport n'inventerait ni ne modifierait aucune information. Nous devions donc nous assurer que notre modèle n'avait pas d'hallucinations et, lorsque nous n'avions pas de résultats parfaits, nous devions fixer des niveaux de confiance raisonnables.
La structure: Notre solution devait permettre la détection de modèles et de tendances dans un format structuré. Nous y sommes parvenus en convertissant le texte en données structurées dans Excel, ce qui a permis d'effectuer des analyses quantitatives et qualitatives plus poussées (comme des tableaux de bord).
Approche
L'approche peut être divisée en deux étapes principales :
Filtrage et résumé des informations à partir des rapports bruts : Cette première étape a permis de créer une liste de phrases clés pour chaque rapport. Ces phrases clés contenaient et résumaient toutes les informations qui devaient être structurées.
Structuration des phrases clés: Les phrases clés ont ensuite dû être structurées pour correspondre à un format Excel. La principale difficulté résidait dans la diversité de la mise en forme des informations.
Système de mise en commun avec plusieurs modèles sur mesure
Pour améliorer encore la précision de l'extraction du contenu, nous avons utilisé une technique appelée "pooling". Au lieu de nous appuyer sur un seul modèle, nous avons agrégé les résultats de plusieurs modèles. Cette technique a permis d'améliorer la précision de l'extraction de contenu de 50 % !
Système de mise en commun
Système de vote basé sur le LLM
Pour garantir que le défi de la fiabilité soit relevé, nous avons introduit un système de vote. Ce système a consisté à exécuter des requêtes répétées avec différents modèles (GPT-3.5 et GPT-4) et à attribuer des droits de vote à chaque modèle. Nous avons sélectionné le résultat ayant obtenu le plus grand nombre de votes. Si le nombre de votes n'atteignait pas un certain seuil, nous avons classé les informations extraites comme non fiables et soumises à un examen manuel.
Nous avons estimé qu'il était essentiel de donner la priorité à la qualité rapide plutôt qu'à la mise à niveau du modèle pour obtenir les meilleurs résultats.
Tout au long du projet, il est devenu évident que la qualité de l'invite avait un impact significatif sur les résultats. Même avec les modèles GPT les plus récents et les plus coûteux, le fait de partir d'une invite de base bien conçue et bien réglée a permis d'obtenir de meilleurs résultats. Par conséquent, nous avons estimé qu'il était essentiel de donner la priorité à la qualité de l'invite plutôt qu'à l'amélioration du modèle afin d'obtenir les meilleurs résultats.
En outre, le compromis entre l'investissement (temps et argent) et les résultats a été une considération importante. Le passage de GPT-3.5 à GPT-4 a entraîné une augmentation des coûts de 30 fois. Ce montant est stupéfiant, et il était crucial de développer un système capable d'équilibrer le compromis.
Le processus de choix du bon LLM
Le coût de fonctionnement de la filière LLM était au moins dix fois moins élevé que celui d'un analyste à temps plein.
Nous avons estimé que notre processus de développement rapide permettait de réduire les coûts globaux par rapport à un travail manuel similaire effectué par un analyste à temps plein. Nos premières estimations ont montré que le coût de fonctionnement du pipeline LLM était au moins dix fois moins élevé que celui d'un analyste à temps plein.
Résultats
Nous avons développé une solution pour notre client en utilisant des LLM qui pouvaient extraire des données plus rapidement et à moindre coût qu'un analyste, tout en étant aussi précis et fiable, si ce n'est plus.
Dans ce projet, nous avons dû relever le défi de l'exhaustivité, de la fiabilité et de la structure de notre approche. Ce faisant, nous avons prouvé que notre client pouvait mettre en œuvre avec succès les LLM afin d'éliminer les tâches manuelles fastidieuses et d'améliorer l'efficacité opérationnelle.
_
Écrit par Joleen Bothma
