Faire progresser les solutions de marketing numérique grâce à un entrepôt de données amélioré

Contexte et objectifs

Un leader des solutions de marketing numérique avait besoin d'un entrepôt de données en raison du volume et de la complexité croissants des données. Les données provenant de différentes sources dans Tableau pour être mélangées donnaient lieu à des tableaux de bord qui réagissaient lentement, ce qui freinait les flux de travail commerciaux et opérationnels. 

Notre client savait qu'il était temps de tirer parti d'une infrastructure de gestion de données cloud et de bénéficier d'avantages tels que l'optimisation des coûts, moins de maintenance, une technologie de pointe et une facilité de développement. ​Ils ont contacté Agilytic pour mettre en œuvre une nouvelle solution.

Approche

Nous avons entrepris de mettre en œuvre une démonstration de faisabilité pour un pipeline de données et un entrepôt de données hébergés dans le nuage. 

Tout d'abord, nous avons défini le champ d'application et les besoins de l'entreprise. Nous avons identifié les cas d'utilisation à court et à long terme par le biais d'entretiens avec les parties prenantes du client afin de l'aider à redéfinir les flux de données.

Ensuite, nous avons réalisé une étude de marché pour rechercher le meilleur fournisseur de services en nuage adapté aux besoins du client. En optant pour Amazon Web Services (AWS), nous avons identifié l'intégration idéale du cloud (développement, test, production) et l'itération de la pile analytique pour nous assurer que l'infrastructure convenait à notre client.

Développement ETL avec AWS

Ensuite, nous avons procédé à la mise en place d'une infrastructure cloud (en partie IaC) et au développement ETL pour notre entrepôt de données. Il y avait deux sources de données pour les cas d'utilisation sur lesquels nous avons travaillé : une base de données PostgreSQL hébergée dans le cloud AWS et Google BigQuery contenant des données analytiques. Le client avait de l'expérience avec le cloud et maîtrisait certaines bonnes pratiques DevOps comme l'Infrastructure as Code (IaC). Puisque nous avons choisi le fournisseur, la seule décision que nous devions prendre concernait l'outil ETL. Les deux options envisagées étaient : AWS Glue ou les fonctions Lambda écrites en Python déclenchées par Step. Tentés par la fonctionnalité de catalogue de données, nous avons choisi Glue. D'un point de vue technique, le projet consistait principalement à traduire des requêtes SQL en Spark. Nous avons donné deux sessions de formation pour présenter Glue et les concepts ETL. 

Avant d'achever le projet d'entrepôt de données, nous avons travaillé sur la logique d'entreprise afin de proposer des corrections finales au client. En outre, nous avons créé un catalogue de données avec une lignée définie et des directives de gouvernance des données pour une gestion à long terme plus simple.

Résultats

En deux mois, nous avons développé un pipeline ETL et un entrepôt de données robuste et flexible basé sur une infrastructure cloud de confiance. 

Grâce à la solution, les services de l'entreprise peuvent accéder aux données les plus récentes pour prendre des décisions rapides et efficaces. De plus, en cas de simple hésitation, ils peuvent rapidement comprendre les données en se référant au catalogue de données fourni.

Les développeurs nouvellement embauchés pourront facilement ajouter des fonctionnalités ou adapter les changements demandés par les utilisateurs professionnels, étant donné l'évolutivité de cette solution.