Comment une plateforme de données moderne permet une transparence automatisée

Le principe des responsabilité

Le “principe de responsabilité” du RGPD (Article 5.2) stipule que les contrôleurs de données “doivent être en mesure de démontrer que les données personnelles sont traitées de manière transparente” dès le point de collecte des données. Et ce n’est qu’un exemple : au cours des dernières années, de nombreuses lois et réglementations ont été introduites dans lesquelles la transparence des données joue un rôle clé.

Mais la transparence des données va au-delà des questions juridiques. Savoir quelles données sont disponibles et à quel point elles sont fiables est essentiel pour votre stratégie de données. C’est également une condition préalable à une économie des données saine, où les données ne sont plus limitées à un usage interne mais peuvent être partagées avec des partenaires commerciaux à travers la chaîne d’approvisionnement. 

Enfin et surtout : vos utilisateurs et vos clients l’exigent de plus en plus.

Contrôler le trafic de données

Avant que les données puissent être “rendues transparentes”, elles doivent d’abord être rationalisées et collectées de manière claire et cohérente. “Le rôle d’une plateforme de données est de permettre l’obtention d’informations à partir de données et d’aider les utilisateurs à prendre des décisions mieux informées. 

Comment ? En collectant et en harmonisant les données provenant de diverses sources au sein de l’entreprise ou de l’organisation(s)”, explique Sebastiaan Leysen, expert data chez delaware “Cela inclut les données structurées et non structurées, les big data, les petits ensembles de données, etc. De plus, la plateforme doit permettre aux applications individuelles au sein ou en dehors d’une organisation de communiquer en temps réel.”

Sebastiaan utilise l’analogie d’une tour de contrôle du trafic aérien : “ Vous pourriez comparer les applications commerciales d’une organisation - comme ERP, CRM, plateformes RH, etc - à des avions. Tous communiquent avec la tour de contrôle en temps quasi réel, souvent via un paradigme basé sur les événements, pour échanger les informations de processus nécessaires entre eux. 

La ‘tour’ est la plateforme de données qui sert d’intermédiaire pour les informations entre les avions, orchestre les mouvements de données, valide les données entrantes, surveille les flux de données, harmonise et consolide les flux de données et sert les données à d’autres parties, internes et/ou externes.”

"Single source of truth", de nombreux cas d'utilisation

Dans notre vision d’une plateforme de données moderne, tout cela se ferait automatiquement. “Lorsqu’une demande est enregistrée dans le CRM de l’organisation, par exemple, toutes les applications intéressées par cet événement seraient notifiées en temps quasi réel.”, explique Sebastiaan. “De plus, chaque événement serait ensuite acheminé vers un catalogue de données central (sur Azure ou SAP, par exemple), où il alimenterait un modèle de données canonique mis en œuvre à l’aide d’outils comme Databricks, Azure Synapse, ou SAP Datasphere. Le résultat final est une ‘source unique de vérité’ qui facilite la prise de décision fiable.”

Ces informations soigneusement organisées peuvent ensuite être alimentées dans une variété de cas d’utilisation, comme par exemple un portail client B2B ou B2C. “Idéalement, tout ce que vous voyez sur un tel portail serait généré par la plateforme et synchronisé automatiquement, en fonction des événements et des données provenant d’autres systèmes. Les entreprises pourraient même mettre en place des règles de diffusion spécifiques pour contrôler quelles informations sont divulguées. 

Dans une telle conception, personne n’aurait besoin de ‘publier’ manuellement quoi que ce soit sur le portail - tout serait fait automatiquement et selon des règles prédéfinies.”

Architecture du "data lake-house" 

Le cœur de la plupart des plateformes de données modernes est une architecture de lac de données (data lake). Sebastiaan : “Cette configuration combine les meilleures caractéristiques d’un entrepôt de données avec celles d’un lac de données. Cela implique que vous organisez et organisez votre stockage en zones logiques, tout en profitant de la flexibilité pour travailler avec n’importe quelle variété de données (format), volume (petit ou grand) et vitesse (traitement par lots ou en temps réel) imaginable. Vous voulez extraire du texte d’un PDF ou fusionner des fichiers .csv ? Pas de problème du tout.”

En accord avec cette architecture, d’autres applications dans le paysage informatique de l’organisation pourraient également stocker directement certaines de leurs données sur le lac de données, où elles pourraient être traitées pour une consommation en aval. Souvent, la plateforme elle-même est entourée de ‘data marts’ : des bases de données avec des sous-ensembles de données adaptés à des fins et des cas d’utilisation spécifiques. “Cette ‘curation des données’ est nécessaire pour éviter que votre lac de données ne se transforme en marécage de données.”

Données canonisées

L’extraction de ce qu’on appelle des ‘données organisées’ ne nécessiterait que quelques lignes de code. “Le ‘modèle de données canonique’ met l’accent sur la réutilisabilité”, poursuit Sebastiaan. “De cette façon, nous nous assurons que chaque transformation doit être définie une seule fois, et que les données organisées résultantes peuvent être consommées en tant que produits de données réutilisables. Cela permet aux ingénieurs de données, aux scientifiques, aux analystes et aux gestionnaires de se concentrer sur la valeur ajoutée, plutôt que sur des tâches de surcharge comme l’orchestration des données, l’exportation, et la création de lignées.”

En essence, il y a trois ‘étapes’ de données :

Étape 1 - Brut : Il s’agit de données dans leur format natif, telles qu’elles ont été reçues de leur source. Elles sont non filtrées et non purifiées, avant toute transformation. Elles doivent être immuables et fournies en format en lecture seule.

Étape 2 - Préparer : Les données à ce stade sont validées, standardisées et harmonisées, et ont un haut niveau de fiabilité. Elles se composent de blocs de construction réutilisables pour des modèles de données logiques. 

Étape 3 - Servir : Ces données sont prêtes à être consommées par d’autres systèmes : elles sont optimisées pour la lecture et personnalisées pour des cas d’utilisation spécifiques. 

Ne faites pas cavalier seul

 “Une plateforme de données moderne, solide et intelligente peut répondre à de nombreux besoins en matière de données”, dit Sebastiaan. “Cependant, la mise en place d’une telle plateforme nécessite une large gamme d’expertises et de départements pour se réunir et collaborer, ce qui peut être délicat dans des organisations hautement structurées et hiérarchiques. Souvent, de nouvelles applications doivent être construites à partir de zéro. Dans tous les cas, vous voudrez vous assurer que vous prenez les bonnes décisions. 

Pouvoir compter sur un partenaire stratégique ayant à la fois l’expérience commerciale et les compétences techniques pour y parvenir est un avantage majeur. Cela, et adhérer au principe ‘échouer vite, apprendre plus vite’, ce qui signifie que vous commencez petit pour obtenir rapidement des retours pertinents sur ce qui fonctionne et ce qui ne fonctionne pas. De cette façon, vous pouvez construire une plateforme qui correspond vraiment à vos besoins spécifiques.”

Vous cherchez des moyens de rationaliser les flux de données dans votre organisation et d’améliorer l’efficacité et la transparence ? Parlez à nos experts.