Solutions aux défis des outils ETL

Votre outil d'ingestion sait déplacer des lignes. C'est sur la facture, le schéma et l'historique que les frictions commencent. Un article par symptôme, par outil, écrit pour l'ingénieur qui a la charge du pipeline.

Chaque plateforme d’ingestion de cette liste fait une chose très bien : elle extrait des lignes d’un système source et les dépose dans votre entrepôt de données avec très peu de configuration. Cette commodité est réelle, et c’est pour cela que tant d’équipes commencent par là.

Les frictions arrivent plus tard. La facture qui double après une mise à jour en masse, le schéma cible figé qu’il faut remodeler à la main avant que quiconque puisse l’utiliser, l’historique jamais conservé parce que le connecteur ne fait que refléter l’état courant. Rien de tout cela n’est un bug du connecteur. C’est ce qui arrive quand l’outil qui déplace les données est aussi censé assumer leur coût, leur structure et leur passé.

Cette série traite un symptôme à la fois, explique d’où il vient et montre ce qui change quand un entrepôt piloté par le modèle retire ces trois responsabilités au connecteur.

Tous les outils dbt Azure Data Factory SSIS Fivetran