Unerwartete Fivetran-Kosten und Schema-Probleme? Wie automatisierte Modellierung die Reibungsverluste in der Ingestion beseitigt

Der erste Fivetran-Monat ist ein guter Monat. Connectors sind an einem Nachmittag live, das Warehouse füllt sich, und das Team macht sich ans Bauen. Die Rechnung, die nach der ersten ERP Migration eintrifft, ist der Moment, in dem sich das Gespräch ändert, und das Gespräch über das Schema beginnt meist im selben Quartal.

Der Tausch, den Plug-and-Play-ELT eingeht

Managed Ingestion tauscht zwei Dinge gegen Komfort, und keines davon zeigt sich am ersten Tag.

• Keine Kostensicherheit. Monthly Active Rows messen, was sich ändert, und was sich ändert, entscheiden Quellsystem-Teams mit ihren Migrationen und Bulk-Updates. Die Rechnung folgt deren Projektkalender, nicht Ihrem Budget. Die Details stehen in dem Artikel über MAR-Kosten.
• Schemakontrolle. Jeder Connector legt sein eigenes standardisiertes Schema ab. Konforme Schlüssel, eigene Felder und Regeln über Quellen hinweg müssen obendrauf gesetzt werden und brechen, wenn sich die Quelle ändert. Die Details stehen in dem Artikel über feste Schemata.

Beides ist dasselbe zugrunde liegende Problem. Das Tool, das die Zeilen bewegt, wurde auch dafür verantwortlich gemacht, was sie kosten und welche Form sie annehmen, und es war immer nur für die erste Aufgabe gebaut.

Zwei Auswege, und Sie können beide nehmen

Übernehmen Sie die Ingestion für die datenintensiven Tabellen selbst. Datavault Builder bringt Batch, Delta und CDC Loads aus Datenbanken, Dateien, REST-APIs, NoSQL und Python-Quellen mit, mit Streams wie Kafka, die als Micro-Batches ankommen. Die Handvoll Tabellen, die den Großteil der MAR tragen, landen über die Plattform, auf Compute, das Ihnen bereits gehört. Der Long-Tail der SaaS-Quellen bleibt auf dem Connector, wo er günstig ist.

Legen Sie ein Modell, das Ihnen gehört, hinter alles. Was immer im Staging landet, per Connector oder per direktem Load, wird visuell in ein Data Vault 2.0 Modell gemappt: Hubs für Business-Keys, Links für Beziehungen, Satelliten für Kontext und Historie. Der Ladecode wird aus diesem Modell generiert. Eine Quelländerung ist ein Mapping-Update, und Business Vault und Marts darüber bewegen sich nicht.

Was das in der Praxis ändert

• Full Rebuilds bleiben auf das Staging beschränkt. Nur das Delta wird in den Vault geladen, ein Full Reload im Quellsystem ist also kein Full Reload jeder Schicht.
• Ein Kunde ist ein zentraler Hub, nicht drei verstreute Tabellen. Schlüssel über Quellen hinweg werden im Modell harmonisiert, einmal, mit Lineage.
• Geschäftslogik hat einen festen Ort. Geschäftslogik lebt im Business Vault oder in der Mart-Schicht, sichtbar im Modell, nicht verstreut über Skripte und Notebooks.
• Die BI-Schicht sieht ein Star-Schema. Dimensionale Marts werden obendrauf generiert, nichts vom Vault erreicht also einen Reporting-Autor.
• Kosten werden zu einer Entscheidung über die Dimensionierung. Warehouse Compute ist messbar und reservierbar. Zeilenaktivität im System von jemand anderem nicht.

Wo Sie anfangen

Zwei Analysen, ein Nachmittag Aufwand: Der nach Tabelle sortierte MAR-Report sagt Ihnen, welche Quellen auf direkte Ingestion umziehen sollten. Das Inventar der Skripte nach dem Load, die nur existieren, um den Connector-Output aufzubereiten, sagt Ihnen, was das Modell enthalten muss. Beide Listen sind meist kürzer als erwartet, und beide sind das ganze Projekt.