Co je business klíč v Data Vaultu?
Business klíč je identifikátor, který vaši zaměstnanci a zákazníci skutečně používají: číslo zákazníka, číslo faktury, ID smlouvy. Je stabilní, sdílí ho více systémů a staví na něm každý hub v Data Vaultu.
Zní vám to povědomě?
- Model vznikl podle databázového schématu a byznys v něm nepozná jediný klíč.
- Po migraci ERP má každý zákazník nové ID a historie se už nedá propojit.
- Dva systémy evidují tytéž zákazníky a datový sklad nedokáže určit, které záznamy k sobě patří.
Hub je jen tak dobrý jako klíč, na kterém stojí. V Data Vaultu je klíčem k úspěchu business klíč.
Co je business klíč
Business klíč je identifikátor, který používá samotný byznys: číslo zákazníka v dopise, číslo faktury, které zákazník nadiktuje do telefonu, ID smlouvy v e-mailu. Zaměstnanci i zákazníci tyto klíče znají, a proto jsou stabilní. Systém může přečíslovat své interní řádky, ale číslo vytištěné na deseti tisících faktur jen tak změnit nemůže.
Z pohledu klasického datového modelování je business klíč přirozený klíč, jeden z kandidátních klíčů entity, na rozdíl od náhradního klíče, který si databáze generuje pro vlastní potřebu. Pokud jste někdy vybírali primární klíč pro konceptuální model, tuto práci už jste odvedli.
Jak je najít: trik s papírovou fakturou
Mnoho datových inženýrů a modelářů se zdráhá ptát uživatelů z byznysu na klíče. Otázka zní technicky a odpovědi sklouzávají k názvům tabulek. Jednoduché cvičení tomu předejde:
- Požádejte uživatele z byznysu, aby vytiskli několik skutečných dokladů: objednávku, fakturu, dodací list.
- Zeptejte se jich: „Když vám kvůli tomuto dokladu zavolá zákazník, co vám řekne, abyste ho dohledali?“
- Zvýrazněte, na co ukážou.
Zvýrazněné identifikátory jsou vaše business klíče. Na stejném listu papíru vidíte i pojmy, které je obklopují (zákazník, objednávka, produkt), a jejich vzájemné vztahy, a to je začátek modelu.
Proč Data Vault staví na business klíčích
- Pasivní integrace. Business klíče jsou zdrojovým systémům společné. Když CRM i ERP
načtou zákazníka
C-10442do stejného hubu, jejich data se propojí bez jakékoli ruční integrační logiky: práci odvede sdílený klíč a naše automatizace. - Migrace zdrojových systémů. Když se zdrojový systém nahradí, jeho technické klíče se změní. Jeho business klíče ne, takže historie před migrací a po ní stále na sebe navazuje.
- Generace datových skladů. Totéž platí pro samotný datový sklad. Když má nové řešení datové integrace nebo DWH převzít data ze starého, business klíče je propojí, protože jsou stabilní i mezi verzemi DWH.
Tam, kde stejný klíč znamená v různých systémech různé věci, například objednávka 1018
ve švýcarském a německém ERP, je od sebe oddělí Business Key Prefix.
Tam, kde se klíč skládá z několika částí, například z kódu společnosti a čísla zákazníka, je
business klíč prostě složený.
Háček
Většina zdrojových systémů ukládá business klíč do entity, kterou klíč definuje: číslo zákazníka je v tabulce zákazníků. Vztahy však používají technické klíče. Řádek objednávky nese interní systémové ID zákazníka, ne číslo zákazníka. Jak se odtud dostat k modelu postavenému na business klíčích, je tématem dalšího článku této série, technické versus business klíče.
Co se mění s Datavault Builderem
V Datavault Builderu definujete pojem jednou. Poté k němu namapujete každý zdroj tím, že určíte, které jeho sloupce tvoří business klíč, a Datavault Builder udělá vše potřebné pro to, aby integrace proběhla: hub, práce s klíči i načítací kód se vygenerují. Úsilí věnujete rozhovoru s byznysem, ne psaní načítací logiky.
Podívejte se, jak to funguje na jednom z vašich zdrojů
Rezervujte si bezplatné demo a přineste konektor, který vás stojí nejvíce peněz nebo času.
Tři kroky k vašim business klíčům
-
Vytisknout doklady
Požádejte uživatele z byznysu, aby na první schůzku přinesli skutečné objednávky, faktury a dodací listy.
-
Položit jednu otázku
Když vám kvůli tomuto dokladu zavolá zákazník, co vám řekne, abyste ho dohledali?
-
Zvýraznit odpověď
Každý identifikátor, na který ukážou, je business klíč. Doklady navíc ukazují pojmy a jejich vzájemné vztahy.
Jak Datavault Builder odstraňuje třecí plochy při ingestu dat
-
Ingest dat je integrovaný
Dávkové, delta i CDC nahrávání z databází, souborů, REST API, NoSQL a Python zdrojů, přičemž proudy jako Kafka přicházejí v micro-batches. Stejná platforma, která generuje datový sklad, bez dalších faktur za licence.
-
Vaše schéma, nikoli schéma dodavatele
Zdrojové tabulky jsou namapovány na model Data Vault 2.0, který jste sami navrhli. Nový sloupec nebo přejmenovaná tabulka mění pouhé mapování, nikoli řetězec post-load skriptů.
-
Přenášejí se pouze delty
Huby, linky a satelity nahrávají jen to, co se skutečně změnilo. Plná přenačtení zůstávají ve stagingu, místo aby se každou noc přepočítávala v celém skladu.
-
Historie se uchovává automaticky návrhem
Každá změna je zachycena tak, jak dorazí, takže historický reporting funguje i tam, kde zdrojový systém přepisuje vlastní záznamy.
-
Kód, který nikdy nemusíte psát ručně
Nahrávání, historizace a lineage se generují z modelu v reálném čase a běží nativně na Snowflake, Databricks, BigQuery, SQL Serveru, Fabricu, Oracle nebo PostgreSQL.
-
Jedna platforma, až o devět nástrojů méně
Modelování, ETL, CI/CD, dokumentace a lineage na jednom místě. Právě to umožňuje přejít od zadání požadavku do produkce za 14,7 minuty.
Seznamte se s naším expertem
Dvacet minut s naším obchodním ředitelem a upřímná odpověď, zda se to hodí pro váš technologický stack.
Matt Collett
Sales Director
Skvělé, vyberte si vyhovující termín:
Další problémy, které tato série řeší
-
Technické klíče vs. business klíče v Data Vaultu
Zdrojové systémy uchovávají business klíč v kmenovém záznamu, ale každý vztah běží přes technické klíče. Čtyři způsoby, jak s tím naložit, co který stojí, a vzor, který používáme my: PSA hub pro technické klíče, namapovaný na hub business klíčů.
-
Co je satelit v Data Vaultu?
Satelit obsahuje vše, co popisuje hub: jména, stavy, částky a každou jejich změnu, která se připojí jako nový řádek a nikdy se nepřepisuje. Je to Slowly Changing Dimension typu 2 bez příkazu UPDATE, se zabudovanou úplnou auditní stopou.
-
Co je link v Data Vaultu?
Link zaznamenává vztah mezi business klíči: tato objednávka patří tomuto zákazníkovi. Datavault Builder pokrývá klasický link Data Vaultu a přidává transakční link ukotvený na grain hubu, který určuje granularitu transakce a umožňuje vztahy mezi transakcemi.
-
Co je hub v Data Vaultu?
Hub představuje jeden klíčový obchodní pojem, například zákazníka, produkt nebo účet, jako seznam jeho klíčů: všech, které datový sklad kdy obdržel, každého právě jednou. Ukládá identitu, ne stav, a právě díky této střídmosti v něm zanikají datová sila zdrojových systémů.
Otázky a odpovědi
- Dan Linstedt. Metodu vyvinul v 90. letech a zveřejnil ji kolem roku 2000. Data Vault 2.0, který k modelu přidává hash klíče, metodiku a architekturu, následoval v roce 2013.
- Standardní referencí je kniha Building a Scalable Data Warehouse with Data Vault 2.0 od Dana Linstedta a Michaela Olschimkeho (Morgan Kaufmann, 2015).
- Ne. Bill Inmon vidí v Data Vaultu další vývoj svého pojetí podnikového datového skladu ve třetí normální formě, nikoli konkurenční přístup.
- Ne. Dimenzionální výstup bývá součástí implementace Data Vaultu: vault uchovává integrovanou historii a nad ním se pro reporting stavějí hvězdicová schémata. Tentýž vault může dodávat i ploché tabulky nebo Unified Star Schema.
- Díky automatizaci lze pohled ve třetí normální formě nad Data Vaultem vygenerovat zcela deterministicky. Vault ukládá data jen jednou a vrstva 3NF se odvozuje z modelu. Jak to funguje.
- Pokusit se o něj bez automatizace. Data Vault stojí na malé sadě přísných, opakujících se vzorů. Právě proto je ruční psaní zdlouhavé a náchylné k chybám, kdežto generování je přímočaré. Proto byste měli používat Datavault Builder.
- Ano. Rozdělení klíčů, vztahů a historie do hubů, linků a satelitů znamená více tabulek než u normalizovaného nebo dimenzionálního modelu. Proto by fyzickou vrstvu měl odstínit přístup řízený modelem, jako je Datavault Builder: pracujete s modelem obchodních pojmů a tabulky se generují.
- Objednejte si demo a podívejte se, jak vzniká Data Vault nad vašimi vlastními zdroji, nebo si objednejte školicí prostředí a vyzkoušejte si to sami.
- Tady. Datavault Builder je řešení pro automatizaci Data Vaultu: podívejte se na ceny nebo si objednejte demo.
- Datavault Builder se licencuje ročně, formou předplatného práva na užívání softwaru. Trvalé licence jsou k dispozici na vyžádání. Edice a jejich obsah najdete na stránce s cenami.