Mění se každé nasazení Azure Data Factory v boj s ARM šablonami?

Azure Data Factory skrývá svůj podkladový JSON dobře, dokud nepřijde den nasazení. V tu chvíli se ARM šablona, soubory parametrů, globální parametry a přepisy linked services objeví najednou a jediná neshoda datových typů zablokuje nasazení, dokud ji někdo nedohledá.

Proč jsou releases křehké

• Pipeline je JSON, ať už jej vidíte, nebo ne. Vizuální editor zapisuje definice pipelines, datasetů a linked services a proces publikování je kompiluje do ARM šablony. Některé týmy to balí do Bicepu; artefakt pod ním zůstává stejný.
• Rozdíly mezi prostředími se řídí soubory parametrů. Dev, Test a Prod se liší v připojovacích řetězcích, klíčích a názvech a tyto rozdíly jsou uložené v ručně spravovaných souborech.
• Závislosti jsou implicitní. Datasety a linked services se sdílejí napříč pipelines; úprava jedné z nich pro pipeline, kterou jste otestovali, změní chování i těch, které jste netestovali.
• Rollback je nové nasazení předchozího stavu. Návrat zpět vyžaduje předchozí šablonu a vše, na co odkazovala, musí v cíli stále existovat.

ADF se chová tak, jak je u prostředků Azure běžné: nasazuje se jako šablona. Šablony jsou však navrženy pro statickou infrastrukturu, účty úložiště a sítě. Schéma datového skladu je stavové a mění se s každou release; na to šablony navržené nejsou.

Kam patří správa nasazení

• Do generátoru. Pokud datový sklad vychází z modelu, release je rozdílem mezi dvěma stavy tohoto modelu a nástroj ví, na čem každý rozdíl závisí.
• Včetně rollbacku. Generovaná release ví, co změnila, takže reverzní skript existuje dříve, než se release spustí.
• Porovnáno, nikoli odhadováno. Rozdíl mezi Testem a Produkcí má být report, nikoli překvapení při spuštění.

Co se mění s Datavault Builderem

Datavault Builder vytváří release porovnáním dvou stavů s integrovanou podporou pro Git a Gitflow. Stavem může být vaše lokální prostředí, stav uložený v Gitu, jiné živé prostředí, zip soubor nebo složka; porovnání vypíše rozdíly a vy zvolíte, které z nich nasadit.

• Žádná šablona k údržbě. Release je množina vybraných rozdílů, vygenerovaná pro cílové prostředí. Zvolte datový produkt a nástroj navrhne potřebný hub, satelit, staging tabulku i zdroj.
• Rollback se generuje spolu s ní. Každá release nese svůj reverzní skript i verzi modelu, ke které patří.
• Prostředí se porovnávají, nikoli odhadují. To, co má produkce obdržet, je seznam rozdílů mezi jejím stávajícím stavem a nasazovanou verzí.
• Odchylky ve zdrojích nevyžadují novou release. Chybějící sloupce se načtou jako null s upozorněním, sloupce, které narostou, se rozšíří a nové sloupce znamenají úpravu mapování.
• Vaše nástroje pro CI zůstávají. Azure DevOps nebo GitHub Actions spouštějí vygenerovaný balíček; samotnému skladu již rozumět nemusejí.

Co rozhodnout

Zrevidujte svůj proces nasazování a spočítejte dvě věci: počet souborů parametrů a přepisů pro jednotlivá prostředí, které udržujete, a počet nasazení v minulém čtvrtletí, která selhala na kroku šablony. Přesně tuto režii generovaná release odstraňuje.