Dátové skladovanie v tradičnom on-premise svete je dobre prepracovaná a preštudovaná disciplína. So všetkými logickými a fyzickými architektúrami, technikami a metodológiami dátového modelovania, priemyselnými dátovými modelmi, obchodnými glosármi a princípmi správy dát možno nájsť množstvo návodov, ako správne zostaviť riešenie. Referenčná architektúra cloudového dátového skladu pre MS Azure

Dátové sklady v tradičnom on-premise svete sú dobre prepracovanou a študovanou disciplínou. So všetkými logickými a fyzickými architektúrami, technikami a metodológiami dátového modelovania, priemyselnými dátovými modelmi, obchodnými glosármi a princípmi správy dát je možné nájsť množstvo návodov, ako správne zostaviť riešenie.
So vznikajúcimi cloudovými technológiami a rôznymi možnosťami však môže byť hľadanie osvedčených postupov a overenej architektúry pre cloud náročné. Preto je potrebné vyvážiť možnosti z hľadiska praktickosti, udržateľnosti a doby uvedenia na trh.‍

Zjednodušená referenčná architektúra

Nasledujúca schéma zobrazuje osvedčené postupy pre sadu nástrojov, ktoré zahŕňajú potrebné funkčné bloky.
 

• Príjem údajov zo zdrojov si zvyčajne vyžaduje rýchlu a spoľahlivú replikáciu pre nákladovo efektívne úložisko. Použitie Azure Data Factory a/alebo Pipelines na replikáciu údajov do úložiska Azure Data Lake je určite dobrá voľba

 

• Dátové kanály s väčšinou obchodnej logiky pre typické jadro dátového skladu vyžadujú implementáciu komplexnej logiky transformácie. Aj tu je použitie Azure Data Factory a/alebo Pipelines a ukladanie údajov buď v Azure Synapse alebo Azure SQL Database veľmi opodstatneným rozhodnutím.

 

• Na účely streamovania údajov, ak by bola potrebná integrácia v reálnom čase, je veľmi dobrou praxou pracovať s Azure Event Hub a Azure Stream Analytics a šíriť údaje do Azure Cosmos DB.

 

• Vytváranie prehľadov, veda o údajoch a strojové učenie sú zvyčajne záležitosťou vkusu. Azure ich však podporuje pomocou funkcií MS PowerBI a Azure Machine Learning

 

• V neposlednom rade sú možnosti správy údajov Azure väčšinou podporované službou Azure Purview

Ako ADELE pomáha urýchliť migráciu?

Vyššie uvedený diagram popisuje referenčnú architektúru nielen pre dátový sklad, ktorý sa buduje od nuly. Rovnaké princípy architektúry možno použiť na migrovaný/replatformovaný starý dátový sklad. S dedičstvom sa však veci stávajú komplikovanejšími.
Čo robiť s existujúcimi historickými údajmi? Ako sa uistiť, že všetky funkcie, úlohy ETL a dátové kanály sú správne migrované s rovnakým správaním?
Tu je ADELE najužitočnejšia. Pochopenie staršieho dátového skladu, zber metadát a poskytovanie možností automatického generovania pre Azure Data Factory a/alebo Pipelines.