Azure Data Factory Processing Framework




Przetwarzanie danych na platformie Azure zapewnia dużo więcej udogodnień niż dawna technologia SQL Server Integration Services (SSIS). W chmurze oferowany jest przyjemniejszy dla oka inferfeace oraz możliwość tworzenia pipeline i dataflow z darmowych templates. Skraca to czas poświęcony na development, a przede wszystkim pozwala płacić za rzeczywiste użycie procesorów, dysków itp. Czy w związku z tym można powiedzieć, że ADF jest idealnym narzędziem, które wyparło SSIS? Prawie tak. Brakuje w nim wbudowanego modułu metadanych ułatwiającego pracę z logami i z samym procesem przetwarzania danych.

Z pomocą przychodzi „MRPAULANDREW” - architekt big data specjalizujący się w rozwiązaniach opartych o chmurę Microsoft Azure. Ekspert ten przygotował całkowicie darmowy framework ułatwiający obsługę metadanych w ADF. W tym artykule krok po kroku zostanie pokazane, jak wdrożyć zaproponowane przez Paula Andrew rozwiązanie.


Jak zainstalować ADF Processing Framework?

Najpierw należy pobrać pliki potrzebne do wdrożenia ADF.PROCFWK, bo tak właśnie nazywa się udostępniony przez Paula framework (Azure Data Factory Processing Framework). Całość jest dostępna na stronie:

https://github.com/mrpaulandrew/procfwk Można jednocześnie otworzyć plik projektu ProcessingFramework.sln - rekomendowana wersja programu to Visual Studio 2019 bo właśnie w nim wspomniany projekt został stworzony - i sprawdzić, jakie struktury będą wdrażane. Zanim jednak nastąpi samo wdrożenie, należy utworzyć kolejno:

1) instancję SQL do zapisu logów i zarządzania ładowaniem:

Rys. 1 - Tworzenie instacji bazy danych

2) Azure Function APP:

Rys. 2 - Konfigurowanie Azure Function App

3) oraz Azure Key Vault

Rys. 3 - Stworzenie Azure Key Vault

Następnym krokiem w deploymencie frameworku jest przypisanie dostępów:

Rys. 4 - Przypisywanie dostępów użytkownikom

Później trzeba dodać APP Key funkcji, jako secret w Key Vault. W tym celu w przeglądzie funkcji należy kliknąć:

1) Classic Function App Management

2) Function App settings

3) i skopiować klucz:

Rys. 5 - Dodawanie APP Key funkcji jako secret

Skopiowaną wartość należy wkleić jako secret:

Rys. 6 - Ekran tworzenia secretu

Ostatnim krokiem, który należy wykonać, by zainstalować Framework, jest dodanie kolejnego secreta - tym razem Connection String. W tym celu:

1) Należy pobrać template connection stringa z utworzonej w pierwszym kroku instancji SQL

Rys 7. - Pobieranie template connection stringa

2) Zmienić użytkownika i hasło

3) Dodać secret tak jak było to zaprezentowane na screenie w przypadku App key. Zachęcamy do śledzenia naszego bloga, na którym niebawem pojawi się rozwinięcie tematu Metadanych w Azure Data Factory. W kolejnej części zostanie omówione, jak krok po kroku wdrożyć struktury bazodanowe i ustawić je w taki sposób, żeby umożliwić komunikację ADF z bazą metadanych.



Robert Hauzer

Business Intelligence Developer

robert.hauzer@bitpeak.pl


25 wyświetlenia