Konfiguracja bazy danych w ADF Processing Framework

Azure Data Factory w porównaniu do SSIS potrzebuje krótszego czasu na development i pozwala płacić za rzeczywiste użycie procesorów, dysków i nie tylko. Jedynym czego brakuje ADF, by definitywnie wyprzedzić rywala jest wbudowany moduł metadanych, który pozwoli na pracę z logami i z samym procesem przetwarzania danych. "MRPAULANDREW" przygotował bezpłatny framework, który uzupełnia opisane braki. Więcej można przeczytać o nim w pierwszej części z serii Metadane w ADF: o wdrażaniu ADF Processing Framework, w którym opisane zostały ustawienia Azure portal.

W tym artykule, w kilku krokach zostanie przedstawione, jak można ustawić struktury w taki sposób, aby dostępna była komunikacja między ADF a bazą metadanych.

Pierwszym krokiem będzie otworzenie pobranego wcześniej repozytorium w Visual Studio (https://github.com/mrpaulandrew/procfwk) i publikacja bazy danych:

Rys. 1 - Okno publikacji bazy danych

W kolejnym kroku należy opublikować FunctionApp.

Rys. 2 - Ekran wyboru miejsca publikacji

Aby to zrobić trzeba:

1. Określić Azure jako miejsce docelowe (patrz: Rysunek 2)

2. Następnie wybrać Azure Function App (Windows)

3. Uzupełnić dane tworzonej instancji

4. Sprawdzić, czy wszystkie funkcje prawidłowo się opublikowały

Rys. 3 - Ekran opublikowanych funkcji

Teraz jeden z ważniejszych kroków deploymentu - wdrożenie pipelines, które będą sterowały całym procesem w kontakcie z bazą metadanych.

Można wykonać go za pomocą skryptu PowerShell, podmieniając odpowiednie parametry tak jak pokazano to na rysunku 4:

Rys. 4. Konfiguracja PowerShell prowadząca do wdrożenia pipeline

Po wykonaniu skryptu należy sprawdzić, czy w fabryce prawidłowo wdrożyły się pipelines sterujące:

Rys. 5. Status wdrożenia pipelines sterujących

Jeśli struktury bazodawnowe zostały ustawione poprawnie, ostatnim krokiem będzie ustawienie i przetestowanie Linked Services:

• Key Vault

• Function App

• SQLDB connecting string

Aby z sukcesem wdrożyć metadane do fabryki, należy jeszcze właściwie rozmieścić tabele konfiguracyjne na bazie danych:

Rys. 6. Skrypt konfigurujący poświadczenia do łączności bazy danych z ADF

Zmienne trzeba zaś uzupełnić danymi, które można znaleźć na portalu Azure.

Następnie - zmienić ustawienia domyślne fabryki:

Rys. 7. Zmiana ustawień fabryki w celu dokonania deployment struktur

W podobny sposób trzeba uzupełnić tabele:

• procfwk.Pipelines

• procfwk.Stages

Jeśli okaże się, że pipelines wymagają parametrów, można je ustawić w tabeli procfwk.PipelineParameters.

Po wykonaniu wszystkich tych kroków, wdrożenie metadanych do Azure Data Factory można uznać za zakończone. Pozostaje jedynie testowo odpalić proces i przeglądać nowe logi!

Dzięki kilku, nietrudnym operacjom opisanym w tym artykule i komplementarnej do niego pierwszej części, można z łatwością uzupełnić Azure Data Factory o funkcje, dzięki którym będzie można uznać je za narzędzie obecnie najbliższe doskonałości.

Mam nadzieję, że przedstawiony temat wdrożenia struktur bazodanowych umożliwiających właściwą komunikację ADF z bazą metadanych został przedstawiony w czytelny sposób i zachęci wiele osób do sprawdzenia zaproponowanych ustawień.

Robert Hauzer

Business Intelligence Developer

robert.hauzer@bitpeak.pl