Synapse - jak stworzyć workspace i załadować dane w 5 minut.



Synapse Analytics Workspace to dość nowa usługa od Microsoft’u zorientowana na pracę z danymi w ramach platformy Azure, która łączy wiele istniejących usług w ujednolicony obszar roboczy. Może być używany do przygotowania i zarządzania danymi, jako hurtownia danych, platforma big data oraz do zadań związanych z AI. Synapse workspace w dużej mierze pokrywa się z Azure Data Factory więc zdecydowałem się sprawdzić na prostym przykładzie załadowania danych z pliku na bazę synaps’ową czy będzie to tak samo proste. W paru prostych krokach opiszę jak stworzyć taki workspace i ustawić kopiowanie danych do bazy.


Wchodzimy na portal azure i w ‘Azure Synapse Analytics’ klikamy ‘Create Synapse workspace’. Uzupełniamy wymagane dane w zakładkach ‘Basics’, gdzie ustawiamy nazwę naszego workspace i ‘Security’ danymi do konta administratora.


Pierwszym krokiem w naszym workspace będzie przejście do zakładki ‘Manage’ i ‘Linked Services’. Dodajemy nowe połączenie i wybieramy ‘Azure Data Lake Storage Gen2’.


Łączymy się do naszego ADL wybranym sposobem- przez subskrypcję Azure lub key-vault.

Niezależnie od sposobu pamiętajmy zrobić test połączenia.

Następnie w zakładce ‘Integrate’ tworzymy nowy przepływ i wybieramy ‘Copy data’.


W zakładce ‘Source’ wybieramy dane źródłowe dla naszej tabeli i tworzymy dataset dla naszego pliku.


Jeśli nie mamy jeszcze utworzonej tabeli to możemy to zrobić używając prostego skryptu. Po kliknięciu prawym przyciskiem myszy na folder ‘Tables’ znajdujący się pod naszą bazą danych wyświetli nam się opcja dodania nowej tabeli.




Po utworzeniu naszej tabeli docelowej możemy użyć jej jako ‘Sink’ w naszym ‘Copy activity’.


Jak wspomniałem na początku Synapse Analytics Workspace jest to integracja kilku istniejących i nowych usług mających na celu przyspieszenie pracy na danych. Dzisiaj przyjrzeliśmy się odpowiednikowi fabryki Azure i samo kopiowanie danych z pliku na ADL używając transformacji ‘copy’ bez skomplikowanego tworzenia pełnego procesu, wydaje się być niemal identyczne jak na Azure Data Factory, co wywołało we mnie dużą ciekawość, w czym jeszcze możemy znaleźć podobieństwa między ADF a Synapse workspace, a gdzie skrywają się największe różnice obu tych narzędzi. Podzielę się moimi odkryciami w kolejnym artykule.



Robert Hauzer

Business Intelligence Developer

robert.hauzer@bitpeak.pl

70 wyświetleń

Ostatnie posty

Zobacz wszystkie