Różnice i podobieństwa między Azure Data Factory a Synapse Analytics.



Azure Data Factory i Azure Synapse Analytics to dwie bardzo do siebie zbliżone usługi oferujące wizualną integrację danych z wielu źródeł. Pracując z Synapse mamy pełną kompatybilność w obu rozwiązaniach, które z nich będzie dla nas odpowiednie? W artykule porównam obie usługi i postaram się pomóc w podjęciu decyzji.


Zacznijmy od krótkiej definicji obu usług. W dokumentacji Microsoftu możemy znaleźć poniższe opisy:

Azure Synapse Analytics (ASA) to nieograniczona usługa analityczna, która łączy integrację danych, magazynowanie danych i analizę danych big data. Daje swobodę wykonywania zapytań o dane na Twoich warunkach, przy użyciu zasobów bez serwerowych lub dedykowanych — na dużą skalę. Usługa Azure Synapse łączy te światy z ujednoliconym środowiskiem umożliwiającym pozyskiwanie, eksplorowanie, przygotowywanie, przekształcanie, zarządzanie i udostępnianie danych na potrzeby natychmiastowej analizy biznesowej i uczenia maszynowego.


Azure Data Factory (ADF) to usługa ETL w chmurze platformy Azure umożliwiająca skalowalną integrację danych bez użycia serwera i transformację danych. Oferuje bez kodowy interfejs użytkownika do intuicyjnego tworzenia oraz monitorowania i zarządzania za pomocą jednej usługi. Możesz również przenieść istniejące pakiety SSIS na platformę Azure i uruchomić je z pełną zgodnością w ADF. SSIS Integration Runtime oferuje w pełni zarządzaną usługę, dzięki czemu nie musisz się martwić o zarządzanie infrastrukturą.


Podsumowując usługa ASA, podobnie jak ADF, oferuje możliwości bez kodowej integracji danych. Możesz łatwo zbudować potoki integracji danych, korzystając z graficznego interfejsu. Ponadto Synapse umożliwia budowanie potoków zawierających skrypty i złożone wyrażenia w celu rozwiązania zaawansowanych scenariuszy ETL, przy czym ADF daje nam możliwość wykorzystania pakietów SSIS.


Synapse Analytics jest oparty na podobnej koncepcji co Data Factory, większość działań, które umożliwia nam ADF możemy również wykonać w ASA. Pomimo wielu cech wspólnych obu usług mają one również parę różnic. W Synapse doświadczymy nowych funkcji, braku niektórych rozwiązań dostępnych w fabryce, ale również funkcji, które mają oba środowiska, a działają nieco inaczej.


Podstawową różnicą jest udostępnienie SSIS Integration Runtime w ADF, czego nie znajdziemy w bliźniaczym rozwiązaniu:





Synapse posiada notebooki Spark, job’y Spark’owe i procedury składowane SQL pool, które nie są dostępne w ADF. Fabryka daje nam jedynie możliwość korzystania z notebook’ów Databricks’owych.



Kolejną różnicą, którą możemy zauważyć jest brak możliwości integracji Continuous integration (CI) i Continuous Delivery(CD) z usługą GitHub, nie są one częścią interfejsu użytkownika usługi Azure Synapse.


Z początku w Synapse brakowało funkcjonalności, którą od dawna mieliśmy w ADF - tworzenie pipeline z szablonu. Dodatkowo w listopadowej aktualizacji ASA dostała możliwość tworzenia bazy danych używając template gallery.





[1]W dokumentacji Microsoft’u możemy znaleźć poniższą tabelę, która daje nam pogląd na podstawowe różnice między ADF, a Synapse Analytics i będzie dobrym podsumowaniem:


[1] https://docs.microsoft.com/en-us/azure/synapse-analytics/data-integration/concepts-data-factory-differences




Robert Hauzer

Data Engineer

robert.hauzer@bitpeak.pl



89 wyświetleń

Ostatnie posty

Zobacz wszystkie