Airflow. Monitorowanie przepływu danych Piotr Chudzik
- Autor:
- Piotr Chudzik
- Wydawnictwo:
- Helion
- Wydawnictwo:
- Helion
- Ocena:
- Stron:
- 168
- Druk:
- oprawa miękka
- Dostępne formaty:
-
PDFePubMobi
Opis
książki
:
Airflow. Monitorowanie przepływu danych
Czego się nauczysz?
- Tworzenia i konfigurowania DAG-ów w Apache Airflow
- Stosowania operatorów Bash, Python, PythonVirtualenv oraz ExternalPython
- Harmonogramowania i zarządzania wykonywaniem zadań
- Wykorzystywania sensorów i operatorów do obsługi różnych źródeł danych
- Definiowania reguł wykonywania zadań i zależności między nimi
- Przekazywania informacji między zadaniami za pomocą XCom, Variable i szablonów Jinja
- Konfigurowania parametrów DAG-ów oraz zarządzania logiką uruchamiania
- Wykorzystywania operatorów SQL do integracji z bazami danych
- Rozszerzania funkcjonalności Airflow za pomocą hooków i niestandardowych operatorów
- Zarządzania datasetami i realizowania backfill
- Zapewnienia bezpieczeństwa poprzez zarządzanie kluczami i uprawnieniami użytkowników
- Integracji Airflow z zewnętrznymi systemami (Docker, SFTP, MongoDB)
- Uruchamiania klastra Airflow i zarządzania pulami oraz kolejkami
- Korzystania z narzędzi Airflow CLI do administracji i monitorowania
- Zarządzania użytkownikami, rolami, połączeniami i zmiennymi w Airflow
Wszystkie dane pod pełną kontrolą
W czasach, gdy wiele naszych działań przeniosło się do przestrzeni cyfrowej, tworzymy i agregujemy ogromne ilości danych. Przechowujemy je na dyskach urządzeń, mobilnych nośnikach pamięci, w chmurach, a nawet w formie załączników poczty elektronicznej. Aby uzyskać z nich jak najwięcej informacji, musimy wykonywać odpowiednie procesy analityczno-agregujące, które następnie pozwolą nam na wyciągnięcie właściwych wniosków, a potem podjęcie odpowiednich decyzji. W tym miejscu często pojawia się problem: w jaki sposób pogodzić różne formaty danych, odpowiednio je ze sobą połączyć, wykonać mapowanie i konwertowanie?
Wtedy do gry wkraczają tak zwane orkiestratory zadań, a należy do nich między innymi Apache Airflow. Jest to jedno z najpopularniejszych narzędzi służących do tworzenia, organizowania i monitorowania przepływów pracy, a także uruchamiania łańcuchów zadań na podstawie danych pochodzących z rozmaitych źródeł i występujących w różnych formatach.
Apache Airflow - darmowej usłudze dostępnej dla każdego, kto zna język Python - poświęcona jest ta książka:
- Znajdziesz w niej opis poszczególnych modułów narzędzia Apache Airflow
- Korzystając z zawartych w niej wskazówek, przeprowadzisz proces instalacji i przygotujesz środowisko pracy
- Przyjrzysz się poszczególnym elementom Apache Airflow
- Poznasz dobre praktyki związane z pracą w orkiestratorze danych
Wybrane bestsellery
Piotr Chudzik - pozostałe książki
Helion - inne książki
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas: sklep@helion.pl
Książka drukowana



Oceny i opinie klientów: Airflow. Monitorowanie przepływu danych Piotr Chudzik
(0)