Airflow. Monitorowanie przepływu danych Piotr Chudzik
- Autor:
- Piotr Chudzik
- Wydawnictwo:
- Helion
- Ocena:
- Druk:
- oprawa miękka
Opis
książki
:
Airflow. Monitorowanie przepływu danych
Wszystkie dane pod pełną kontrolą
W czasach, gdy wiele naszych działań przeniosło się do przestrzeni cyfrowej, tworzymy i agregujemy ogromne ilości danych. Przechowujemy je na dyskach urządzeń, mobilnych nośnikach pamięci, w chmurach, a nawet w formie załączników poczty elektronicznej. Aby uzyskać z nich jak najwięcej informacji, musimy wykonywać odpowiednie procesy analityczno-agregujące, które następnie pozwolą nam na wyciągnięcie właściwych wniosków, a potem podjęcie odpowiednich decyzji. W tym miejscu często pojawia się problem: w jaki sposób pogodzić różne formaty danych, odpowiednio je ze sobą połączyć, wykonać mapowanie i konwertowanie?
Wtedy do gry wkraczają tak zwane orkiestratory zadań, a należy do nich między innymi Apache Airflow. Jest to jedno z najpopularniejszych narzędzi służących do tworzenia, organizowania i monitorowania przepływów pracy, a także uruchamiania łańcuchów zadań na podstawie danych pochodzących z rozmaitych źródeł i występujących w różnych formatach.
Apache Airflow - darmowej usłudze dostępnej dla każdego, kto zna język Python - poświęcona jest ta książka:
- Znajdziesz w niej opis poszczególnych modułów narzędzia Apache Airflow
- Korzystając z zawartych w niej wskazówek, przeprowadzisz proces instalacji i przygotujesz środowisko pracy
- Przyjrzysz się poszczególnym elementom Apache Airflow
- Poznasz dobre praktyki związane z pracą w orkiestratorze danych
Piotr Chudzik - pozostałe książki
-
Pierwsza była wirtualizacja: oprogramowanie symuluje istnienie zasobów logicznych korzystających z zasobów fizycznych. Po niej przyszła konteneryzacja, polegająca na tworzeniu obrazów - kopii danych - zawierających wszystkie pliki potrzebne do uruchomienia danej aplikacji. Środowiska produkcyjne z obu korzystają równolegle, ale to konteneryzacja stała się swojego rodzaju rewolucją w sektorze IT. Pozwoliła bowiem na sprawniejsze wdrażanie mikroserwisów, a także na optymalizację kosztów działania wielu aplikacji.- Druk
- PDF + ePub + Mobi pkt
(23,94 zł najniższa cena z 30 dni)
25.92 zł
39.90 zł (-35%) -
Jeśli myślisz o karierze inżyniera danych, ale nie masz doświadczenia w pracy na tym stanowisku, to ten kurs jest dla Ciebie idealną propozycją. Inżynier danych dostarcza je innym zespołom w firmie – usługę tę świadczy głównie dla analityków danych i dla data scientist. Do głównych obowiązków inżyniera danych należy tworzenie procesów ETL i ELT, walidacja danych i przygotowywanie ich poprzez budowanie systemu pobierania (na przykład strumienie danych lub orkiestracja zadań). Jego pracę ułatwiają i usprawniają odpowiednie narzędzia. Takie jak platforma analityczna Databricks.- Videokurs pkt
(89,40 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Mianem Linuksa określamy całą rodzinę systemów operacyjnych, które bazują na jądrze Linux. Jest to oprogramowanie wolne i otwarte, jego kod może być dowolnie wykorzystywany i rozpowszechniany oraz przebudowywany w zależności od potrzeb. Odkąd w 2017 roku oparto na nim najpopularniejszy system mobilny Android, Linux jest najbardziej rozpowszechnionym systemem operacyjnym na świecie. Przyszły informatyk, programista czy tester ma wręcz obowiązek go znać - bez Linuksa nie można działać w branży IT.- Videokurs pkt
(77,40 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%) -
Statycznie typowany język programowania Scala charakteryzuje się między innymi tym, że wspiera zarówno programowanie funkcyjne, jak i obiektowe. Co więcej, Scala jest językiem wieloplatformowym – działa na maszynie wirtualnej Javy i platformie .NET. W najnowszej wersji (3) składnia Scali mocno zbliża się do składni Pythona i równocześnie dzieli biblioteki z Javą, co czyni ją bardziej przystępną, pierwotnie bowiem próg wejścia dla tego języka był nieco wyższy niż na przykład dla Kotlina czy Javy. Warto poznać Scalę bliżej, szczególnie jeśli planuje się działać w takich dziedzinach jak data science, big data czy machine learning – programiści operujący w tych specjalizacjach na co dzień posługują się właśnie tym językiem. Korzystają z niego również takie firmy jak LinkedIn, Zalando czy X (wcześniej: Twitter).- Videokurs pkt
(38,70 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%) -
Jeśli jesteś programistą, na przykład pracujesz jako specjalista w dziedzinie DevOps i do Twoich zadań należy między innymi utrzymanie środowiska produkcyjnego – także z użyciem rozwiązań chmurowych – nazwa Kubernetes z pewnością nie jest Ci obca. Przypomnijmy jednak dla porządku: zyskujący popularność na całym świecie Kubernetes (zwany także K8s) jest otwartym oprogramowaniem służącym do automatyzacji procesów uruchamiania, skalowania i zarządzania aplikacjami w kontenerach. Co decyduje o sukcesie Kubernetesa? Po pierwsze własną implementację K8s posiada każde rozwiązanie chmurowe. Po drugie współpracuje on z wieloma narzędziami kontenerowymi, w tym oczywiście z Dockerem. Ale najważniejsze jest to, po co Kubernetes został stworzony. Pomaga on mianowicie utrzymać porządek w kontenerach stanowiących części danej aplikacji, zbierając je w logiczne grupy, co ułatwia ich odnajdywanie i zarządzanie nimi.- Videokurs pkt
(58,04 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%) -
Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.- Videokurs pkt
(101,40 zł najniższa cena z 30 dni)
84.50 zł
169.00 zł (-50%) -
Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić – na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifornijskim, dziś zarządzana przez Apache Software Foundation, świetnie nadaje się do analizy dużych zbiorów danych. Jej interfejs API, znany jako PySpark, skutecznie ułatwia integrację Sparka ze specjalistycznymi narzędziami PyData.- Videokurs pkt
(89,40 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Kurs video, który dziś proponujemy, skupia się na kwestii podatności Pythona na automatyzację. Pokażemy, jak zaoszczędzić czas dzięki efektywnemu programowaniu z wykorzystaniem najlepszych technik. Dobrze, by słuchacz przed przystąpieniem do szkolenia posiadał już pewną znajomość Pythona w zakresie podstawowych typów danych, zmiennych, pętli, instrukcji warunkowych, ponieważ w trakcie nauki nie będziemy do nich wracać. Przyjrzymy się za to zagadnieniom, które w materiałach dla początkujących programistów języka Python zwykle są pomijane, takim jak dekorator, argumenty z operatorami * i ** czy menadżer kontekstu. Dodatkowo poruszymy tematy programowania obiektowego, testowania, a także przygotowania środowiska pracy.- Videokurs pkt
(44,70 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Konteneryzacja jest alternatywą dla wirtualizacji. W pracy z nowo wdrażanymi, testowanymi czy usprawnianymi aplikacjami pozwala ograniczyć wykorzystanie zasobów i uruchamiać niezależnie wiele aplikacji na jednej maszynie. Kontenery są od siebie całkowicie odizolowane, nic o sobie nawzajem nie „wiedzą”, każdy zawiera własne środowisko. I właśnie ze względu na te zalety, choć temat jest stosunkowo świeży – na przykład ze współpracującego z Dockerem Kubernetesa można korzystać dopiero od około dziesięciu lat – konteneryzacja coraz częściej wygrywa z wirtualizacją, a sam Kubernetes staje się narzędziem powszechnie używanym w firmach IT i przez samodzielnych programistów. Nie bez znaczenia jest to, że gotowy, poświęcony mu moduł posiada praktycznie każde rozwiązanie chmurowe (takie jak Azure, GCP, AWS).- Videokurs pkt
(67,05 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Platforma Docker znacznie ułatwiła życie programistom. Dzięki niej zarówno program, jak i jego zależności, takie jak biblioteki, pliki konfiguracyjne czy lokalne bazy danych, można umieścić w lekkim, przenośnym wirtualnym kontenerze, uruchamialnym na praktycznie każdym serwerze z systemem pracującym na jądrze Linux. Nic więc dziwnego, że Docker stał się tak popularny. Z jego pomocą zrealizowano do tej pory wiele projektów. Społeczność jego użytkowników jest rozbudowana, a zwolenników tej platformy można znaleźć w niemal każdej firmie z branży IT.- Videokurs pkt
(58,04 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%)
Helion - inne książki
-
Tę książkę docenią praktycy: analitycy danych i inżynierowie uczenia maszynowego. Opisano w niej różne architektury transformerów — od pierwszych modeli podstawowych po najnowsze osiągnięcia w generatywnej sztucznej inteligencji. Dzięki lekturze nauczysz się wstępnego szkolenia i dostrajania modeli LLM, a także pracy nad różnymi przypadkami użycia. Poznasz takie problemy jak halucynacje i zagrożenia prywatności, a następnie dowiesz się, jak je łagodzić. W książce pokazano ponadto, jak poprawiać dokładność modeli LLM i uzyskiwać większą kontrolę nad generowanymi przez nie wynikami. Nie zabrakło ciekawych szczegółów dotyczących modeli generatywnych opartych na transformerach, modeli wizyjnych i architektur multimodalnych, jak również opisu najlepszych praktyk.- Druk
- PDF + ePub + Mobi pkt
(89,40 zł najniższa cena z 30 dni)
89.40 zł
149.00 zł (-40%) -
Zapnij pasy przed wyprawą życia! „Mars: Nowa Ziemia” to fascynująca opowieść o ludzkiej determinacji, by postawić stopę na Czerwonej Planecie. Astrofizyk Andrew May zabierze Cię w podróż przez historię eksploracji Marsa — od pierwszych wyobrażeń i obserwacji astronomicznych aż po najnowsze misje i ambitne plany kolonizacyjne. Nasz planetarny sąsiad od wieków fascynuje ludzkość, pobudzając wyobraźnię pisarzy, naukowców i inżynierów. Ta książka to nie tylko zapis technologicznych osiągnięć, ale także opowieść o ludziach, którzy marzą, planują i podejmują ryzyko, aby zmienić rozumienie Wszechświata i uczynić z nas gatunek międzyplanetarny. Jeśli zastanawiasz się, jakie wyzwania czekają podczas podróży na Marsa i czy człowiek jest gotowy na życie poza Ziemią, ta książka jest dla Ciebie. Przygotuj się na ekscytującą misję, która może zmienić przyszłość ludzkości.- Druk
- PDF + ePub + Mobi pkt
(35,40 zł najniższa cena z 30 dni)
38.35 zł
59.00 zł (-35%) -
Dzięki tej książce łatwiej poradzisz sobie z zastosowaniem ekosystemu LlamaIndex i nauczysz się wdrażać własne projekty. Na praktycznych przykładach zapoznasz się z procesem personalizacji i uruchamiania projektów LlamaIndex. Dowiesz się, jak przezwyciężać ograniczenia dużych modeli językowych, zbudujesz aplikacje dla użytkowników końcowych i zdobędziesz umiejętności w zakresie pozyskiwania danych, indeksowania, obsługi zapytań i łączenia dynamicznych baz wiedzy, obejmujących generatywną sztuczną inteligencję i duże modele językowe. Pod koniec lektury zagłębisz się w tworzenie niestandardowych rozwiązań, co pozwoli Ci dobrze zrozumieć możliwości i zastosowania LlamaIndex.- Druk
- PDF + ePub + Mobi pkt
(53,40 zł najniższa cena z 30 dni)
53.40 zł
89.00 zł (-40%) -
Tę książkę docenią projektanci, specjaliści z zakresu metodyki DevOps i badacze zajmujący się bezpieczeństwem, którzy znajdą w niej niezrównane źródło wiedzy o kluczowych elementach systemu operacyjnego i jego słabych punktach. Poszczególne zagadnienia zilustrowano za pomocą starannie przygotowanych przykładów bazujących na narzędziu PowerShell. Przykłady te można testować i dostosowywać. Obejmują one zarówno podstawową analizę zabezpieczeń zasobów, jak i techniki zaawansowane, takie jak uwierzytelnianie sieciowe. Dzięki tej praktycznej książce przyswoisz wiedzę o tym, jak system Windows zabezpiecza pliki i rejestr, jak implementuje uwierzytelnianie lokalnie i za pośrednictwem sieci, a także od podstaw przeanalizujesz zagadnienia udzielania dostępu do zasobu.- Druk
- PDF + ePub + Mobi pkt
(89,40 zł najniższa cena z 30 dni)
89.40 zł
149.00 zł (-40%) -
Ta książka krok po kroku wprowadzi Cię w podstawy Raspberry Pi, programowanie i praktyczne projekty ― od prostych układów dla początkujących po bardziej zaawansowane systemy. Znajdziesz tu także porady dotyczące rozwiązywania problemów i poprawy niezawodności swoich projektów.- Druk
(41,40 zł najniższa cena z 30 dni)
44.85 zł
69.00 zł (-35%) -
Z tą książką krok po kroku zagłębisz się w metody OSINT, a także powiązane z nim zagadnienia natury prawnej i etycznej. Poznasz sposoby gromadzenia i analizowania informacji z wykorzystaniem wyszukiwarek, portali społecznościowych i innych zasobów internetowych. Zrozumiesz wagę anonimowości i technik gwarantujących bezpieczne poruszanie się po sieci, ułatwiających zarządzanie cyfrowym śladem czy tworzenie fikcyjnych tożsamości internetowych. Zdobędziesz również doświadczenie w korzystaniu z popularnych narzędzi OSINT, takich jak Recon-ng, Maltego, Shodan czy Aircrack-ng. Dowiesz się też, jak ograniczać ryzyko, przewidywać cyberataki, zapobiegać im i na nie reagować — wszystko dzięki technikom opartym na OSINT.- Druk
- PDF + ePub + Mobi pkt
(40,20 zł najniższa cena z 30 dni)
40.20 zł
67.00 zł (-40%) -
Spring należy do rodziny frameworków Javy. Jego pierwsza edycja ujrzała światło dzienne w 2002 roku i od razu spotkał się z pozytywnym odbiorem programistów. Spring Framework zyskał uznanie i popularność, ponieważ działa na zasadzie lekkiego szablonu, umożliwiającego dużą dowolność, jeśli chodzi o wybór modelu programowania. W efekcie za jego pomocą można tworzyć szerokie spektrum aplikacji - od niewielkich i prostych po potężne i bardzo skomplikowane.- Druk
- PDF + ePub + Mobi pkt
(59,40 zł najniższa cena z 30 dni)
64.35 zł
99.00 zł (-35%) -
Dzięki tej praktycznej książce dogłębnie zrozumiesz zagadnienia związane z ochroną haseł i odzyskiwaniem chronionych nimi danych. Rozpoczniesz od zapoznania się z zasadami przechowywania danych uwierzytelniających i matematycznymi podstawami technik łamania haseł. Następnie nauczysz się posługiwać różnymi narzędziami ułatwiającymi odzyskiwanie haseł, by potem zająć się typowymi przypadkami ich łamania, odzyskiwania skrótów i pokonywania zabezpieczeń. Przyjrzysz się działaniu metod siłowych i słownikowych, dowiesz się także, jak stosować je przy różnych sposobach przechowywania danych uwierzytelniających. Poszczególne zagadnienia zostały zilustrowane licznymi rzeczywistymi przykładami. Pod koniec lektury przekonasz się, że potrafisz z łatwością łamać najpopularniejsze typy danych uwierzytelniających.- Druk
- PDF + ePub + Mobi pkt
(35,94 zł najniższa cena z 30 dni)
35.94 zł
59.90 zł (-40%) -
Ta książka jest kompleksowym przewodnikiem po ciemnej stronie cyberbezpieczeństwa ― zapewni Ci wiedzę i umiejętności niezbędne do skutecznego zwalczania złośliwego oprogramowania. Nauczysz się poruszać wśród zawiłości związanych z tworzeniem złośliwego oprogramowania, a także dobrze poznasz techniki i strategie stosowane przez cyberprzestępców. Zdobędziesz też praktyczne doświadczenie w projektowaniu i implementowaniu popularnych rozwiązań stosowanych w prawdziwych złośliwych aplikacjach, na przykład Carbanak, Carberp, Stuxnet, Conti, Babuk i BlackCat. Nie zabrakło tu zasad etycznego hakingu i tajników budowy złośliwego oprogramowania, jak techniki unikania wykrycia, mechanizmy persystencji i wiele innych, które poznasz dzięki lekturze.- Druk
- PDF + ePub + Mobi pkt
(53,40 zł najniższa cena z 30 dni)
53.40 zł
89.00 zł (-40%) -
Potraktuj tę książkę jako świetnego towarzysza wycieczek. Zawarte w tym przewodniku barwne ilustracje i wyczerpujące, przejrzyście podane informacje sprawią, że inaczej spojrzysz na różne elementy konstrukcji technicznych. Zrozumiesz fascynujące szczegóły działania urządzeń stworzonych przez ludzi. Nauczysz się rozpoznawać cechy charakterystyczne sieci elektroenergetycznej, dróg, kolei, mostów, tuneli, dróg wodnych i innych rozwiązań technicznych. Przekonasz się, jak wielką przyjemność daje „wypatrywanie infrastruktury”, a odkrywanie przeznaczenia napotkanych urządzeń stanie się Twoim hobby!- Druk
- PDF + ePub + Mobi pkt
(35,94 zł najniższa cena z 30 dni)
38.94 zł
59.90 zł (-35%)
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas: sklep@helion.pl
Książka drukowana
Oceny i opinie klientów: Airflow. Monitorowanie przepływu danych Piotr Chudzik
(0)