Spark. Błyskawiczna analiza danych - ebook

Apache Spark jest oprogramowaniem open source, przeznaczonym do klastrowego przetwarzania danych dostarczanych w różnych formatach. Pozwala na uzyskanie niespotykanej wydajności, umożliwia też pracę w trybie wsadowym i strumieniowym. Framework ten jest również świetnie przygotowany do uruchamiania złożonych aplikacji, włączając w to algorytmy uczenia maszynowego czy analizy predykcyjnej. To wszystko sprawia, że Apache Spark stanowi znakomity wybór dla programistów zajmujących się big data, a także eksploracją i analizą danych.

To książka przeznaczona dla inżynierów danych i programistów, którzy chcą za pomocą Sparka przeprowadzać skomplikowane analizy danych i korzystać z algorytmów uczenia maszynowego, nawet jeśli te dane pochodzą z różnych źródeł. Wyjaśniono tu, jak dzięki Apache Spark można odczytywać i ujednolicać duże zbiory informacji, aby powstawały niezawodne jeziora danych, w jaki sposób wykonuje się interaktywne zapytania SQL, a także jak tworzy się potoki przy użyciu MLlib i wdraża modele za pomocą biblioteki MLflow. Omówiono również współdziałanie aplikacji Sparka z jego rozproszonymi komponentami i tryby jej wdrażania w poszczególnych środowiskach.

W książce:

• API strukturalne dla Pythona, SQL, Scali i Javy
• operacje Sparka i silnika SQL
• konfiguracje Sparka i interfejs Spark UI
• nawiązywanie połączeń ze źródłami danych: JSON, Parquet, CSV, Avro, ORC, Hive, S3 i Kafka
• operacje analityczne na danych wsadowych i strumieniowanych
• niezawodne potoki danych i potoki uczenia maszynowego

Spark: twórz skalowalne i niezawodne aplikacje big data!

Przedmowa

Wprowadzenie

1. Wprowadzenie do Apache Spark - ujednolicony silnik analityczny

• Geneza Sparka
  • Big data i przetwarzanie rozproszone w Google
  • Hadoop w Yahoo!
  • Wczesne lata Sparka w AMPLab
• Czym jest Apache Spark?
  • Szybkość
  • Łatwość użycia
  • Modułowość
  • Rozszerzalność
• Ujednolicona analityka
  • Komponenty Apache Spark tworzą ujednolicony stos
  • Spark MLlib
  • Wykonywanie rozproszone w Apache Spark
• Z punktu widzenia programisty
  • Kto używa Sparka i w jakim celu?
  • Popularność w społeczności i dalsza ekspansja

2. Pobranie Apache Spark i rozpoczęcie pracy

• Krok 1. - pobranie Apache Spark
  • Pliki i katalogi Sparka
• Krok 2. - używanie powłoki Scali lub PySparka
  • Używanie komputera lokalnego
• Krok 3. - poznanie koncepcji aplikacji Apache Spark
  • Aplikacja Sparka i SparkSession
  • Zlecenia Sparka
  • Etapy Sparka
  • Zadania Sparka
• Transformacje, akcje i późna ocena
  • Transformacje wąskie i szerokie
• Spark UI
• Pierwsza niezależna aplikacja
  • Zliczanie cukierków M&M's
  • Tworzenie niezależnych aplikacji w Scali
• Podsumowanie

3. API strukturalne Apache Spark

• Spark - co się kryje za akronimem RDD?
• Strukturyzacja Sparka
  • Kluczowe zalety i wartość struktury
• API DataFrame
  • Podstawowe typy danych Sparka
  • Strukturalne i złożone typy danych Sparka
  • Schemat i tworzenie egzemplarza DataFrame
  • Kolumny i wyrażenia
  • Rekord
  • Najczęściej przeprowadzane operacje z użyciem DataFrame
  • Przykład pełnego rozwiązania wykorzystującego DataFrame
• API Dataset
  • Obiekty typowane i nietypowane oraz ogólne rekordy
  • Tworzenie egzemplarza Dataset
  • Operacje na egzemplarzu Dataset
  • Przykład pełnego rozwiązania wykorzystującego Dataset
• Egzemplarz DataFrame kontra Dataset
  • Kiedy używać RDD?
• Silnik Spark SQL
  • Optymalizator Catalyst
• Podsumowanie

4. Spark SQL i DataFrame - wprowadzenie do wbudowanych źródeł danych

• Używanie Spark SQL w aplikacji Sparka
  • Przykłady podstawowych zapytań
• Widoki i tabele SQL
  • Tabele zarządzane kontra tabele niezarządzane
  • Tworzenie baz danych i tabel SQL
  • Tworzenie widoku
  • Wyświetlanie metadanych
  • Buforowanie tabel SQL
  • Wczytywanie zawartości tabeli do egzemplarza DataFrame
• Źródła danych dla egzemplarzy DataFrame i tabel SQL
  • DataFrameReader
  • DataFrameWriter
  • Parquet
  • JSON
  • CSV
  • Avro
  • ORC
  • Obrazy
  • Pliki binarne
• Podsumowanie

5. Spark SQL i DataFrame - współpraca z zewnętrznymi źródłami danych

• Spark SQL i Apache Hive
  • Funkcje zdefiniowane przez użytkownika
• Wykonywanie zapytań z użyciem powłoki Spark SQL, Beeline i Tableau
  • Używanie powłoki Spark SQL
  • Praca z narzędziem Beeline
  • Praca z Tableau
• Zewnętrzne źródła danych
  • Bazy danych SQL i JDBC
  • PostgreSQL
  • MySQL
  • Azure Cosmos DB
  • MS SQL Server
  • Inne zewnętrzne źródła danych
• Funkcje wyższego rzędu w egzemplarzach DataFrame i silniku Spark SQL
  • Opcja 1. - konwersja struktury
  • Opcja 2. - funkcja zdefiniowana przez użytkownika
  • Wbudowane funkcje dla złożonych typów danych
  • Funkcje wyższego rzędu
• Najczęściej wykonywane operacje w DataFrame i Spark SQL
  • Suma
  • Złączenie
  • Okno czasowe
  • Modyfikacje
• Podsumowanie

6. Spark SQL i Dataset

• Pojedyncze API dla Javy i Scali
  • Klasy case Scali i JavaBean dla egzemplarzy Dataset
• Praca z egzemplarzem Dataset
  • Tworzenie przykładowych danych
  • Transformacja przykładowych danych
• Zarządzanie pamięcią podczas pracy z egzemplarzami Dataset i DataFrame
  • Kodeki egzemplarza Dataset
  • Wewnętrzny format Sparka kontra format obiektu Javy
  • Serializacja i deserializacja
• Koszt związany z używaniem egzemplarza Dataset
  • Strategie pozwalające obniżyć koszty
• Podsumowanie

7. Optymalizacja i dostrajanie aplikacji Sparka

• Optymalizacja i dostrajanie Sparka w celu zapewnienia efektywności działania
  • Wyświetlanie i definiowanie konfiguracji Apache Spark
  • Skalowanie Sparka pod kątem ogromnych obciążeń
• Buforowanie i trwałe przechowywanie danych
  • DataFrame.cache()
  • DataFrame.persist()
  • Kiedy buforować i trwale przechowywać dane?
  • Kiedy nie buforować i nie przechowywać trwale danych?
• Rodzina złączeń w Sparku
  • Złączenie BHJ
  • Złączenie SMJ
• Spark UI
  • Karty narzędzia Spark UI
• Podsumowanie

8. Strumieniowanie strukturalne

• Ewolucja silnika przetwarzania strumieni w Apache Spark
  • Przetwarzanie strumieniowe mikropartii
  • Cechy mechanizmu Spark Streaming (DStreams)
  • Filozofia strumieniowania strukturalnego
• Model programowania strumieniowania strukturalnego
• Podstawy zapytania strumieniowania strukturalnego
  • Pięć kroków do zdefiniowania zapytania strumieniowego
  • Pod maską aktywnego zapytania strumieniowanego
  • Odzyskiwanie danych po awarii i gwarancja "dokładnie raz"
  • Monitorowanie aktywnego zapytania
• Źródło i ujście strumieniowanych danych
  • Pliki
  • Apache Kafka
  • Niestandardowe źródła strumieni i ujść danych
• Transformacje danych
  • Wykonywanie przyrostowe i stan strumieniowania
  • Transformacje bezstanowe
  • Transformacje stanowe
• Agregacje strumieniowania
  • Agregacja nieuwzględniająca czasu
  • Agregacje z oknami czasowymi na podstawie zdarzeń
• Złączenie strumieniowane
  • Złączenie strumienia i egzemplarza statycznego
  • Złączenia między egzemplarzami strumieniowanymi
• Dowolne operacje związane ze stanem
  • Modelowanie za pomocą mapGroupsWithState() dowolnych operacji stanu
  • Stosowanie limitów czasu do zarządzania nieaktywnymi grupami
  • Generalizacja z użyciem wywołania flatMapGroupsWithState()
• Dostrajanie wydajności działania
• Podsumowanie

9. Tworzenie niezawodnych jezior danych za pomocą Apache Spark

• Waga optymalnego rozwiązania w zakresie pamięci masowej
• Bazy danych
  • Krótkie wprowadzenie do SQL
  • Odczytywanie i zapisywanie informacji w bazie danych za pomocą Apache Spark
  • Ograniczenia baz danych
• Jezioro danych
  • Krótkie wprowadzenie do jezior danych
  • Odczytywanie i zapisywanie danych jeziora danych za pomocą Apache Spark
  • Ograniczenia jezior danych
• Lakehouse - następny krok w ewolucji rozwiązań pamięci masowej
  • Apache Hudi
  • Apache Iceberg
  • Delta Lake
• Tworzenie repozytorium danych za pomocą Apache Spark i Delta Lake
  • Konfiguracja Apache Spark i Delta Lake
  • Wczytywanie danych do tabeli Delta Lake
  • Wczytywanie strumieni danych do tabeli Delta Lake
  • Zarządzanie schematem podczas zapisu w celu zapobiegania uszkodzeniu danych
  • Ewolucja schematu w celu dostosowania go do zmieniających się danych
  • Transformacja istniejących danych
  • Audyt zmian danych przeprowadzany za pomocą historii operacji
  • Wykonywanie zapytań do poprzednich migawek tabeli dzięki funkcjonalności podróży w czasie
• Podsumowanie

10. Uczenie maszynowe z użyciem biblioteki MLlib

• Czym jest uczenie maszynowe?
  • Nadzorowane uczenie maszynowe
  • Nienadzorowane uczenie maszynowe
  • Dlaczego Spark dla uczenia maszynowego?
• Projektowanie potoków uczenia maszynowego
  • Wczytywanie i przygotowywanie danych
  • Tworzenie zbiorów danych - testowego i treningowego
  • Przygotowywanie cech za pomocą transformerów
  • Regresja liniowa
  • Stosowanie estymatorów do tworzenia modeli
  • Tworzenie potoku
  • Ocena modelu
  • Zapisywanie i wczytywanie modeli
• Dostrajanie hiperparametru
  • Modele oparte na drzewach
  • k-krotny sprawdzian krzyżowy
  • Optymalizacja potoku
• Podsumowanie

11. Stosowanie Apache Spark do wdrażania potoków uczenia maszynowego oraz ich skalowania i zarządzania nimi

• Zarządzanie modelem
  • MLflow
• Opcje wdrażania modelu za pomocą MLlib
  • Wsadowe
  • Strumieniowane
  • Wzorce eksportu modelu dla rozwiązania niemalże w czasie rzeczywistym
• Wykorzystanie Sparka do pracy z modelami, które nie zostały utworzone za pomocą MLlib
  • Zdefiniowane przez użytkownika funkcje pandas
  • Spark i rozproszone dostrajanie hiperparametru
• Podsumowanie

12. Epilog - Apache Spark 3.0

• Spark Core i Spark SQL
  • Dynamiczne oczyszczanie partycji
  • Adaptacyjne wykonywanie zapytań
  • Podpowiedzi dotyczące złączeń SQL
  • API wtyczek katalogu i DataSourceV2
  • Planowanie z użyciem akceleratorów
  • Strumieniowanie strukturalne
• PySpark, zdefiniowane przez użytkownika funkcje pandas i API funkcji pandas
  • Usprawnione zdefiniowane przez użytkownika funkcje pandas zapewniające obsługę podpowiedzi typów w Pythonie
  • Obsługa iteratora w zdefiniowanych przez użytkownika funkcjach pandas
  • Nowe API funkcji pandas
• Zmieniona funkcjonalność
  • Obsługiwane języki
  • Zmiany w API DataFrame i Dataset
  • Polecenia SQL EXPLAIN i DataFrame
• Podsumowanie