MENU
Nasze ceny
Wzorce projektowe w inżynierii danych. Sprawdzone rozwiązania i dobre praktyki - ebook
Wzorce projektowe w inżynierii danych. Sprawdzone rozwiązania i dobre praktyki - ebook
Każda nowoczesna organizacja opiera się na danych. Mimo to inżynierowie w wielu firmach niemal każdego dnia mierzą się z licznymi problemami, które można rozwiązać za pomocą sprawdzonych już metod. Zastosowanie gotowego wzorca projektowego umożliwia reagowanie na typowe wyzwania biznesowe w sposób bezpieczny i zoptymalizowany.
Bartosz Konieczny stworzył kompleksowy przewodnik po projektowaniu odpornych potoków danych, oparty na sprawdzonych i wielokrotnie używanych wzorcach projektowych.
Adi Polak, dyrektor, Confluent
Z tej książki dowiesz się, jak dostarczać dane o realnej wartości, koncentrując się na kluczowych aspektach inżynierii danych: pozyskiwaniu danych, ich jakości czy idempotentności. Poznasz cały proces budowania niezawodnych i kompleksowych rozwiązań z zakresu inżynierii danych na bazie wzorców projektowych, przygotowanych do realizacji konkretnych celów biznesowych. Opis każdego wzorca zawiera prezentację problemu z perspektywy użytkownika, rozwiązanie, a także omówienie następstw, co pozwala osadzić ten problem w kontekście realnych sytuacji. Pokazano też, jak w praktyce zaimplementować opisane rozwiązania za pomocą narzędzi open source i usług chmury publicznej.
W książce:
- najważniejsze wyzwania wpływające na systemy przetwarzania danych
- istotne problemy dotyczące poszczególnych elementów systemów danych
- praktyczne zastosowania wzorców
- identyfikacja i rozwiązywanie problemów istniejących komponentów danych
- niezależne od technologii rozwiązania dla nowych i istniejących projektów
Ta książka to fundamentalne dzieło, które wyznacza kierunek rozwoju wzorców projektowych w inżynierii danych!
Scott Haines, współautor książki Delta Lake: The Definitive Guide
Spis treści
1. Wprowadzenie do wzorców projektowych w inżynierii danych
- Czym są wzorce projektowe?
- Kolejne wzorce projektowe?
- Typowe wzorce w inżynierii danych
- Studium przypadku wykorzystane w tej książce
- Podsumowanie
2. Wzorce projektowe pozyskiwania danych
- Wczytywanie pełne
- Wzorzec: Wczytywanie Pełne
- Wczytywanie przyrostowe
- Wzorzec: Wczytywanie Przyrostowe
- Wzorzec: Wykrywacz Zmian w Danych
- Powielanie danych
- Wzorzec: Replikator Bezpośredni
- Wzorzec: Replikator Transformujący
- Kompaktowanie danych
- Wzorzec: Kompaktor
- Gotowość danych
- Wzorzec: Znacznik Gotowości
- Sterowane zdarzeniami
- Wzorzec: Wyzwalacz Zewnętrzny
- Podsumowanie
3. Wzorce projektowe zarządzania błędami
- Rekordy nieprzetwarzalne
- Wzorzec: Obsługa Błędnych Komunikatów
- Rekordy zduplikowane
- Wzorzec: Deduplikator z Oknem Czasowym
- Dane opóźnione
- Wzorzec: Wykrywanie Danych Opóźnionych
- Wzorzec: Statyczny Integrator Danych Opóźnionych
- Wzorzec: Dynamiczny Integrator Danych Opóźnionych
- Filtrowanie
- Wzorzec: Monitorowanie Filtrowania
- Odporność na błędy
- Wzorzec: Zapisywanie Punktów Kontrolnych
- Podsumowanie
4. Wzorce projektowe idempotentności
- Nadpisywanie
- Wzorzec: Szybkie Usuwanie z Użyciem Metadanych
- Wzorzec: Nadpisywanie Danych
- Aktualizacje
- Wzorzec: Scalanie
- Wzorzec: Scalanie Stanowe
- Baza danych
- Wzorzec: Idempotentność z Kluczem
- Wzorzec: Transakcyjne Zapisywanie Danych
- Niezmienny zbiór danych
- Wzorzec: Pełnomocnik
- Podsumowanie
5. Wzorce projektowe wartości danych
- Wzbogacanie danych
- Wzorzec: Łączenie Statyczne
- Wzorzec: Łączenie Dynamiczne
- Dekorowanie danych
- Wzorzec: Opakowanie
- Wzorzec: Dekorator Metadanych
- Agregacja danych
- Wzorzec: Agregator Rozproszony
- Wzorzec: Agregator Lokalny
- Grupowanie sesji
- Wzorzec: Przyrostowe Grupowanie Sesji
- Wzorzec: Stanowe Grupowanie Sesji
- Porządkowanie danych
- Wzorzec: Porządkowanie przez Grupowanie w Pakiety
- Wzorzec: Kolejkowanie FIFO
- Podsumowanie
6. Wzorce projektowe przepływu danych
- Sekwencja
- Wzorzec: Sekwencjonowanie Lokalne
- Wzorzec: Sekwencjonowanie Izolowane
- Scalanie z wielu gałęzi
- Wzorzec: Wyrównane Scalanie z Wielu Gałęzi
- Wzorzec: Niewyrównane Scalanie z Wielu Gałęzi
- Rozgałęzienie
- Wzorzec: Rozdzielenie Równoległe
- Wzorzec: Wybór Wyłączny
- Orkiestracja
- Wzorzec: Uruchamianie Jednokrotne
- Wzorzec: Uruchamianie Równoległe
- Podsumowanie
7. Wzorce projektowe bezpieczeństwa danych
- Usuwanie danych
- Wzorzec: Partycjonowanie Pionowe
- Wzorzec: Nadpisywanie w Miejscu
- Kontrola dostępu
- Wzorzec: Dostęp Szczegółowy dla Tabel
- Wzorzec: Dostęp Szczegółowy dla Zasobów
- Ochrona danych
- Wzorzec: Szyfrator
- Wzorzec: Anonimizator
- Wzorzec: Pseudonimizator
- Dostęp do danych
- Wzorzec: Odwołanie do Poświadczeń
- Wzorzec: Połączenie Bez Poświadczeń
- Podsumowanie
8. Wzorce projektowe przechowywania danych
- Partycjonowanie
- Wzorzec: Partycjonowanie Poziome
- Wzorzec: Partycjonowanie Pionowe
- Organizacja rekordów
- Wzorzec: Folder
- Wzorzec: Sortowanie
- Optymalizacja wydajności odczytu
- Wzorzec: Ulepszanie Metadanych
- Wzorzec: Materializacja Zbioru Danych
- Wzorzec: Manifest
- Reprezentacja danych
- Wzorzec: Normalizator
- Wzorzec: Denormalizator
- Podsumowanie
9. Wzorce projektowe jakości danych
- Wymuszanie jakości
- Wzorzec: Audyt-Zapis-Audyt-Publikacja
- Wzorzec: Wymuszanie Ograniczeń
- Spójność schematu danych
- Wzorzec: Wymuszanie Zgodności Schematu
- Wzorzec: Migracja Schematu
- Monitorowanie jakości
- Wzorzec: Obserwator Offline
- Wzorzec: Obserwator Online
- Podsumowanie
10. Wzorce projektowe obserwowalności danych
- Wykrywacze danych
- Wzorzec: Wykrywacz Przerwania Przepływu
- Wzorzec: Wykrywacz Nierównomierności
- Wykrywacze czasu
- Wzorzec: Wykrywacz Opóźnień
- Wzorzec: Wykrywacz Naruszeń SLA
- Pochodzenie danych
- Wzorzec: Monitorowanie Zbiorów Danych
- Wzorzec: Monitorowanie Szczegółowe
- Podsumowanie
Posłowie
Dodatek. Podsumowanie wzorców projektowych
| Kategoria: | Programowanie |
| Zabezpieczenie: |
Watermark
|
| ISBN: | 978-83-289-3180-0 |
| Rozmiar pliku: | 4,7 MB |
