Zarządzanie danymi w zbiorach o dużej skali. Nowoczesna architektura z siatką danych i technologią Data Fabric - ebook

Datafikacja trwa ... i zmienia nasze życie z zawrotną prędkością. Danych jest coraz więcej i są coraz bardziej złożone, a poza kwestiami technicznymi trzeba rozstrzygać mnóstwo dylematów etycznych lub prawnych związanych z prywatnością i bezpieczeństwem. Bez wątpienia w zarządzaniu danymi potrzeba nowej, wyrazistej wizji.

Ta książka zapewnia bardzo szczegółowe i solidne podstawy z zakresu zarządzania danymi obecnie i w przyszłości!

Joe Reis, współautor książki Inżynieria danych w praktyce. Kluczowe koncepcje i najlepsze technologie

W książce w praktyczny sposób ujęto wiele złożonych zagadnień, różnych technologii, metod biznesowych, struktur i wzorców architektury. Przeanalizowano abstrakcyjny poziom strategii danych, kwestie zarządcze i architekturę danych, a następnie wyjaśniono, czym są domeny danych i strefy docelowe. Zaprezentowano kwestie zarządzania systemami źródłowymi, aplikacji, opisano też praktyczne szczegóły z zakresu zarządzania danymi. Nie zabrakło wartościowych informacji o aspektach istotnych dla konsumentów danych. Autor nie skupia się wyłącznie na teorii. Cennym atutem książki są jasne wskazówki, w jaki sposób zastosować omawianą wiedzę w praktyce.

Zagadnienia:

• trendy w zarządzaniu danymi a aktualne wymagania
• nowe technologie projektowe, w tym siatka danych i data fabric
• strefy docelowe danych w chmurze, DDD, projektowanie produktów z danymi
• bezpieczeństwo danych
• zarządzanie samoobsługowymi platformami danych
• rola metadanych

Ta książka mówi o skalowaniu i pozostaniu konkurencyjnym. Nie ma na rynku drugiej takiej pozycji!

Ole Olesen-Bagneux, autor książki The Enterprise Data Catalog

Słowo wstępne

Przedmowa

1. Firma oparta na danych

• Najnowsze osiągnięcia w zakresie rozwoju technologii i trendy branżowe
• Zarządzanie danymi
• Analityka powoduje fragmentaryzację "krajobrazu" danych
• Zmienia się szybkość dostarczania oprogramowania
• Wpływ technologii chmury na zarządzanie danymi jest ogromny
• Prywatność i bezpieczeństwo to kwestie o najwyższym priorytecie
• Systemy operacyjne i analityczne wymagają zintegrowania
• Firmy funkcjonują w ekosystemach pracy zespołowej
• Przedsiębiorstwa są obarczone przestarzałymi architekturami danych
  • Hurtownia danych dla przedsiębiorstw: pojedyncze "źródło prawdy"
  • "Jezioro" danych: scentralizowane repozytorium danych ze strukturą i bez niej
  • Kłopotliwość centralizacji
• Określanie strategii dotyczącej danych
• Podsumowanie

2. Organizowanie danych z użyciem domen danych

• Punkty początkowe procesu projektowania architektury
  • Każda aplikacja dysponuje magazynem danych
  • Aplikacje są zawsze unikalne
  • "Złote" źródła
  • Dylemat dotyczący integracji danych
  • Role aplikacji
• Inspiracje architektury oprogramowania
• Domeny danych
  • Metodyka DDD
  • Architektura biznesowa
  • Granice domeny i szczegółowość
  • Właściwości domeny
• Zasady dotyczące domenowego zarządzania danymi rozproszonymi
  • Zasady projektowe dotyczące domen danych
  • Najlepsze praktyki dotyczące dostawców danych
  • Zakres odpowiedzialności w ramach własności domeny
• Proces przejścia na domenowe zarządzanie danymi rozproszonymi
• Podsumowanie

3. Odwzorowanie domen na architekturę technologii

• Topologie domen: zarządzanie obszarami problemów
  • Topologia w pełni stowarzyszonych domen
  • Topologia domen nadzorowanych
  • Topologia częściowo stowarzyszonych domen
  • Topologia domen dopasowanych do łańcucha wartości
  • Topologia domen uproszczonych
  • Topologia domen uproszczonych i częściowo nadzorowanych
  • Topologia domen scentralizowanych
  • Wybór właściwej topologii
• Topologie stref docelowych: zarządzanie obszarami rozwiązań
  • Pojedyncza strefa docelowa danych
  • Strefy docelowe dopasowane do systemów źródłowych i konsumentów
  • Strefa docelowa danych z jednostką centralną
  • Wiele stref docelowych danych
  • Wiele stref docelowych zarządzania danymi
  • Praktyczny przykład stref docelowych
• Podsumowanie

4. Zarządzanie produktami z danymi

• Czym są produkty z danymi?
  • Problemy z łączeniem ze sobą kodu, danych, metadanych i infrastruktury
  • Produkty z danymi jako jednostki logiczne
• Wzorce projektowe produktów z danymi
  • Czym jest wzorzec CQRS?
  • Repliki do odczytu jako produkty z danymi
• Zasady projektowe w przypadku produktów z danymi
  • Projekt optymalizowany pod kątem odczytu i ukierunkowany na zasoby
  • Dane produktu są trwałe
  • Zastosowanie języka wszechobecnego
  • Przechwytywanie bezpośrednio ze źródła
  • Przejrzyste standardy współdziałania
  • Żadnych nieprzetworzonych danych
  • Niedostosowywanie się do konsumentów
  • Brakujące wartości, wartości domyślne i typy danych
  • Spójność semantyczna
  • Atomowość
  • Zgodność
  • Uogólnianie zmiennych danych referencyjnych
  • Nowe dane oznaczają nową własność
  • Wzorce bezpieczeństwa danych
  • Ustanowienie metamodelu
  • Umożliwienie samoobsługi
  • Wzajemne relacje między domenami
  • Spójność w przedsiębiorstwie
  • Historyzacja, ponowne dostarczenia i nadpisania
  • Możliwości biznesowe z wieloma właścicielami
  • Model operacyjny
• Architektura produktów z danymi
  • Ogólny projekt platformy
  • Możliwości przechwytywania i wprowadzania danych
  • Jakość danych
  • Historyzacja danych
• Projekt rozwiązań
  • Rzeczywisty przykład
  • Dopasowywanie do kont magazynu
  • Dopasowywanie do potoków danych
  • Możliwości udostępniania danych
  • Usługi udostępniające dane
  • Usługa modyfikowania plików
  • Usługa dezidentyfikacji
  • Orkiestracja rozproszona
  • Inteligentne usługi konsumentów
  • Kwestie dotyczące bezpośredniego korzystania z danych
• Początek działań
• Podsumowanie

5. Zarządzanie interfejsami API i usługami

• Zarządzanie interfejsami API - wprowadzenie
• Czym jest architektura SOA?
  • Integracja EAI
  • Orkiestracja usług
  • Choreografia usług
  • Usługi publiczne i prywatne
  • Modele usług i kanoniczne modele danych
  • Porównania z architekturą hurtowni danych dla przedsiębiorstw
• Nowoczesne ujęcie zarządzania interfejsami API
  • Model stowarzyszonego zakresu odpowiedzialności
  • Brama interfejsów API
  • Interfejs API jako produkt
  • Usługi złożone
  • Kontrakty interfejsów API
  • Wykrywalność interfejsów API
• Mikrousługi
  • Funkcje
  • Siatka usług
  • Granice domeny z mikrousługami
• Komunikacja w ekosystemie
• Interfejsy API powiązane z komfortem pracy
  • Usługa GraphQL
  • Wzorzec Backends For Frontends
• Praktyczny przykład
• Zarządzanie metadanymi
• Ukierunkowane na operacje odczytu interfejsy API udostępniające produkty z danymi
• Podsumowanie

6. Zarządzanie zdarzeniami i powiadomieniami

• Wprowadzenie do zdarzeń
  • Powiadomienia i stan przenoszony
  • Model komunikacji asynchronicznej
• Jaką mają postać nowoczesne architektury zależne od zdarzeń?
  • Kolejki komunikatów
  • Brokery zdarzeń
  • Style przetwarzania zdarzeń
  • Producenci zdarzeń
  • Konsumenci zdarzeń
  • Platformy przetwarzania strumieniowego zdarzeń
  • Model nadzoru
  • Magazyny zdarzeń jako magazyny produktów z danymi
  • Magazyny zdarzeń w roli zaplecza serwerowego aplikacji
• Strumieniowanie jako fundament operacyjny
• Gwarancje i spójność
  • Poziom spójności
  • Metody przetwarzania
  • Uporządkowanie komunikatów
  • Kolejka DLQ
  • Współdziałanie w przypadku strumieniowania
• Nadzór i samoobsługa
• Podsumowanie

7. Zbierzmy wszystko razem

• Współdziałanie domen
  • Szybkie przypomnienie
  • Porównanie dystrybucji danych i integracji aplikacji
  • Wzorce dystrybucji danych
  • Wzorce integracji aplikacji
  • Spójność i wykrywalność
• Inspirowanie, motywowanie i kierowanie w stronę zmiany
  • Określanie granic domen
  • Obsługa wyjątków
• Transformacja organizacyjna
  • Topologie zespołów
  • Planowanie organizacyjne
• Podsumowanie

8. Nadzór nad danymi i ich bezpieczeństwo

• Nadzór nad danymi
  • Struktura nadzoru
  • Procesy: działania w ramach nadzoru nad danymi
  • Zapewnienie efektywności i pragmatyczności nadzoru
  • Usługi wspomagające nadzór nad danymi
  • Kontrakty danych
• Bezpieczeństwo danych
  • Nowoczesna metoda oparta na silosach
  • Granice zaufania
  • Klasyfikacje i etykiety danych
  • Klasyfikacje wykorzystania danych
  • Jednolita struktura bezpieczeństwa danych
  • Dostawcy tożsamości
  • Praktyczny przykład
  • Typowy przepływ przetwarzania zabezpieczeń
  • Zabezpieczanie architektur opartych na interfejsach API
  • Zabezpieczanie architektur zależnych od zdarzeń
• Podsumowanie

9. Demokratyzowanie danych za pomocą metadanych

• Zarządzanie metadanymi
• Model metadanych przedsiębiorstwa
  • Praktyczny przykład metamodelu
  • Domeny danych i produkty z danymi
  • Modele danych
  • Pochodzenie danych
  • Inne obszary metadanych
• Architektura "jeziora" metadanych
  • Rola katalogu
  • Rola grafu wiedzy
• Podsumowanie

10. Nowoczesne zarządzanie danymi podstawowymi

• Style zarządzania danymi podstawowymi
• Integracja danych
• Projektowanie rozwiązania do zarządzania danymi podstawowymi
• Zarządzanie danymi podstawowymi ukierunkowane na domenę
  • Dane referencyjne
  • Dane podstawowe
  • Zarządzanie danymi podstawowymi i jakość danych jako usługa
• Zarządzanie danymi podstawowymi i opieka nad danymi
  • Wymiana wiedzy
  • Widoki zintegrowane
  • Komponenty wielokrotnego użycia i logika integracji
  • Ponowne publikowanie danych za pośrednictwem koncentratorów integracji
  • Ponowne publikowanie danych z użyciem agregatów
• Zalecenia dotyczące nadzoru nad danymi
• Podsumowanie

11. Przekształcanie danych w wartość

• Wyzwania towarzyszące przekształcaniu danych w wartość
• Magazyny danych domenowych
  • Szczegółowość zastosowań dopasowanych do konsumentów
  • Porównanie magazynów DDS i produktów z danymi
• Najlepsze praktyki
  • Wymagania biznesowe
  • Docelowa grupa odbiorców i model operacyjny
  • Wymagania niefunkcjonalne
  • Potoki danych i modele danych
  • Ustalanie zasięgu roli odgrywanej przez używane magazyny DDS
• Analityka biznesowa
  • Warstwy semantyczne
  • Narzędzia zautomatyzowane i dane
  • Najlepsze praktyki
• Zaawansowana analityka (MLOps)
  • Inicjowanie projektu
  • Eksperymentowanie i monitorowanie
  • Inżynieria danych
  • Operacjonalizacja modelu
  • Wyjątki
• Podsumowanie

12. Wykorzystanie teorii w praktyce

• Krótka refleksja na temat Twojej podróży po świecie danych
• Scentralizowane czy zdecentralizowane?
• Praktyczne zastosowanie
  • Etap oportunistyczny: określenie strategicznego kierunku
  • Etap transformacji: wyznaczenie fundamentu
  • Etap optymalizacji: profesjonalizacja zdolności
• Kultura pracy zależna od danych
  • Metodyka DataOps
  • Nadzór i znajomość
• Rola architektów w przedsiębiorstwie
  • Plany i diagramy
  • Umiejętności na obecne czasy
  • Kontrola i nadzór
• I coś na koniec