Zarządzanie danymi w zbiorach o dużej skali. Nowoczesna architektura z siatką danych i technologią Data Fabric - ebook
Zarządzanie danymi w zbiorach o dużej skali. Nowoczesna architektura z siatką danych i technologią Data Fabric - ebook
Datafikacja trwa ... i zmienia nasze życie z zawrotną prędkością. Danych jest coraz więcej i są coraz bardziej złożone, a poza kwestiami technicznymi trzeba rozstrzygać mnóstwo dylematów etycznych lub prawnych związanych z prywatnością i bezpieczeństwem. Bez wątpienia w zarządzaniu danymi potrzeba nowej, wyrazistej wizji.
Ta książka zapewnia bardzo szczegółowe i solidne podstawy z zakresu zarządzania danymi obecnie i w przyszłości!
Joe Reis, współautor książki Inżynieria danych w praktyce. Kluczowe koncepcje i najlepsze technologie
W książce w praktyczny sposób ujęto wiele złożonych zagadnień, różnych technologii, metod biznesowych, struktur i wzorców architektury. Przeanalizowano abstrakcyjny poziom strategii danych, kwestie zarządcze i architekturę danych, a następnie wyjaśniono, czym są domeny danych i strefy docelowe. Zaprezentowano kwestie zarządzania systemami źródłowymi, aplikacji, opisano też praktyczne szczegóły z zakresu zarządzania danymi. Nie zabrakło wartościowych informacji o aspektach istotnych dla konsumentów danych. Autor nie skupia się wyłącznie na teorii. Cennym atutem książki są jasne wskazówki, w jaki sposób zastosować omawianą wiedzę w praktyce.
Zagadnienia:
- trendy w zarządzaniu danymi a aktualne wymagania
- nowe technologie projektowe, w tym siatka danych i data fabric
- strefy docelowe danych w chmurze, DDD, projektowanie produktów z danymi
- bezpieczeństwo danych
- zarządzanie samoobsługowymi platformami danych
- rola metadanych
Ta książka mówi o skalowaniu i pozostaniu konkurencyjnym. Nie ma na rynku drugiej takiej pozycji!
Ole Olesen-Bagneux, autor książki The Enterprise Data Catalog
Spis treści
Słowo wstępne
Przedmowa
1. Firma oparta na danych
- Najnowsze osiągnięcia w zakresie rozwoju technologii i trendy branżowe
- Zarządzanie danymi
- Analityka powoduje fragmentaryzację "krajobrazu" danych
- Zmienia się szybkość dostarczania oprogramowania
- Wpływ technologii chmury na zarządzanie danymi jest ogromny
- Prywatność i bezpieczeństwo to kwestie o najwyższym priorytecie
- Systemy operacyjne i analityczne wymagają zintegrowania
- Firmy funkcjonują w ekosystemach pracy zespołowej
- Przedsiębiorstwa są obarczone przestarzałymi architekturami danych
- Hurtownia danych dla przedsiębiorstw: pojedyncze "źródło prawdy"
- "Jezioro" danych: scentralizowane repozytorium danych ze strukturą i bez niej
- Kłopotliwość centralizacji
- Określanie strategii dotyczącej danych
- Podsumowanie
2. Organizowanie danych z użyciem domen danych
- Punkty początkowe procesu projektowania architektury
- Każda aplikacja dysponuje magazynem danych
- Aplikacje są zawsze unikalne
- "Złote" źródła
- Dylemat dotyczący integracji danych
- Role aplikacji
- Inspiracje architektury oprogramowania
- Domeny danych
- Metodyka DDD
- Architektura biznesowa
- Granice domeny i szczegółowość
- Właściwości domeny
- Zasady dotyczące domenowego zarządzania danymi rozproszonymi
- Zasady projektowe dotyczące domen danych
- Najlepsze praktyki dotyczące dostawców danych
- Zakres odpowiedzialności w ramach własności domeny
- Proces przejścia na domenowe zarządzanie danymi rozproszonymi
- Podsumowanie
3. Odwzorowanie domen na architekturę technologii
- Topologie domen: zarządzanie obszarami problemów
- Topologia w pełni stowarzyszonych domen
- Topologia domen nadzorowanych
- Topologia częściowo stowarzyszonych domen
- Topologia domen dopasowanych do łańcucha wartości
- Topologia domen uproszczonych
- Topologia domen uproszczonych i częściowo nadzorowanych
- Topologia domen scentralizowanych
- Wybór właściwej topologii
- Topologie stref docelowych: zarządzanie obszarami rozwiązań
- Pojedyncza strefa docelowa danych
- Strefy docelowe dopasowane do systemów źródłowych i konsumentów
- Strefa docelowa danych z jednostką centralną
- Wiele stref docelowych danych
- Wiele stref docelowych zarządzania danymi
- Praktyczny przykład stref docelowych
- Podsumowanie
4. Zarządzanie produktami z danymi
- Czym są produkty z danymi?
- Problemy z łączeniem ze sobą kodu, danych, metadanych i infrastruktury
- Produkty z danymi jako jednostki logiczne
- Wzorce projektowe produktów z danymi
- Czym jest wzorzec CQRS?
- Repliki do odczytu jako produkty z danymi
- Zasady projektowe w przypadku produktów z danymi
- Projekt optymalizowany pod kątem odczytu i ukierunkowany na zasoby
- Dane produktu są trwałe
- Zastosowanie języka wszechobecnego
- Przechwytywanie bezpośrednio ze źródła
- Przejrzyste standardy współdziałania
- Żadnych nieprzetworzonych danych
- Niedostosowywanie się do konsumentów
- Brakujące wartości, wartości domyślne i typy danych
- Spójność semantyczna
- Atomowość
- Zgodność
- Uogólnianie zmiennych danych referencyjnych
- Nowe dane oznaczają nową własność
- Wzorce bezpieczeństwa danych
- Ustanowienie metamodelu
- Umożliwienie samoobsługi
- Wzajemne relacje między domenami
- Spójność w przedsiębiorstwie
- Historyzacja, ponowne dostarczenia i nadpisania
- Możliwości biznesowe z wieloma właścicielami
- Model operacyjny
- Architektura produktów z danymi
- Ogólny projekt platformy
- Możliwości przechwytywania i wprowadzania danych
- Jakość danych
- Historyzacja danych
- Projekt rozwiązań
- Rzeczywisty przykład
- Dopasowywanie do kont magazynu
- Dopasowywanie do potoków danych
- Możliwości udostępniania danych
- Usługi udostępniające dane
- Usługa modyfikowania plików
- Usługa dezidentyfikacji
- Orkiestracja rozproszona
- Inteligentne usługi konsumentów
- Kwestie dotyczące bezpośredniego korzystania z danych
- Początek działań
- Podsumowanie
5. Zarządzanie interfejsami API i usługami
- Zarządzanie interfejsami API - wprowadzenie
- Czym jest architektura SOA?
- Integracja EAI
- Orkiestracja usług
- Choreografia usług
- Usługi publiczne i prywatne
- Modele usług i kanoniczne modele danych
- Porównania z architekturą hurtowni danych dla przedsiębiorstw
- Nowoczesne ujęcie zarządzania interfejsami API
- Model stowarzyszonego zakresu odpowiedzialności
- Brama interfejsów API
- Interfejs API jako produkt
- Usługi złożone
- Kontrakty interfejsów API
- Wykrywalność interfejsów API
- Mikrousługi
- Funkcje
- Siatka usług
- Granice domeny z mikrousługami
- Komunikacja w ekosystemie
- Interfejsy API powiązane z komfortem pracy
- Usługa GraphQL
- Wzorzec Backends For Frontends
- Praktyczny przykład
- Zarządzanie metadanymi
- Ukierunkowane na operacje odczytu interfejsy API udostępniające produkty z danymi
- Podsumowanie
6. Zarządzanie zdarzeniami i powiadomieniami
- Wprowadzenie do zdarzeń
- Powiadomienia i stan przenoszony
- Model komunikacji asynchronicznej
- Jaką mają postać nowoczesne architektury zależne od zdarzeń?
- Kolejki komunikatów
- Brokery zdarzeń
- Style przetwarzania zdarzeń
- Producenci zdarzeń
- Konsumenci zdarzeń
- Platformy przetwarzania strumieniowego zdarzeń
- Model nadzoru
- Magazyny zdarzeń jako magazyny produktów z danymi
- Magazyny zdarzeń w roli zaplecza serwerowego aplikacji
- Strumieniowanie jako fundament operacyjny
- Gwarancje i spójność
- Poziom spójności
- Metody przetwarzania
- Uporządkowanie komunikatów
- Kolejka DLQ
- Współdziałanie w przypadku strumieniowania
- Nadzór i samoobsługa
- Podsumowanie
7. Zbierzmy wszystko razem
- Współdziałanie domen
- Szybkie przypomnienie
- Porównanie dystrybucji danych i integracji aplikacji
- Wzorce dystrybucji danych
- Wzorce integracji aplikacji
- Spójność i wykrywalność
- Inspirowanie, motywowanie i kierowanie w stronę zmiany
- Określanie granic domen
- Obsługa wyjątków
- Transformacja organizacyjna
- Topologie zespołów
- Planowanie organizacyjne
- Podsumowanie
8. Nadzór nad danymi i ich bezpieczeństwo
- Nadzór nad danymi
- Struktura nadzoru
- Procesy: działania w ramach nadzoru nad danymi
- Zapewnienie efektywności i pragmatyczności nadzoru
- Usługi wspomagające nadzór nad danymi
- Kontrakty danych
- Bezpieczeństwo danych
- Nowoczesna metoda oparta na silosach
- Granice zaufania
- Klasyfikacje i etykiety danych
- Klasyfikacje wykorzystania danych
- Jednolita struktura bezpieczeństwa danych
- Dostawcy tożsamości
- Praktyczny przykład
- Typowy przepływ przetwarzania zabezpieczeń
- Zabezpieczanie architektur opartych na interfejsach API
- Zabezpieczanie architektur zależnych od zdarzeń
- Podsumowanie
9. Demokratyzowanie danych za pomocą metadanych
- Zarządzanie metadanymi
- Model metadanych przedsiębiorstwa
- Praktyczny przykład metamodelu
- Domeny danych i produkty z danymi
- Modele danych
- Pochodzenie danych
- Inne obszary metadanych
- Architektura "jeziora" metadanych
- Rola katalogu
- Rola grafu wiedzy
- Podsumowanie
10. Nowoczesne zarządzanie danymi podstawowymi
- Style zarządzania danymi podstawowymi
- Integracja danych
- Projektowanie rozwiązania do zarządzania danymi podstawowymi
- Zarządzanie danymi podstawowymi ukierunkowane na domenę
- Dane referencyjne
- Dane podstawowe
- Zarządzanie danymi podstawowymi i jakość danych jako usługa
- Zarządzanie danymi podstawowymi i opieka nad danymi
- Wymiana wiedzy
- Widoki zintegrowane
- Komponenty wielokrotnego użycia i logika integracji
- Ponowne publikowanie danych za pośrednictwem koncentratorów integracji
- Ponowne publikowanie danych z użyciem agregatów
- Zalecenia dotyczące nadzoru nad danymi
- Podsumowanie
11. Przekształcanie danych w wartość
- Wyzwania towarzyszące przekształcaniu danych w wartość
- Magazyny danych domenowych
- Szczegółowość zastosowań dopasowanych do konsumentów
- Porównanie magazynów DDS i produktów z danymi
- Najlepsze praktyki
- Wymagania biznesowe
- Docelowa grupa odbiorców i model operacyjny
- Wymagania niefunkcjonalne
- Potoki danych i modele danych
- Ustalanie zasięgu roli odgrywanej przez używane magazyny DDS
- Analityka biznesowa
- Warstwy semantyczne
- Narzędzia zautomatyzowane i dane
- Najlepsze praktyki
- Zaawansowana analityka (MLOps)
- Inicjowanie projektu
- Eksperymentowanie i monitorowanie
- Inżynieria danych
- Operacjonalizacja modelu
- Wyjątki
- Podsumowanie
12. Wykorzystanie teorii w praktyce
- Krótka refleksja na temat Twojej podróży po świecie danych
- Scentralizowane czy zdecentralizowane?
- Praktyczne zastosowanie
- Etap oportunistyczny: określenie strategicznego kierunku
- Etap transformacji: wyznaczenie fundamentu
- Etap optymalizacji: profesjonalizacja zdolności
- Kultura pracy zależna od danych
- Metodyka DataOps
- Nadzór i znajomość
- Rola architektów w przedsiębiorstwie
- Plany i diagramy
- Umiejętności na obecne czasy
- Kontrola i nadzór
- I coś na koniec
Kategoria: | Bazy danych |
Zabezpieczenie: |
Watermark
|
ISBN: | 978-83-289-0547-4 |
Rozmiar pliku: | 13 MB |