Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych - ebook

Dostęp do danych jest warunkiem rozwoju niejednej organizacji. Aby w pełni skorzystać z ich potencjału i uzyskać dzięki nim konkretną wartość, konieczne jest odpowiednie zarządzanie danymi. Obecnie stosowane rozwiązania w tym zakresie nie nadążają już za złożonością dzisiejszych organizacji, rozprzestrzenianiem się źródeł danych i rosnącymi aspiracjami inżynierów, którzy rozwijają techniki sztucznej inteligencji i analizy danych. Odpowiedzią na te potrzeby może być siatka danych, jednak praktyczna implementacja tej koncepcji wymaga istotnej zmiany myślenia.

Ta książka szczegółowo wyjaśnia paradygmat siatki danych, a przy tym koncentruje się na jego praktycznym zastosowaniu. Zgodnie z tym nowatorskim podejściem dane należy traktować jako produkt, a dziedziny - jako główne zagadnienie. Poza wyjaśnieniem paradygmatu opisano tu zasady projektowania wysokopoziomowej architektury komponentów siatki danych, a także przedstawiono wskazówki i porady dotyczące ewolucyjnej realizacji siatki danych w organizacji. Tematyka ta została potraktowana wszechstronnie: omówiono kwestie technologiczne, organizacyjne, jak również socjologiczne i kulturowe. Dzięki temu jest to cenna lektura zarówno dla architektów i inżynierów, jak i dla badaczy, analityków danych, wreszcie dla liderów i kierowników zespołów.

W książce:

• wyczerpujące wprowadzenie do paradygmatu siatki danych
• siatka danych i jej komponenty
• projektowanie architektury siatki danych
• opracowywanie i realizacja strategii siatki danych
• zdecentralizowany model własności danych
• przejście z hurtowni i jezior danych do rozproszonej siatki danych

Siatka danych: kolejny etap rozwoju technologii big data!

Przedmowa

Wstęp

Prolog. Wyobraź sobie siatkę danych

Część I. Czym jest siatka danych?

• 1. Siatka danych w pigułce
  • Rezultaty
  • Transformacje
  • Zasady
    • Zasada własności dziedziny
    • Zasada danych jako produktu
    • Zasada samoobsługowej platformy danych
    • Zasada sfederowanego zarządzania obliczeniowego
  • Wzajemne oddziaływanie zasad
  • Spojrzenie na model siatki danych
  • Dane
    • Dane operacyjne
    • Dane analityczne
  • Pochodzenie
• 2. Zasada własności dziedziny
  • Krótkie wprowadzenie do projektowania dziedzinowego
  • Zastosowanie projektowania strategicznego DDD do danych
  • Archetypy danych dziedzinowych
    • Dane dziedzinowe dostosowane do źródła
    • Zagregowane dane dziedzinowe
    • Dane dziedzinowe dostosowane do konsumenta
  • Przechodzenie w kierunku własności dziedzinowej
    • Przekazuj własność danych upstreamowo
    • Definiuj wiele połączonych modeli
    • Polisemie
    • Wykorzystaj dane najbardziej odpowiedniej dziedziny: nie oczekuj jednego źródła prawdy
    • Ukrywaj potoki danych jako wewnętrzną implementację dziedzin
  • Podsumowanie
• 3. Zasada danych jako produktu
  • Zastosowanie do danych myślenia w kategoriach produktu
    • Podstawowe atrybuty użyteczności produktu danych
  • Przechodzenie do zasady danych jako produktu
    • Uwzględnij własność produktu danych w dziedzinach
    • Przeformułuj nomenklaturę, aby zainicjować zmiany
    • Traktuj dane jako produkt, a nie zwykły zasób
    • Kształtuj kulturę danych opartą na zasadzie "ufaj, ale sprawdzaj"
    • Łącz dane i obliczaj je jako pojedynczą jednostkę logiczną
  • Podsumowanie
• 4. Zasada samoobsługowej platformy danych
  • Porównanie platformy siatki danych z innymi rozwiązaniami
    • Dostosowanie do autonomicznych zespołów opartych na dziedzinach
    • Zarządzanie autonomicznymi i interoperacyjnymi produktami danych
    • Zintegrowana platforma dla funkcjonalności operacyjnych i analitycznych
    • Dostosowanie do generalistów
    • Faworyzowanie technologii zdecentralizowanych
    • Niezależność dziedzinowa
  • Myślenie w kategoriach platformy siatki danych
    • Umożliwienie autonomicznym zespołom uzyskiwania wartości z danych
    • Wymiana wartości za pomocą autonomicznych i interoperacyjnych produktów danych
    • Przyspieszenie wymiany wartości przez zmniejszenie obciążenia poznawczego
    • Poziome skalowanie udostępniania danych
    • Wspieranie kultury wbudowanych innowacji
  • Przechodzenie na samoobsługową platformę siatki danych
    • Najpierw zaprojektuj interfejsy API i protokoły
    • Przygotuj się na dostosowanie do generalistów
    • Przeprowadź inwentaryzację i dokonaj uproszczenia
    • Utwórz wysokopoziomowe interfejsy API do zarządzania produktami danych
    • Buduj doświadczenia, a nie mechanizmy
    • Zacznij od najprostszych fundamentów, a potem zbieraj plony, aby ewoluować
  • Podsumowanie
• 5. Zasada sfederowanego zarządzania obliczeniowego
  • Zastosowanie myślenia systemowego do zarządzania siatką danych
    • Utrzymywanie dynamicznej równowagi między autonomią dziedzinową a globalną interoperacyjnością
    • Przyjęcie topologii dynamicznej jako stanu domyślnego
    • Wykorzystanie automatyzacji i architektury rozproszonej
  • Zastosowanie federacji do modelu zarządzania
    • Zespół sfederowany
    • Wartości przewodnie
    • Reguły
    • Zachęty
  • Zastosowanie obliczeń do modelu zarządzania
    • Standardy jako kod
    • Reguły jako kod
    • Zautomatyzowane testy
    • Zautomatyzowane monitorowanie
  • Przechodzenie na sfederowane zarządzanie obliczeniowe
    • Delegowanie odpowiedzialności do dziedzin
    • Osadzanie wykonywania reguł w poszczególnych produktach danych
    • Automatyzacja zapewniania możliwości oraz monitorowania zamiast interweniowania
    • Modelowanie luk
    • Pomiar efektu sieciowego
    • Przyjęcie zmian w miejsce stałości
  • Podsumowanie

Część II. Dlaczego siatka danych?

• 6. Punkt przegięcia
  • Wielkie oczekiwania wobec danych
  • Wielki podział danych
  • Skala - bliskie spotkania z nowym gatunkiem
  • Nie tylko porządek
  • Zbliżanie się do punktu zwrotu
  • Podsumowanie
• 7. Po punkcie przegięcia
  • Płynne reagowanie na zmiany w złożonym biznesie
    • Wzajemne dostosowanie biznesu, technologii i danych analitycznych
    • Wypełnienie luki między danymi analitycznymi i operacyjnymi
    • Lokalizowanie zmian danych w dziedzinach biznesowych
    • Zmniejszenie przypadkowej złożoności potoków i kopiowania danych
  • Utrzymanie zwinności w obliczu wzrostu
    • Usunięcie scentralizowanych i monolitycznych wąskich gardeł
    • Zmniejszenie koordynacji potoków danych
    • Zmniejszenie koordynacji zarządzania danymi
    • Zapewnienie autonomii
  • Zwiększenie współczynnika wartości z danych w stosunku do inwestycji
    • Tworzenie warstwy abstrakcji dla złożoności technicznej za pomocą platformy danych
    • Wszechobecne stosowanie myślenia w kategoriach produktowych
    • Przekraczanie granic
  • Podsumowanie
• 8. Przed punktem przegięcia
  • Ewolucja architektur danych analitycznych
    • Pierwsza generacja - architektura hurtowni danych
    • Druga generacja - architektura jeziora danych
    • Trzecia generacja - multimodalna architektura chmury
  • Charakterystyka architektury danych analitycznych
    • Monolityzm
    • Scentralizowana własność danych
    • Wykorzystanie technologii
  • Podsumowanie

Część III. Jak zaprojektować architekturę siatki danych?

• 9. Architektura logiczna
  • Dziedzinowe interfejsy udostępniania danych analitycznych
    • Projekt interfejsu operacyjnego
    • Projekt interfejsu danych analitycznych
    • Międzydziedzinowe zależności danych analitycznych
  • Produkt danych jako kwant architektury
    • Komponenty strukturalne produktu danych
    • Interakcje współdzielenia danych przez produkty danych
    • Interfejsy API wykrywania i obserwowalności danych
  • Wielopłaszczyznowa platforma danych
    • Płaszczyzna platformy
    • (Narzędziowa) płaszczyzna infrastruktury danych
    • Płaszczyzna doświadczenia produktu danych
    • Płaszczyzna doświadczenia siatki
    • Przykład
  • Osadzone reguły obliczeniowe
    • Przyczepa produktu danych
    • Kontener obliczeniowy produktu danych
    • Port sterowania
  • Podsumowanie
• 10. Architektura wielopłaszczyznowej platformy danych
  • Projekt platformy oparty na podróżach użytkowników
  • Podróż twórcy produktu danych
    • Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł
    • Budowanie, testowanie, wdrażanie i uruchamianie
    • Utrzymywanie, ewoluowanie i wycofywanie
  • Podróż konsumenta produktu danych
    • Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł
    • Budowanie, testowanie, wdrażanie i uruchamianie
    • Monitorowanie, ewoluowanie i wycofywanie
  • Podsumowanie

Część IV. Jak zaprojektować architekturę produktu danych?

• 11. Projektowanie produktu danych według afordancji
  • Afordancje produktu danych
  • Charakterystyka architektury produktu danych
  • Projektowanie inspirowane prostotą złożonych systemów adaptacyjnych
    • Zachowanie wynikające z prostych reguł lokalnych
    • Brak centralnej orkiestracji
  • Podsumowanie
• 12. Projektowanie konsumowania, przekształcania i serwowania danych
  • Serwowanie danych
    • Potrzeby użytkowników danych
    • Właściwości projektowania serwowania danych
    • Projektowanie serwowania danych
  • Konsumowanie danych
    • Archetypy źródeł danych
    • Lokalizacja konsumpcji danych
    • Projektowanie konsumowania danych
  • Przekształcanie danych
    • Przekształcanie programowe i nieprogramowe
    • Transformacja oparta na przepływie danych
    • Uczenie maszynowe jako transformacja
    • Transformacja niestacjonarna
    • Projekt transformacji
  • Podsumowanie
• 13. Projektowanie wykrywania, rozumienia i komponowania danych
  • Wykrywanie, rozumienie, obdarzanie zaufaniem i eksplorowanie
    • Rozpocznij wykrywanie od samorejestracji
    • Wykrywanie globalnego identyfikatora URI
    • Zrozumienie modeli semantycznych i składniowych
    • Ustanowienie zaufania za pomocą gwarancji danych
    • Eksplorowanie kształtu danych
    • Nauka na podstawie dokumentacji
    • Wykrywanie, eksplorowanie i rozumienie projektu
  • Komponowanie danych
    • Właściwości projektu konsumowania danych
    • Tradycyjne podejście do kompozycyjności danych
    • Projekt komponowania danych
  • Podsumowanie
• 14. Projektowanie organizowania i obserwowania danych oraz zarządzania nimi
  • Zarządzanie cyklem życia
    • Projektowanie zarządzania cyklem życia
    • Komponenty manifestu produktu danych
  • Zarządzanie danymi
    • Projektowanie zarządzania danymi
    • Normalizacja reguł
    • Integracja danych i reguł
    • Linkowanie reguł
  • Obserwowanie, debugowanie i audytowanie
    • Projektowanie obserwowalności
  • Podsumowanie

Część V. Od czego zacząć?

• 15. Strategia i wykonywanie
  • Czy należy przyjąć siatkę danych już dziś?
  • Siatka danych jako element strategii danych
  • Framework wykonywania siatki danych
    • Wykonywanie oparte na biznesie
    • Wykonywanie kompleksowe i iteracyjne
    • Wykonywanie ewolucyjne
  • Podsumowanie
• 16. Organizacja i kultura
  • Zmiana
  • Kultura
    • Wartości
  • Nagroda
    • Motywacje wewnętrzne
    • Motywacje zewnętrzne
  • Struktura
    • Założenia struktury organizacyjnej
    • Wykrywanie granic produktów danych
  • Ludzie
    • Role
    • Rozwój zestawów umiejętności
  • Proces
    • Zmiany kluczowych procesów
  • Podsumowanie