Dodaj mocy Power BI! Jak za pomocą kodu w Pythonie i R pobierać, przekształcać i wizualizować dane - ebook

Ważnym zadaniem inżynierów danych jest kreowanie modeli uczenia maszynowego. Używa się do tego narzędzi do analizy biznesowej, takich jak Power BI. Możliwości Power BI są imponujące, a można je dodatkowo rozbudować. Jedną z ciekawszych metod wzbogacania modelu danych i wizualizacji Power BI jest zastosowanie złożonych algorytmów zaimplementowanych w językach Python i R. W ten sposób można nie tylko tworzyć interesujące wizualizacje danych, ale także pozyskiwać dzięki nim kluczowe dla biznesu informacje.

Dzięki tej książce dowiesz się, jak to zrobić. Zaczniesz od przygotowania środowiska Power BI do używania skryptów w Pythonie i R. Następnie będziesz importować dane z nieobsługiwanych obiektów i przekształcać je za pomocą wyrażeń regularnych i złożonych algorytmów. Nauczysz się wywoływać zewnętrzne interfejsy API i korzystać z zaawansowanych technik w celu przeprowadzenia dogłębnych analiz i wyodrębnienia cennych informacji za pomocą narzędzi statystyki i uczenia maszynowego, a także poprzez zastosowanie optymalizacji liniowej i innych algorytmów. Zapoznasz się również z głównymi cechami statystycznymi zestawów danych i z metodami tworzenia różnych wykresów ułatwiających zrozumienie relacji między zmiennymi.

Najciekawsze zagadnienia:

• złożone przekształcanie danych w Power BI za pomocą skryptów Pythona i R
• anonimizacja i pseudonimizacja danych
• praca z dużymi zestawami danych
• wartości odstające i brakujące dla danych wielowymiarowych i szeregów czasowych
• tworzenie złożonych wizualizacji danych

Wyzwól potężną moc Power BI!

Przedmowa

O autorze

O recenzentach

Wstęp

Część I. Najlepsze praktyki korzystania z języków R i Python w usłudze Power BI

Rozdział 1. Gdzie i jak używać w usłudze Power BI skryptów języka R i Python?

• Wymagania techniczne
• Wstrzykiwanie skryptów języka R lub Python do usługi Power BI
  • Ładowanie danych
  • Przekształcanie danych
  • Wizualizacja danych
• Korzystanie z języków R i Python do interakcji z danymi
• Ograniczenia stosowania języków R i Python dla różnych produktów usługi Power BI
• Podsumowanie

Rozdział 2. Konfigurowanie języka R na potrzeby usługi Power BI

• Wymagania techniczne
• Dostępne silniki języka R
  • Dystrybucja CRAN R
  • Dystrybucja Microsoft R Open i MRAN
  • Klient Microsoft R
  • Stopniowe wycofywanie dystrybucji Microsoft R Open
• Wybór silnika języka R do zainstalowania
  • Silniki języka R używane w usłudze Power BI
  • Instalowanie sugerowanych silników języka R
• Instalowanie środowiska IDE w celu programowania w języku R
  • Instalacja programu RStudio
• Konfigurowanie programu Power BI Desktop do pracy z językiem R
• Konfigurowanie usługi Power BI do pracy z językiem R
  • Instalowanie lokalnej bramy danych w trybie osobistym
  • Udostępnianie raportów używających skryptów języka R w usłudze Power BI
• Ograniczenia wizualizacji języka R
• Podsumowanie

Rozdział 3. Konfigurowanie języka Python na potrzeby usługi Power BI

• Wymagania techniczne
• Dostępne silniki Pythona
• Wybór silnika języka Python do zainstalowania
  • Silniki języka Python wykorzystywane w usłudze Power BI
  • Instalowanie sugerowanych silników języka Python
• Instalowanie środowiska IDE na potrzeby programowania w języku Python
  • Konfigurowanie obsługi Pythona w środowisku programu RStudio
  • Konfigurowanie języka Python w środowisku programu Visual Studio Code
• Konfigurowanie programu Power BI Desktop do pracy z językiem Python
• Konfigurowanie usługi Power BI do pracy z językiem R
  • Udostępnianie raportów używających skryptów języka Python w usłudze Power BI
• Ograniczenia wizualizacji w Pythonie
• Podsumowanie

Część II. Pozyskiwanie i przekształcanie danych za pomocą języków R i Python w usłudze Power BI

Rozdział 4. Importowanie nieobsługiwanych obiektów danych

• Wymagania techniczne
• Importowanie plików RDS w języku R
  • Krótkie wprowadzenie do Tidyverse
  • Tworzenie zserializowanych obiektów w języku R
  • Korzystanie z plików RDS w usłudze Power BI
• Importowanie plików PKL w Pythonie
  • Krótkie wprowadzenie do PyData
  • Tworzenie zserializowanego obiektu Pythona
  • Korzystanie z pliku PKL w usłudze Power BI
• Podsumowanie
• Bibliografia

Rozdział 5. Korzystanie z wyrażeń regularnych w usłudze Power BI

• Wymagania techniczne
• Krótkie wprowadzenie do regeksów
  • Podstawowe informacje o regeksach
  • Sprawdzanie poprawności adresów e-mail
  • Sprawdzanie poprawności dat
• Sprawdzanie poprawności danych przy użyciu regeksów w usłudze Power BI
  • Korzystanie z regeksów w usłudze Power BI do sprawdzania poprawności adresów e-mail z wykorzystaniem języka Python
  • Korzystanie z regeksów w usłudze Power BI do sprawdzania poprawności adresów e-mail za pomocą języka R
  • Korzystanie z regeksów w usłudze Power BI do sprawdzania poprawności dat za pomocą języka Python
  • Korzystanie z regeksów w usłudze Power BI do sprawdzania poprawności dat za pomocą języka R
• Ładowanie do usługi Power BI złożonych plików logów z wykorzystaniem regeksów
  • Logi dostępu do serwera Apache
  • Importowanie logów dostępu serwera Apache w usłudze Power BI za pomocą języka Python
  • Importowanie logów dostępu serwera Apache w usłudze Power BI za pomocą języka R
• Wyodrębnianie wartości z tekstu w usłudze Power BI przy użyciu regeksów
  • Jeden regex do zarządzania wszystkimi danymi
  • Używanie regeksów w usłudze Power BI do wyodrębniania wartości z wykorzystaniem języka Python
  • Korzystanie z regeksów w usłudze Power BI do wyodrębniania wartości za pomocą języka R
• Podsumowanie
• Bibliografia

Rozdział 6. Anonimizacja i pseudonimizacja danych w usłudze Power BI

• Wymagania techniczne
• Deidentyfikacja danych
  • Techniki deidentyfikacji
  • Istota pseudonimizacji
  • Czym jest anonimizacja?
• Anonimizacja danych w usłudze Power BI
  • Anonimizacja danych za pomocą języka Python
  • Anonimizacja danych za pomocą języka R
• Pseudonimizacja danych w usłudze Power BI
  • Pseudonimizacja danych za pomocą języka Python
  • Pseudonimizacja danych w języku R
• Podsumowanie
• Bibliografia

Rozdział 7. Zapisywanie danych z usługi Power BI do źródeł zewnętrznych

• Wymagania techniczne
• Zapis danych do plików CSV
  • Zapis do plików CSV w języku Python
  • Zapis informacji do plików CSV za pomocą języka R
• Zapisywanie informacji do plików programu Excel
  • Zapisywanie informacji do plików Excela za pomocą języka Python
  • Zapis do plików Excela za pomocą języka R
• Zapis danych do serwera Azure SQL Server
  • Instalacja programu SQL Server Express
  • Tworzenie bazy danych w usłudze Azure SQL Database
  • Zapis danych do serwera Azure SQL Server za pomocą języka Python
  • Zapis danych na serwerze Azure SQL za pomocą języka R
• Podsumowanie
• Bibliografia

Rozdział 8. Ładowanie do usługi Power BI zbiorów danych przekraczających dostępną pamięć RAM

• Wymagania techniczne
• Typowy scenariusz analityczny obejmujący wykorzystanie obszernego zestawu danych
• Importowanie dużych zestawów danych w języku Python
  • Instalowanie Dask na laptopie
  • Tworzenie obiektów DataFrame pakietu Dask
  • Wyodrębnianie informacji z obiektu DataFrame pakietu Dask
  • Importowanie dużego zestawu danych w usłudze Power BI z wykorzystaniem języka Python
• Importowanie dużych zestawów danych za pomocą języka R
  • Instalowanie pakietu disk.frame na laptopie
  • Tworzenie egzemplarza obiektu disk.frame
  • Wyodrębnianie informacji z obiektu disk.frame
  • Importowanie dużego zestawu danych w usłudze Power BI za pomocą języka R
• Podsumowanie
• Bibliografia

Część III. Wzbogacanie danych w usłudze Power BI za pomocą języków R i Python

Rozdział 9. Wywoływanie zewnętrznych interfejsów API w celu wzbogacania danych

• Wymagania techniczne
• Czym jest usługa sieciowa?
• Rejestrowanie się w usłudze Bing Maps Web Services
• Geokodowanie adresów z wykorzystaniem języka Python
  • Korzystanie z jawnego żądania GET
  • Korzystanie ze współbieżnych żądań GET
  • Korzystanie z biblioteki Geocoder w trybie programowania współbieżnego
• Geokodowanie adresów za pomocą języka R
  • Korzystanie z jawnych żądań GET
  • Korzystanie ze współbieżnych żądań GET
  • Korzystanie z pakietu tidygeocoder do współbieżnego wykonywania kodu
• Korzystanie z usług sieciowych z poziomu usługi Power BI
  • Geokodowanie adresów w usłudze Power BI za pomocą języka Python
  • Geokodowanie adresów w usłudze Power BI za pomocą języka R
• Podsumowanie
• Bibliografia

Rozdział 10. Obliczanie kolumn przy użyciu złożonych algorytmów

• Wymagania techniczne
• Obliczanie odległości między dwiema lokalizacjami geograficznymi
  • Trygonometria sferyczna
  • Twierdzenie cosinusów
  • Wzór Haversinesa
  • Wzór Vincenty'ego
  • Jakiego wzoru odległości używać i kiedy?
• Implementacja algorytmów wyznaczania odległości w Pythonie
  • Obliczanie odległości w języku Python
  • Obliczanie odległości w usłudze Power BI za pomocą języka Python
• Implementacja algorytmów wyznaczania odległości w języku R
  • Obliczanie odległości za pomocą języka R
  • Obliczanie odległości w usłudze Power BI za pomocą języka R
• Podstawy programowania liniowego
  • Równania i nierówności liniowe
  • Formułowanie problemu optymalizacji liniowej
• Definicja problemu LP do rozwiązania
  • Formułowanie problemu LP
• Rozwiązywanie problemów optymalizacji w języku Python
  • Rozwiązywanie problemu LP za pomocą języka Python
  • Rozwiązywanie problemu programowania liniowego za pomocą języka Python w usłudze Power BI
• Rozwiązywanie problemów programowania liniowego za pomocą języka R
  • Rozwiązywanie problemu LP w języku R
  • Rozwiązywanie problemu programowania liniowego za pomocą języka R w usłudze Power BI
• Podsumowanie
• Bibliografia

Rozdział 11. Dodawanie statystyk: powiązania

• Wymagania techniczne
• Badanie powiązań między zmiennymi
• Korelacja między zmiennymi liczbowymi
  • Współczynnik korelacji Karla Pearsona
  • Współczynnik korelacji Charlesa Spearmana
  • Współczynnik korelacji Maurice'a Kendalla
  • Opis przypadku
  • Implementacja obliczeń współczynników korelacji w Pythonie
  • Implementacja obliczeń współczynników korelacji w języku R
  • Implementacja obliczania współczynników korelacji w usłudze Power BI za pomocą języków Python i R
• Korelacje między zmiennymi kategorycznymi a liczbowymi
  • Związek między dwiema zmiennymi kategorycznymi
  • Związki pomiędzy zmiennymi liczbowymi a kategorycznymi
  • Implementacja obliczania współczynników korelacji w Pythonie
  • Implementacja obliczania współczynników korelacji w języku R
  • Implementacja obliczania współczynników korelacji w usłudze Power BI za pomocą języków R i Python
• Podsumowanie
• Bibliografia

Rozdział 12. Dodawanie statystyk: wartości odstające i wartości brakujące

• Wymagania techniczne
• Czym są wartości odstające i jak sobie z nimi radzić?
  • Przyczyny istnienia wartości odstających
  • Obsługa wartości odstających
• Identyfikacja wartości odstających
  • Jednowymiarowe wartości odstające
  • Wielowymiarowe wartości odstające
• Implementacja algorytmów wykrywania wartości odstających
  • Implementacja wykrywania wartości odstających w Pythonie
  • Implementacja wykrywania wartości odstających w języku R
  • Implementacja wykrywania wartości odstających w usłudze Power BI
• Czym są wartości brakujące i jak sobie z nimi radzić?
  • Przyczyny brakujących wartości
  • Obsługa wartości brakujących
• Diagnozowanie brakujących wartości z wykorzystaniem języków R i Python
• Implementacja algorytmów imputacji brakujących wartości
  • Usuwanie brakujących wartości
  • Imputacja danych tabelarycznych
  • Imputacja danych szeregów czasowych
  • Imputacja brakujących wartości w usłudze Power BI
• Podsumowanie
• Bibliografia

Rozdział 13. Korzystanie z uczenia maszynowego bez licencji Premium lub Embedded

• Wymagania techniczne
• Interakcje z mechanizmami uczenia maszynowego w usłudze Power BI z wykorzystaniem przepływów danych
• Korzystanie z rozwiązań AutoML
  • PyCaret
  • Azure AutoML
  • RemixAutoML dla języka R
• Osadzanie kodu szkoleniowego w dodatku Power Query
  • Szkolenie i korzystanie z modeli ML z wykorzystaniem biblioteki PyCaret
  • Korzystanie z biblioteki PyCaret w usłudze Power BI
• Korzystanie z przeszkolonych modeli w dodatku Power Query
  • Ocena obserwacji w dodatku Power Query przy użyciu przeszkolonego modelu PyCaret
• Korzystanie z przeszkolonych modeli w wizualizacjach utworzonych za pomocą skryptów
  • Ocenianie obserwacji w skrypcie wizualizacji z wykorzystaniem przeszkolonego modelu PyCaret
• Wywoływanie usług sieciowych w dodatku Power Query
  • Korzystanie z usług Cognitive Services w dodatku Power Query
• Podsumowanie
• Bibliografia

Część IV. Wizualizacja danych za pomocą języka R w usłudze Power BI

Rozdział 14. Eksploracyjna analiza danych

• Wymagania techniczne
• Jaki jest cel EDA?
  • Zrozumienie sensu danych
  • Oczyszczanie danych
  • Odkrywanie powiązań między zmiennymi
• Analiza EDA z wykorzystaniem języków R i Python
• Analiza EDA w usłudze Power BI
  • Strona podsumowania zestawu danych
  • Eksploracja brakujących wartości
  • Eksploracja jednowymiarowa
  • Eksploracja wielowymiarowa
  • Powiązania zmiennych
• Podsumowanie
• Bibliografia

Rozdział 15. Zaawansowane wizualizacje

• Wymagania techniczne
• Tworzenie wykresu kołowego
• Implementacja kołowego wykresu słupkowego w języku R
• Implementacja kołowego wykresu słupkowego w usłudze Power BI
• Podsumowanie
• Bibliografia

Rozdział 16. Interaktywne niestandardowe wizualizacje języka R

• Wymagania techniczne
• Zalety stosowania interaktywnych niestandardowych wizualizacji w języku R
• Dodawanie elementów interaktywnych za pomocą biblioteki Plotly
• Wykorzystanie elementów interaktywnych za pośrednictwem widżetów HTML
• Tworzenie niestandardowych wizualizacji w usłudze Power BI
  • Instalowanie pakietu pbiviz
  • Tworzenie pierwszej niestandardowej wizualizacji R HTML
• Importowanie pakietu niestandardowej wizualizacji do usługi Power BI
• Podsumowanie
• Bibliografia

Skorowidz