Matematyka w uczeniu maszynowym - ebook

Uczenie maszynowe staje się wszechobecne. Dzięki coraz lepszym narzędziom służącym do tworzenia aplikacji szczegóły techniczne związane z obliczeniami i modelami matematycznymi są często pomijane przez projektantów. Owszem, to wygodne podejście, ale wiąże się z ryzykiem braku świadomości co do wszystkich konsekwencji wybranych rozwiązań projektowych, szczególnie ich mocnych i słabych stron. A zatem bez ugruntowanych podstaw matematyki nie można mówić o profesjonalnym podejściu do uczenia maszynowego.

Ten podręcznik jest przeznaczony dla osób, które chcą dobrze zrozumieć matematyczne podstawy uczenia maszynowego i nabrać praktycznego doświadczenia w używaniu pojęć matematycznych. Wyjaśniono tutaj stosowanie szeregu technik matematycznych, takich jak algebra liniowa, geometria analityczna, rozkłady macierzy, rachunek wektorowy, optymalizacja, probabilistyka i statystyka. Następnie zaprezentowano matematyczne aspekty czterech podstawowych metod uczenia maszynowego: regresji liniowej, analizy głównych składowych, modeli mieszanin rozkładów Gaussa i maszyn wektorów nośnych. W każdym rozdziale znalazły się przykłady i ćwiczenia ułatwiające przyswojenie materiału.

W książce między innymi:

• podstawy algebry: układy równań, macierze, przestrzenie afiniczne
• rachunek prawdopodobieństwa, sprzężenia, optymalizacja
• wnioskowanie z wykorzystaniem różnego rodzaju modeli
• regresja liniowa i redukcja wymiarowości
• maszyna wektorów nośnych i rozwiązania numeryczne

Matematyka: koniecznie, jeśli chcesz zrozumieć istotę sztucznej inteligencji!

Spis treści

Lista symboli

Lista skrótów i akronimów

Wstęp

Podziękowania

Część I. Podstawy matematyczne

• 1. Wprowadzenie i motywacje
  • 1.1. Znajdowanie słów dla intuicji
  • 1.2. Dwa sposoby na przeczytanie tej książki
  • 1.3. Ćwiczenia i informacje zwrotne
• 2. Algebra liniowa
  • 2.1. Układy równań liniowych
  • 2.2. Macierze
  • 2.3. Rozwiązywanie układów równań liniowych
  • 2.4. Przestrzenie wektorowe
  • 2.5. Niezależność liniowa
  • 2.6. Baza i rząd
  • 2.7. Przekształcenia liniowe
  • 2.8. Przestrzenie afiniczne
  • 2.9. Materiały dodatkowe
  • Ćwiczenia
• 3. Geometria analityczna
  • 3.1. Normy
  • 3.2. Iloczyny wewnętrzne
  • 3.3. Długości i odległości
  • 3.4. Kąty i ortogonalność
  • 3.5. Baza ortonormalna
  • 3.6. Dopełnienie ortogonalne
  • 3.7. Iloczyn wewnętrzny funkcji
  • 3.8. Rzuty ortogonalne
  • 3.10. Materiały dodatkowe
  • Ćwiczenia
• 4. Rozkłady macierzy
  • 4.1. Wyznacznik i ślad
  • 4.2. Wartości i wektory własne
  • 4.3. Rozkład Choleskiego
  • 4.4. Rozkład według wartości własnych i diagonalizacja
  • 4.5. Rozkład według wartości osobliwych
  • 4.6. Przybliżenie macierzy
  • 4.7. Filogeneza macierzy
  • 4.8. Materiały dodatkowe
  • Ćwiczenia
• 5. Rachunek wektorowy
  • 5.1. Różniczkowanie funkcji jednowymiarowych
  • 5.2. Pochodne cząstkowe i gradienty
  • 5.3. Gradienty funkcji o wartościach wektorowych
  • 5.4. Gradienty macierzy
  • 5.5. Tożsamości przydatne w obliczeniach gradientów
  • 5.6. Propagacja wsteczna i różniczkowanie automatyczne
  • 5.7. Pochodne wyższych rzędów
  • 5.8. Linearyzacja i wielowymiarowe szeregi Taylora
  • 5.9. Materiały dodatkowe
  • Ćwiczenia
• 6. Prawdopodobieństwo i jego rozkłady
  • 6.1. Struktura przestrzeni prawdopodobieństwa
  • 6.2. Prawdopodobieństwo ciągłe i dyskretne
  • 6.3. Reguły dodawania i mnożenia oraz twierdzenie Bayesa
  • 6.4. Statystyki podsumowujące i niezależność
  • 6.5. Rozkład Gaussa
  • 6.6. Sprzężenie i rodzina wykładnicza
  • 6.7. Zmiana zmiennych/przekształcenie odwrotne
  • 6.8. Materiały dodatkowe
  • Ćwiczenia
• 7. Optymalizacja ciągła
  • 7.1. Optymalizacja za pomocą metody gradientu prostego
  • 7.2. Optymalizacja z ograniczeniami i mnożniki Lagrange'a
  • 7.3. Optymalizacja wypukła
  • 7.4. Materiały dodatkowe
  • Ćwiczenia

Część II. Centralne problemy uczenia maszynowego

• 8. Gdy model spotyka dane
  • 8.1. Dane, modele i uczenie
  • 8.2. Minimalizacja ryzyka empirycznego
  • 8.3. Estymacja parametrów
  • 8.4. Modelowanie probabilistyczne i wnioskowanie
  • 8.5. Modele digrafowe
  • 8.6. Wybór modelu
• 9. Regresja liniowa
  • 9.1. Sformułowanie problemu
  • 9.2. Estymacja parametrów
  • 9.3. Bayesowska regresja liniowa
  • 9.4. Estymacja metodą maksymalnej wiarygodności jako rzut ortogonalny
  • 9.5. Materiały dodatkowe
• 10. Redukcja wymiarowości za pomocą analizy głównych składowych
  • 10.1. Sformułowanie problemu
  • 10.2. Perspektywa maksymalizacji wariancji
  • 10.3. Perspektywa rzutowania
  • 10.4. Znajdowanie wektora własnego i aproksymacja za pomocą macierzy niskiego rzędu
  • 10.5. PCA w dużej liczbie wymiarów
  • 10.6. Najważniejsze kroki algorytmu PCA z praktycznego punktu widzenia
  • 10.7. Perspektywa zmiennej ukrytej
  • 10.8. Materiały dodatkowe
• 11. Szacowanie gęstości za pomocą modeli mieszanin rozkładów Gaussa
  • 11.1. Model mieszaniny rozkładów Gaussa
  • 11.2. Uczenie parametrów za pomocą metody maksymalnej wiarygodności
  • 11.3. Algorytm EM
  • 11.4. Perspektywa zmiennej ukrytej
  • 11.5. Materiały dodatkowe
• 12. Klasyfikacja za pomocą maszyny wektorów nośnych
  • 12.1. Hiperpłaszczyzny rozdzielające
  • 12.2. Pierwotna maszyna wektorów nośnych
  • 12.3. Dualna maszyna wektorów nośnych
  • 12.4. Jądra
  • 12.5. Rozwiązanie numeryczne
  • 12.6. Materiały dodatkowe
• Bibliografia