Generatywna sztuczna inteligencja na platformie AWS. Tworzenie multimodalnych aplikacji wnioskujących kontekstowo - ebook
Generatywna sztuczna inteligencja na platformie AWS. Tworzenie multimodalnych aplikacji wnioskujących kontekstowo - ebook
Podczas projektowania aplikacji opartych na generatywnej AI trzeba dokonywać wielu wyborów decydujących o jakości danych dostarczanych przez aplikację, jej opłacalności, skalowalności i niezawodności. Decyzje te są tym trudniejsze, że świat generatywnej AI zmienia się niezwykle szybko, a mity i błędne przeświadczenia dotyczące tej technologii mają się świetnie.
W tej niezwykle pragmatycznej książce, przeznaczonej dla dyrektorów technicznych, praktyków uczenia maszynowego, twórców aplikacji, analityków biznesowych, inżynierów i badaczy danych, znajdziesz skuteczne techniki używania sztucznej inteligencji. Zaznajomisz się z cyklem życia projektu opartego na generatywnej AI i jej zastosowaniami, a także metodami doboru i dostrajania modeli, generowania danych wspomaganego wyszukiwaniem, uczenia przez wzmacnianie na podstawie informacji zwrotnych od człowieka, kwantyzacji, optymalizacji i wdrażania modeli. Poznasz szczegóły różnych typów modeli, między innymi dużych językowych (LLM), multimodalnych generujących obrazy (Stable Diffusion) i odpowiadających na pytania wizualne (Flamingo/IDEFICS).
Dowiedz się, jak:
- używać generatywnej AI w biznesie
- dobierać modele generatywnej AI
- stosować inżynierię monitu i uczenie kontekstowe
- dostrajać modele przy użyciu własnych zbiorów danych i techniki LoRA
- korzystać z agentów i akcji za pomocą bibliotek LangChain i ReAct
- tworzyć aplikacje na bazie usługi Amazon Bedrock
To fascynująca książka, rewelacyjna kompozycja niezwykle ważnych informacji, a także szczegółowych, praktycznych kodów, skryptów i instrukcji!
Jeff Barr, wiceprezes i główny popularyzator AWS
Spis treści
Wprowadzenie
1. Podstawy generatywnej sztucznej inteligencji, przypadki użycia i cykl życia projektu
- Przykłady użycia i zadania
- Modele podstawowe i centra modeli
- Cykl życia projektu generatywnej sztucznej inteligencji
- Generatywna sztuczna inteligencja w chmurze AWS
- Dlaczego chmura AWS?
- Tworzenie aplikacji opartych na generatywnej sztucznej inteligencji w chmurze AWS
- Podsumowanie
2. Inżynieria monitu i uczenie kontekstowe
- Monity i uzupełnienia
- Tokeny
- Inżynieria monitu
- Struktura monitu
- Instrukcja
- Kontekst
- Uczenie kontekstowe na kilku przykładach
- Uczenie bez przykładów
- Uczenie na jednym przykładzie
- Uczenie na kilku przykładach
- Błędne uczenie kontekstowe
- Dobre praktyki uczenia kontekstowego
- Dobre praktyki inżynierii monitu
- Parametry wnioskowania
- Podsumowanie
3. Podstawowe duże modele językowe
- Podstawowe duże modele językowe
- Tokenizery
- Wektory osadzeń
- Architektura transformera
- Dane wejściowe i okno kontekstowe
- Osadzenia
- Koder
- Warstwy samouwagi
- Dekoder
- Funkcja softmax
- Rodzaje modeli podstawowych opartych na transformerach
- Zbiory danych do wstępnego trenowania modeli
- Reguły skalowania
- Modele optymalne obliczeniowo
- Podsumowanie
4. Optymalizacja pamięci i obliczeń
- Wyzwania pamięciowe
- Typy i precyzja danych
- Kwantyzacja
- Typ fp16
- Typ bfloat16
- Typ fp8
- Typ int8
- Optymalizacja warstw samouwagi
- FlashAttention
- Grouped-Query Attention
- Rozproszone przetwarzanie danych
- Algorytm DDP
- Algorytm FSDP
- Porównanie wydajności algorytmów FSDP i DDP
- Rozproszone przetwarzanie danych w chmurze AWS
- Algorytm FSDP w klastrze Amazon SageMaker
- Pakiet AWS Neuron SDK i akcelerator AWS Trainium
- Podsumowanie
5. Dostrajanie i ocenianie modelu
- Dostrajanie za pomocą instrukcji
- Llama 2-Chat
- Falcon-Chat
- FLAN-T5
- Zbiór instrukcji
- Zbiór różnorodnych instrukcji
- FLAN - przykładowy zbiór różnorodnych instrukcji
- Szablon monitu
- Konwersja niestandardowego zbioru danych w zbiór instrukcji
- Dostrajanie modelu za pomocą niestandardowych instrukcji
- Amazon SageMaker Studio
- Amazon SageMaker JumpStart
- Klasa Amazon SageMaker Estimator dla centrum Hugging Face
- Ocenianie modelu
- Wskaźniki skuteczności
- Testy porównawcze i zbiory danych
- Podsumowanie
6. Dostrajanie PEFT
- Dostrajanie pełne i PEFT
- LoRA i QLoRA
- Podstawy techniki LoRA
- Rząd macierzy
- Docelowe moduły i warstwy
- Implementacja techniki LoRA
- Scalanie adaptera LoRA z oryginalnym modelem
- Osobne adaptery LoRA
- Skuteczność dostrajania pełnego i LoRA
- QLoRA
- Zmiękczanie i dostrajanie monitu
- Podsumowanie
7. Metoda RLHF
- Ludzkie wartości: przydatność, uczciwość, nieszkodliwość
- Podstawy uczenia przez wzmacnianie
- Niestandardowy system nagradzania
- Gromadzenie danych treningowych z zaangażowaniem człowieka
- Przykładowe instrukcje dla adnotatorów
- Gromadzenie adnotacji z wykorzystaniem usługi Amazon SageMaker Ground Truth
- Przygotowanie danych do wytrenowania systemu nagradzania
- Trening systemu nagradzania
- System nagradzania - detektor toksyczności firmy Meta
- Dostrajanie modelu z wykorzystaniem techniki RLHF
- Zastosowanie systemu nagradzania i techniki RLHF
- Algorytm PPO
- Dostrajanie modelu przy użyciu techniki RLHF i algorytmu PPO
- Zapobieganie hakowaniu nagród
- Zastosowanie dostrajania PEFT i techniki RLHF
- Ocenianie modelu dostrojonego z użyciem techniki RLHF
- Ocena jakościowa
- Ocena ilościowa
- Załadowanie systemu oceniania
- Definicja funkcji zwracającej zagregowaną ocenę
- Porównanie ocen przed dostrojeniem i po nim
- Podsumowanie
8. Optymalizacja wdrożenia modelu
- Optymalizacja modelu pod kątem wnioskowania
- Przycinanie modelu
- Kwantyzacje PTQ i GPTQ
- Destylacja
- Kontener LMI
- AWS Inferentia: specjalny sprzęt do wnioskowania
- Strategie aktualizowania i wdrażania modeli
- Testy A/B
- Wdrożenie równoległe
- Wskaźniki i monitoring
- Autoskalowanie
- Zasady autoskalowania
- Definiowanie zasady autoskalowania
- Podsumowanie
9. Aplikacje wnioskujące kontekstowo w oparciu o technikę RAG i agentów
- Ograniczenia modeli LLM
- Halucynacje
- Odcięcie wiedzy
- Generowanie wspomagane pobieraniem
- Zewnętrzne źródła wiedzy
- Proces RAG
- Załadowanie dokumentów
- Fragmentowanie dokumentów
- Pobieranie dokumentów i ponowny ranking wyników
- Rozszerzenie monitu
- Koordynacja i implementacja techniki RAG
- Ładowanie i fragmentowanie dokumentów
- Magazyn wektorów osadzeń i pobieranie danych
- Łańcuch pobrań
- Ponowny ranking z wykorzystaniem algorytmu MMR
- Agent
- Platforma ReAct
- Platforma PAL
- Aplikacje oparte na generatywnej sztucznej inteligencji
- FMOps - utrzymanie cyklu życia projektu aplikacji opartej na generatywnej sztucznej inteligencji
- Eksperymentowanie
- Programowanie
- Wdrożenie w środowisku produkcyjnym
- Podsumowanie
10. Multimodalne modele podstawowe
- Zastosowania multimodalnych modeli generatywnej sztucznej inteligencji
- Dobre praktyki inżynierii multimodalnego monitu
- Generowanie i udoskonalanie obrazów
- Generowanie obrazów
- Edycja i udoskonalanie obrazów
- Wrysowanie, rozrysowanie i podrysowanie obrazu
- Wrysowanie obrazu
- Rozrysowanie obrazu
- Podrysowanie obrazu
- Podpisywanie obrazów, moderowanie treści i odpowiadanie na wizualne pytania
- Podpisywanie obrazów
- Moderowanie treści
- Odpowiadanie na wizualne pytania
- Ocena modelu
- Generatywna konwersja tekstu na obraz
- Dyfuzja w przód
- Rozumowanie niewerbalne
- Podstawy algorytmu dyfuzyjnego
- Dyfuzja w przód
- Dyfuzja wstecz
- Sieć U-Net
- Model Stable Diffusion 2
- Koder tekstu
- Sieć U-Net i proces dyfuzji
- Kondycjonowanie tekstu
- Uwaga krzyżowa
- Harmonogram
- Dekoder obrazu
- Model Stable Diffusion XL
- Sieć U-Net i uwaga krzyżowa
- Rafinator
- Kondycjonowanie
- Podsumowanie
11. Sterowanie procesem generowania obrazów i dostrajanie modelu Stable Diffusion
- ControlNet
- Dostrajanie modelu
- DreamBooth
- Metody DreamBooth, PEFT i LoRA
- Inwersja tekstu
- Dostosowywanie modelu do ludzkich wartości przy użyciu techniki RLHF
- Podsumowanie
12. Amazon Bedrock - usługa zarządzana dla generatywnej sztucznej inteligencji
- Modele podstawowe w usłudze Amazon Bedrock
- Modele Amazon Titan
- Modele Stability AI Stable Diffusion
- Interfejs API usługi Amazon Bedrock do wnioskowania
- Modele LLM
- Generowanie kodu SQL
- Streszczanie tekstu
- Osadzenia
- Dostrajanie modeli
- Agenci
- Modele multimodalne
- Tworzenie obrazu z tekstu
- Tworzenie obrazów z obrazów
- Prywatność danych i bezpieczeństwo sieci
- Zarządzanie i monitorowanie
- Podsumowanie
Kategoria: | Bazy danych |
Zabezpieczenie: |
Watermark
|
ISBN: | 978-83-289-1475-9 |
Rozmiar pliku: | 18 MB |