Praktyczne systemy rekomendacji - ebook

PRZEDMOWA

Kiedy ukończyłem uniwersytet w 2003 roku, było to w atmosferze zagrożenia, że żadni programiści nie będą już potrzebni w Europie, bo wszystko będzie wytwarzane w krajach, w których wynagrodzenia są dużo niższe. To na szczęście nigdy się nie stało, i to z wielu powodów. Zaryzykowałbym stwierdzenie, że jednym z większych problemów było to, że firmy bagatelizowały problem programistów nierozumiejących kultury miejsc, w których ich oprogramowanie miało działać. Implementowano żądania wobec oprogramowania, ale funkcjonalność była inna niż oczekiwana przez klientów.

Obecnie istnieje podobne zagrożenie dla osób zainteresowanych uczeniem maszynowym i nauką o danych. Ale teraz problemem nie są niskie wynagrodzenia, lecz oprogramowanie jako usługa (SaaS), gdzie można przesyłać dane, a następnie system wykonuje pracę za ciebie.

Niepokoję się jak każdy, że maszyny nie rozumieją domen i ludzi. Maszyny nie są jeszcze wystarczająco inteligentne, aby móc wykluczyć udział ludzi. Wszystko dzieje się szybko, ale zaryzykuję stwierdzenie, że każdy, kto czyta tę książkę, będzie w stanie pracować z systemami rekomendacji do końca swojej kariery.

Skąd ja się w tym wszystkim wziąłem? Pracowałem jako inżynier oprogramowania we Włoszech, potem przeniosłem się do Anglii i potrzebowałem pracy, która wymaga więcej myślenia niż operacje CRUD na bazie danych. Na szczęście skontaktował się ze mną świetny rekruter z RedRock Consulting Ltd. Dopasowali mnie z dostawcą systemów rekomendacji, gdzie pracowałem nad systemem. I to było to; zagubiłem się w uczeniu maszynowym („zagubiłem” w sensie bycia naprawdę zainteresowanym i zaangażowanym). Oprócz pracy nad systemami rekomendacji, zacząłem również wyszukiwać wiedzę w Internecie i czytać mnóstwo książek na ten temat i tematy pokrewne.

Dziś nie można zarzucić wędki bez co najmniej 10 osób próbujących nauczyć cię czegoś o uczeniu maszynowym. To zabawne, gdy widzę jedną stronę lub jednogodzinne samouczki, które twierdzą, że nauczą cię wszystkiego, co musisz wiedzieć o uczeniu maszynowym. Mogę stworzyć podobnie skuteczny poradnik, jak być pilotem myśliwca:

Możesz wystartować i latać, używając drążka. Jeśli musisz strzelać, naciśnij przycisk. Następnie musisz wylądować, zanim zabraknie ci paliwa.

Taki samouczek dla pilota myśliwca będzie prawdopodobnie świetnym miejscem, aby zobaczyć, jak zacząć – ja tak zacząłem. Ale nie oszukuj samego siebie: zrozumienie uczenia maszynowego jest skomplikowane. Dodaj do tego jeszcze czynnik ludzki, który zawsze wprowadza jeszcze nieco niepewności.

Wracając do mojej historii, pracowałem z systemami rekomendacji i byłem z tego powodu szczęśliwy, a potem zmieniłem pracę. Na swoim nowym stanowisku miałem kontynuować prace nad systemami rekomendacji, ale projekt opóźniał się. W tym momencie zrobiłem się nerwowy, że nie będę mógł dalej pracować z systemami rekomendacji, ale to wtedy Manning zaproponował mi możliwość napisania o nich książki. Co innego mogłem zrobić, niż rzucić się na to zadanie? Zaraz po podpisaniu umowy projekt systemu rekomendacji w końcu ruszył. Pisanie tej książki było świetnym doświadczeniem edukacyjnym i mam nadzieję, że z niej skorzystasz i będziesz się nią cieszyć.

Celem publikacji jest wprowadzenie do systemów rekomendacji – nie tylko algorytmów, lecz także do ekosystemu systemów rekomendacji. Algorytmy nie są zbyt skomplikowane, ale ich zrozumienie i uruchomienie wymaga zrozumienia użytkowników, którzy mają otrzymywać rekomendacje. Zawartość książki ewoluowała podczas pisania, bo próbowałem zmieścić coraz więcej. Mam nadzieję, że jej lektura da ci wszystko, czego potrzebujesz, aby rozpocząć posługiwanie się systemami rekomendacji, i będzie stanowić solidną podstawę przy zdobywaniu dalszej wiedzy.PODZIĘKOWANIA

Pragnę wspomnieć i podziękować tutaj dwóm grupom: tym, którzy aktywnie pracowali nad tą publikacją, i tym, którzy cierpieli i znosili moje ciągłe rozkojarzenie w ciągu ostatnich trzech lat, gdy ta książka powstawała.

Może i moje nazwisko jest na okładce Praktycznych systemów rekomendacji, ale ta książka nie istniałaby bez wielkiego wkładu pracy ludzi w Manning. Chcę szczególnie podziękować Helen Stergius za jej nieustającą pomoc i wskazówki jako mojej redaktor prowadzącej. Wraz z innymi przetłumaczyła moje lekko dysleksyjne pismo na coś, co uczy ludzi wdrażania systemów rekomendacji.

Chciałbym również podziękować Furkanowi Kamaci i Valentinowi Crettaz, moim korektorom technicznym, i wszystkim recenzentom, którzy poświęcili czas, aby przeczytać wcześniejsze wersje i pomogli rękopisowi stać się bardziej spójnym. Należą do nich Adhir Ramjiavan, Alexander Myltsev, Alvin Raj, Amit Lamba, Andrew Collier, Fazel Keshtkar, Jared Duncan, Jaromir Nemec, Martin Beer, Mayur Patil, Mike Dalrymple, Noreen Dertinger, Olivier Ducatteeuw, Peter Hampton, Simeon Leyzerzon, Søren Lind Kristiansen, Steven Parr, Tobias Bürger, Tobias Getrost i Vipul Gupta.

Wiele bibliotek, systemów i pakietów zostało użytych do napisania tej historii i jestem bardzo wdzięczny społecznościom, które mi pomogły. Jestem również wdzięczny za narzędzia dostarczone przez społeczności open source, dzięki którym nie wszystko musiało być tworzone od podstaw.

Co najważniejsze, chcę podziękować mojej żonie, synowi, mojej teściowej, pozostałej części mojej rodziny i bliskim przyjaciołom za ich wsparcie, miłość, a przede wszystkim cierpliwość. Nie było łatwo mieć członka rodziny i przyjaciela, który stale wymyka się, aby pisać podczas przeprowadzki do nowego domu i widzieć nasze domy we Włoszech rozpadające się na kawałki przez trzęsienia ziemi. Nie wspominając, że ten pisarz zmienił miejsce pracy nie raz, a dwa razy w tym czasie. Dziękuję i obiecuję żadnych nowych projektów przez co najmniej kilka lat. Kocham was wszystkich!O TEJ KSIĄŻCE

Czy ogarnia cię zazdrość, gdy Amazon rekomenduje swoje produkty lub gdy Netflix trafia z propozycją dla użytkownika w dziesiątkę? Oto twoja szansa, aby dowiedzieć się, jak dodać te umiejętności do swojego repertuaru. Przeczytanie tej książki pozwoli ci zrozumieć, czym są systemy rekomendacji i jak je stosować w praktyce. Aby system rekomendacji zadziałał, wiele rzeczy trzeba wykonać w zgodzie ze sobą. Musisz zrozumieć, jak zbierać dane od użytkowników i jak je interpretować, i potrzebujesz przybornika różnych algorytmów rekomendacji, dzięki czemu będziesz mógł wybrać najlepszy dla danego scenariusza.

Co najważniejsze, trzeba zrozumieć, jak ocenić, czy twój system rekomendacji działa poprawnie. Wszystko to i więcej jest ukryte w tej książce.

Kto powinien przeczytać tę książkę

Praktyczne systemy rekomendacji to książka przeznaczona przede wszystkim dla deweloperów zainteresowanych wdrażaniem rekomendacji. Książka prezentuje praktyczne podejście i stara się wyjaśnić wszystko w normalnym, codziennym języku. Będzie matematyka i statystyka, ale obu będą towarzyszyć rysunki i kod. Nowi analitycy danych (data scientists) również mogą skorzystać z tej książki jako wprowadzenia do algorytmów rekomendacji i infrastruktury potrzebnej do ich uruchomienia. Książka ta będzie również przydatna dla menedżerów, aby mieli ogląd na to, czym jest system rekomendacji i jak można go używać w praktyce.

Aby w pełni skorzystać z tej książki, trzeba być w stanie odczytać kod w językach programowania, takich jak Python lub Java, rozumieć zapytanie SQL i mieć podstawową wiedzę na temat matematyki wyższej i statystyki. Rysunki i listingi kodu, które wyjaśniają różne pojęcia, dadzą ci tylko tyle, ile jesteś w stanie się nauczyć.

Organizacja książki

Książka jest podzielona na dwie części: jedna koncentruje się na infrastrukturze systemów rekomendacji, a druga na algorytmach.

W części 1 dowiesz się, jak zbierać dane i jak ich używać podczas dodawania systemu rekomendacji do swojej aplikacji:

■ Rozdział 1 omawia rekomendacje i zarysowuje kluczowe elementy. Zawiera szeroką wiedzę na temat tego, czym jest system rekomendacji i jak on działa.

■ Rozdział 2 dotyczy tego, jak rozumieć użytkowników i ich zachowania, oraz obejmuje sposoby zbierania danych od użytkowników.

■ Rozdział 3 wprowadza do analityki internetowej i pokazuje, jak można zaimplementować pulpit nawigacyjny, gdzie można śledzić działanie swoich systemów rekomendacji.

■ Rozdział 4 omawia, w jaki sposób dane behawioralne mogą zostać przekształcone w ratingi.

■ Rozdział 5 analizuje niespersonalizowane rekomendacje.

■ Rozdział 6 nakreśla problem nowych użytkowników i produktów oraz przedstawia przykładowe rozwiązania.

W części 2 przyjrzymy się algorytmom systemowym i sposobie korzystania z danych zbieranych przez system w celu obliczenia, co rekomendować użytkownikowi:

■ Rozdział 7 omawia formuły obliczania podobieństwa między użytkownikami lub elementami zawartości, takimi jak filmy.

■ Rozdział 8 wprowadza spersonalizowane rekomendacje przy użyciu wspólnej filtracji.

■ Rozdział 9 prezentuje mierniki dla rekomendacji w trybie offline i przedstawia sposoby formułowania rekomendacji w trybie online.

■ Rozdział 10 wprowadza filtrowanie oparte na zawartości, które znajduje podobieństwa w treści przy użyciu różnych typów algorytmów, takich jak ukryta alokacja Dirichleta (Latent Dirichlet Allocation) i TF-IDF.

■ Rozdział 11 powraca do wspólnej filtracji, która została wprowadzona w rozdziale 8, ale jest teraz omawiana przy użyciu metod redukcji wymiaru.

■ Rozdział 12 prezentuje sposób łączenia rodzajów systemów rekomendacji.

■ Rozdział 13 wprowadza ranking algorytmów i metod uczenia się tworzenia rankingów rekomendacji.

■ Rozdział 14 dopełnia książkę spojrzeniem w przyszłość, tematami do dalszej nauki, książkami pogłębiającymi zrozumienie tematu i przemyśleniami na temat algorytmów i kontekstu.

Praca jest przeznaczona do czytania od deski do deski, ponieważ wiele rzeczy odnosi się do wcześniejszych rozdziałów, ale można ją również zrozumieć, czytając tylko wybrane rozdziały.

Pobrania

Kod wymagany do uruchomienia przykładowej witryny o nazwie MovieGEEKs można pobrać ze strony internetowej wydawcy pod adresem www.manning.com/books/practical-recommendersystems i można go również znaleźć na GitHub.com w http://mng.bz/04K5. Strona jest implementowana za pomocą platformy Django. Będziemy używać dwóch zbiorów danych: jeden jest generowany automatycznie, podczas gdy drugi jest pobierany z MovieTweenings. Wszystkie instrukcje dotyczące instalacji można znaleźć na stronie GitHub.

Konwencje kodu

Ta książka zawiera wiele przykładów kodu źródłowego zarówno w numerowanych listingach, jak i w linii z normalnym tekstem. W obu przypadkach kod źródłowy jest zapisany czcionką o stałej szerokości, aby oddzielić go od zwykłego tekstu. Czasami kod jest również pogrubiony, aby podkreślić , że zmienił się w stosunku do poprzednich kroków w rozdziale, na przykład gdy nowa funkcja jest dodawana do istniejącego wiersza kodu.

W wielu przypadkach oryginalny kod źródłowy został przeformatowany; dodaliśmy podziały wierszy i przerobiliśmy wcięcie akapitowe w celu uwzględnienia dostępnego miejsca na stronie w książce. W rzadkich przypadkach nawet to nie wystarczyło i listingi zawierają oznaczenia kontynuacji wiersza (). Ponadto komentarze w kodzie źródłowym często zostały usunięte z listingów, gdy kod jest opisany w tekście. Wielu listingom towarzyszą adnotacje kodu, podkreślając ważne pojęcia.

Forum książki

Zakup książki Praktyczne systemy rekomendacji obejmuje bezpłatny dostęp do prywatnego forum internetowego, które jest prowadzone przez Manning Publications, gdzie można komentować książkę, zadawać pytania techniczne i otrzymać pomoc od autora i od innych użytkowników. Aby uzyskać dostęp do forum, przejdź do https://forums.manning.com/forums/practical-recommendersystems. Więcej o forach Manninga i zasadach postępowania możesz również dowiedzieć się pod adresem https://forums.manning.com/forums/about.

Zobowiązanie Manninga na rzecz naszych czytelników to zapewnienie miejsca, gdzie może się odbywać istotny dialog między poszczególnymi czytelnikami oraz między czytelnikami i autorem. Autor nie zobowiązuje się do żadnego konkretnego wymiaru swojego uczestnictwa, a jego wkład w forum pozostaje dobrowolny (i nieodpłatny). Sugerujemy zadawanie autorowi trudnych pytań, aby utrzymać jego zainteresowanie! Forum i archiwa wcześniejszych dyskusji będą dostępne na stronie wydawcy, tak długo jak książka będzie wydawana.O AUTORZE

KIM FALK jest analitykiem danych, doświadczonym w budowie aplikacji opartych na danych (datadriven). Jest pasjonatem systemów rekomendacji i ogólnie uczenia maszynowego. Trenował systemy rekomendacji, aby zapewniały wybór filmów użytkownikom końcowym, jak również reklamy ludziom, a nawet pomagały adwokatom znajdować treści orzecznictwa. Od 2010 roku zajmuje się rozwiązaniami Big Data i uczeniem maszynowym. Kim często mówi i pisze o systemach rekomendacji. Można go znaleźć pod adresem http://kimfalk.org.

Kiedy nie uczy maszyn śledzenia ludzi, Kim jest człowiekiem rodzinnym, ojcem i biegaczem przełajowym (ze swoim wyżłem niemieckim).O OKŁADCE

Rysunek na okładce Praktycznych systemów rekomendacji jest podpisany „Amazone d’Afrique”, czyli Amazonka z Afryki. Ilustracja pochodzi z kolekcji strojów z różnych krajów autorstwa Jacques Grasset de Saint-Sauveur (1757–1810), zatytułowanej Costumes de Différents Pays, opublikowanej we Francji w 1797 roku. Każda ilustracja jest precyzyjnie narysowana i ręcznie barwiona.

Bogata różnorodność kolekcji Grasset de Saint-Sauveur przypomina nam o tym, jak kulturowo różniły się miasta i regiony świata zaledwie 200 lat temu. Odseparowani od siebie ludzie mówili różnymi dialektami i językami. Na ulicach lub na wsi łatwo było zidentyfikować po samym ich stroju, gdzie żyli i czym się zajmowali, i jaka była ich pozycja społeczna. Sposób ubierania się zmienił od tego czasu, a regionalna różnorodność, tak bogata w tamtym czasie, zanikła. Teraz trudno jest odróżnić mieszkańców różnych kontynentów, nie mówiąc już o różnych miastach, regionach lub krajach. Być może zamieniliśmy różnorodność kulturową na bardziej zróżnicowane życie osobiste – a z pewnością na bardziej zróżnicowane i szybkie życie technologiczne.

W czasie, gdy trudno odróżnić jedną książkę komputerową od drugiej, Manning celebruje pomysłowość i inicjatywę biznesu komputerowego za pomocą okładek książek w oparciu o bogatą różnorodność życia regionalnego sprzed dwóch wieków, przywróconą do życia przez obrazy Grasset de Saint-Sauveur.CZĘŚĆ 1
PRZYGOTOWANIE DO SYSTEMÓW REKOMENDACJI

Środowisko to wszystko, co nie jest mną.

Albert Einstein

Korzystanie z systemów rekomendacji i w zasadzie z większości metod uczenia maszynowego w produkcji nie polega tylko na wdrożeniu najlepszego algorytmu, ale także na zrozumieniu użytkowników i domeny.

Rozdziały 1–6 części 1 Praktycznych systemów rekomendacji wprowadzają do ekosystemu i infrastruktury systemów rekomendacji. Dowiesz się, jak zbierać dane i jak ich używać podczas dodawania systemu rekomendacji do aplikacji.

Poznasz różnicę między rekomendacją a reklamą oraz między spersonalizowaną a niespersonalizowaną rekomendacją. Dowiesz się również, jak zbierać dane, aby zbudować własny system rekomendacji.