Deep Learning. Głęboka rewolucja - ebook

Przedmowa

Jeśli ktoś korzystał z funkcji rozpoznawania głosu w telefonie z Androidem lub z usługi Tłumacza Google w internecie, to miał kontakt z sieciami neuronowymi, które były trenowane za pomocą głębokiego uczenia maszynowego*. W ciągu kilku ostatnich lat głębokie uczenie wygenerowało dla Google’a na tyle duże zyski, że pokryło koszty wszystkich futurystycznych projektów w Google X, łącznie z samojeżdżącymi pojazdami, okularami Google Glass i Google Brain. Google było jedną z pierwszych firm internetowych, które opowiedziały się za głębokim uczeniem. W 2013 roku zatrudniło Geoffreya Hintona, ojca głębokiego uczenia. Inne firmy na wyścigi próbują za nimi nadążyć.

Ostatnie osiągnięcia w rozwoju sztucznej inteligencji zawdzięczamy inżynierii odwrotnej mózgu. Algorytmy uczenia dla modeli warstwowych sieci neuronowych są inspirowane sposobem, w jaki neurony komunikują się ze sobą i są modyfikowane przez doświadczenie. Wewnątrz sieci złożoność świata jest przekształcana w kalejdoskop wewnętrznych wzorów aktywności, które są składnikami inteligencji. Modele sieci, nad którymi pracowałem w latach 80. XX wieku, były niewielkie w porównaniu z dzisiejszymi, które mają miliony sztucznych neuronów i głębokość dziesiątek warstw. Dokonany przez głębokie uczenie zasadniczy przełom w pracach nad najtrudniejszymi problemami sztucznej inteligencji zawdzięczamy wytrwałości, dużym zbiorom danych i znacznie większej mocy obliczeniowej komputerów.

Prognozowanie, jaki wpływ na naszą przyszłość będą miały nowe technologie, nie jest naszą najmocniejszą stroną. Kto był w stanie przewidzieć w latach 90. XX wieku, kiedy internet zaczął nabierać charakteru komercyjnego, jaki będzie miało to wpływ na przemysł muzyczny? Na firmy taksówkowe? Na prowadzenie kampanii politycznych? Na niemal wszystkie aspekty naszego codziennego życia? Równie nieudana była próba przewidywania, w jaki sposób komputery zmienią nasze życie. Często w tym kontekście przytacza się wypowiedź Thomasa J. Watsona, prezesa IBM, który w 1943 roku powiedział, że „na światowych rynkach jest, jak sądzę, miejsce dla może pięciu komputerów”. Szczególnie trudno wyobrazić sobie, w jaki sposób pojawiające się wynalazki będą mogły być używane w przyszłości. Wynalazcy wcale nie są na lepszej pozycji niż inni, jeśli chodzi o prognozowanie nowych zastosowań. Pomiędzy utopijnymi i katastroficznymi scenariuszami, które kreśli się dla głębokiego uczenia i sztucznej inteligencji, mieści się wiele innych możliwości, ale nawet najbardziej pomysłowi pisarze science fiction nie są w stanie odgadnąć, jakie ostatecznie będzie oddziaływanie tych zjawisk.

Pierwsza wersja książki Deep learning. Głęboka rewolucja została napisana w ciągu kilku intensywnych tygodni po wędrówce przez Wybrzeże Północno-Zachodnie i rozmyślaniu nad fundamentalną zmianą, która niedawno zaszła w świecie sztucznej inteligencji, a której korzenie sięgają wielu dekad wstecz. To opowieść o niewielkiej grupie badaczy rzucającej wyzwanie establishmentowi świata sztucznej inteligencji, który był znacznie lepiej finansowany, i w tamtych czasach uważany za „jedyny słuszny wybór”. Błędnie ocenili, z jak trudnym problemem przyjdzie im się zmierzyć. Oparli się na domniemaniach dotyczących inteligencji, które – jak się okazało – prowadziły na manowce.

Życie na Ziemi jest pełne tajemnic, ale największym wyzwaniem wydaje się odpowiedź na pytanie, czym jest inteligencja. Natura obfituje w inteligencję, która przejawia się w wielu formach, od prostej, cechującej bakterie, po niezwykle złożoną występującą u ludzi. Każda z nich jest dostosowana do miejsca, które zajmuje we wszechświecie. Sztuczna inteligencja również będzie występować w wielu formach, które zajmą swoje konkretne miejsca w tym spektrum. Kiedy inteligencja maszynowa oparta na głębokich sieciach neuronowych osiągnie swoją dojrzałą postać, będzie mogła stanowić nową konceptualną ramę dla inteligencji biologicznej.

Deep learning. Głęboka rewolucja jest przewodnikiem po przeszłości, teraźniejszości i przyszłości głębokiego uczenia. Książka nie została pomyślana jako wyczerpująca historia tej dziedziny, a raczej jako osobiste spojrzenie na kluczowe osiągnięcia w sferze pojęciowej i wspólnotę badaczy, którzy do nich doszli. Ludzka pamięć jest zawodna i zmienia się za każdym razem, kiedy opowiadamy daną historię; proces ten nazywamy rekonsolidacją. Opowieści przedstawione w tej książce rozgrywają się na przestrzeni ponad czterdziestu lat, i choć niektóre są dla mnie tak żywe, jak gdyby wydarzyły się wczoraj, mam świadomość, że ich szczegóły zatarły się z czasem wraz z kolejnymi powtórzeniami.

Część pierwsza książki mówi o motywacji do podjęcia prac nad głębokim uczeniem i przedstawia kontekst, który jest konieczny do zrozumienia jego genezy. Część druga opisuje algorytmy uczące w różnych typach architektur sieci neuronowych. Część trzecia omawia wpływ głębokiego uczenia na nasze obecne życie i jego możliwe oddziaływanie w nadchodzących latach. Jak jednak powiedział filozof Yogi Berra z nowojorskich Yankees: „Przewidywanie to ciężka sprawa, szczególnie w odniesieniu do przyszłości”. Ramki tekstowe zamieszczone w ośmiu rozdziałach ukazują technologiczny kontekst opowiadanej historii. Kalendaria na początku każdej z trzech części porządkują wydarzenia, które są związane z daną historią. Ich zakres obejmuje ponad sześćdziesiąt lat.Kalendarium

1956 – Letni projekt badawczy poświęcony sztucznej inteligencji w Dartmouth dał początek badaniom nad sztuczną inteligencją i zainspirował pokolenie naukowców do eksplorowania potencjału technologii informacyjnej po to, by dorównać możliwościom ludzkiego umysłu.

1962 – Frank Rosenblatt opublikował książkę Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms (Zasady neurodynamiki. Perceptrony i teoria mechanizmów działania mózgu), w której wprowadził algorytm uczący dla modeli sieci neuronowych z pojedynczą warstwą o różnych wagach – pierwowzór dzisiejszych algorytmów uczących dla modeli głębokich sieci neuronowych.

1962 – David Hubel i Torsten Wiesel opublikowali artykuł Receptive Fields, Binocular Interaction and Functional Architecture in the Cat’s Visual Cortex (Pola receptywne; dwuoczna interakcja i architektura funkcjonalna w korze wzrokowej kotów), w którym po raz pierwszy przedstawili właściwości reakcji pojedynczych neuronów zarejestrowanych za pomocą mikroelektrody. Głębokie sieci mają architekturę zbliżoną do hierarchii obszarów w korze wzrokowej.

1969 – Marvin Minsky i Seymour Papert opublikowali książkę Perceptrons (Perceptrony), w której zwrócili uwagę na obliczeniowe ograniczenia pojedynczego sztucznego neuronu, co dało początek zimie sieci neuronowych, czyli spadkowi zainteresowania tą dziedziną.

1979 – Geoffrey Hinton i James Anderson zorganizowali w La Jolli w Kalifornii warsztaty Parallel Models of Associative Memory (Równoległe modele pamięci asocjacyjnej), w których wzięło udział nowe pokolenie pionierów sieci neuronowych. Ich wynikiem była wspólna publikacja Hintona i Andersona pod tym samym tytułem wydana w 1981 roku.

1987 – Pierwsza konferencja i warsztaty na temat neuronowych systemów przetwarzania informacji (Neural Information Processing Systems, NIPS) w Centrum Technologii w Denver, gromadzące badaczy wywodzących się z różnych dziedzin.Przypisy

Przedmowa

* W książce wymiennie używane jest tłumaczenie angielskiego terminu deep learning jako głębokie uczenie maszynowe oraz głębokie uczenie (przyp. tłum.).

Ściśle rzecz ujmując, sieć neuronowa to twór biologiczny, a modele, których używamy w uczeniu maszynowym, to sztuczne sieci neuronowe (SSN). W książce, o ile nie wskazano inaczej, używamy jednak terminu „sieć neuronowa” w odniesieniu do sztucznych sieci neuronowych.

Conor Dougherty, Astro Teller, Google’s ‘Captain of Moonshots’, on Making Profits at Google X, „New York Times”, 6 lutego 2015, https://bits.blogs.nytimes.com/2015/02/16/googles-captain-of-moonshots-on-making-profits-at-google-x. Głębokie uczenie zredukowało koszty zakupu energii związane z prowadzeniem ośrodków przetwarzania danych o 15 procent, co przekłada się na oszczędność setek milionów dolarów rocznie.

Wprawdzie nigdy nie potwierdzono, że Watson naprawdę wypowiedział te słowa w 1943 roku, ale dobrze ilustrują one niemal powszechnie wówczas przyjmowane – a mimo to błędne – przekonanie na temat przyszłości komputerów.

Rozdział pierwszy

„O nowy, wspaniały świat, w którym żyją tacy ludzie”. Słowa Mirandy z Burzy Szekspira. Akt piąty, scena pierwsza. W. Shakespeare, Burza. Zimowa Opowieść, tłum. S. Barańczak, „W drodze”, Poznań 1991, s. 121.

B. Vlasic, G.M. Wants to Drive the Future of Cars That Drive Themselves, „New York Times”, 4 czerwca 2017, https://www.nytimes.com/2017/06/04/business/general-motors-self-driving-cars-mary-barra.html.

Full Tilt: When 100% of Cars Are Autonomous, „New York Times Magazine”, 8 listopada 2017, https://www.nytimes.com/interactive/2017/11/08/magazine/tech-design-autonomous-future-cars-100-percent-augmented-reality-policing.html?hp&action=click&pgtype=Homepage&clickSource=story-heading&module=second-column-region®ion=top-news&WT.nav=top-news/.

C. Ingraham, The Astonishing Human Potential Wasted on Commutes, „Washington Post”, 24 lutego 2016, https://www.washingtonpost.com/news/wonk/wp/2016/02/25/how-much-of-your-life-youre-wasting-on-yourcommute/?utm_term=.497dfd1b5d9c.

P. Tientrakool, Y.-C. Ho, N.F. Maxemchuk, Highway Capacity Benefits from Using Vehicle-to-Vehicle Communication and Sensors for Collision Avoidance, Konferencja IEEE poświęcona technologiom transportu kołowego, San Francisco, 5–8 września 2011.

Google’s Waymo Passes Milestone in Driverless Car Race, „Financial Times”, 10 grudnia 2017, https://www.ft.com/content/dc281ed2-c425-11e7-b2bb322b2cb39656/.

B.A. Golomb, Will We Recognize It When It Happens?, w: J. Brockman (red.), What to Think About Machines That Think, Harper Perennial, New York 2015, s. 533–535.

P. Delforge, America’s Data Centers Consuming and Wasting Growing Amounts of Energy, opracowanie Rady Ochrony Zasobów Naturalnych (NRDC), 6 lutego 2015, https://www.nrdc.org/resources/americas-datacenters-consuming-and-wasting-growing-amounts-energy/.

W.B. Arthur, Where Is Technology Taking the Economy?, „McKinsey Quarterly”, październik 2017, https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/Where-is-technology-taking-the-economy/.

E. Hemingway, Śniegi Kilimandżaro, tłum. M. Michałowska, w: tenże, 49 opowiadań, Państwowy Instytut Wydawniczy, Warszawa 1974, s. 61.

G. Lewis-Kraus, The Great A.I. Awakening, „New York Times Magazine”, 14 grudnia 2016, https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html.

A.S. Pushkin, Eugene Onegin: A Novel in Verse, wyd. 2, tłum. V. Nabokov, Princeton University Press, Princeton 1991.

Pierwsze próby w tym obszarze zostały opisane w: A. Karpathy, The Unreasonable Effectiveness of Recurrent Neural Networks, blog A. Karpathy’ego, post z 21 maja 2015 roku, http://karpathy.github.io/2015/05/21/rnneffectiveness/.

G. Hinton, L. Deng, G.E. Dahl, A. Mohamed, N. Jaitly, A. Senior i in., Deep Neural Networks for Acoustic Modeling in Speech Recognition, „IEEE Signal Processing Magazine” 29, nr 6, 2012, s. 82–97.

W. Xiong, J. Droppo, X. Huang, F. Seide, M. Seltzer, A. Stolcke i in., Achieving Human Parity in Conversational Speech Recognition, raport techniczny Microsoft Research MSR-TR-2016-71, wersja poprawiona z lutego 2017 roku, https://arxiv.org/pdf/1610.05256.pdf.

A. Esteva, B. Kuprel, R.A. Novoa, J. Ko, S.M. Swetter, H.M. Blau, S. Thrun, Dermatologist-Level Classification of Skin Cancer with Deep Neural Networks, „Nature” 542, nr 7639, 2017, s. 115–118.

S. Mukherjee, A.I. versus M.D: What Happens When Diagnosis Is Automated?, „New Yorker”, 3 kwietnia 2017, http://www.newyorker.com/magazine/2017/04/03/ai-versus-md/.

D. Wang, A. Khosla, R. Gargeya, H. Irshad, A.H. Beck, Deep Learning for Identifying Metastatic Breast Cancer, arXiv:1606.05718. Jednostka, której używali, pochodzi z teorii detekcji sygnałów i jest nazywana obszarem pod krzywą (area under the curve). Jest wrażliwa zarówno na błędy pierwszego rodzaju, jak i drugiego rodzaju, https://arxiv.org/abs/1606.05718/.

A. Rechtschaffen, A. Kales (red.), A Manual of Standardized Terminology, Techniques and Scoring System for Sleep Stages of Human Subjects, publikacja nr 204 Narodowych Instytutów Zdrowia, Narodowy Instytut Chorób Neurologicznych i Zaburzeń Widzenia, Neurologiczna Sieć Informacyjna, Bethesda, MD 1968.

Zob.: I. Allison, Former Nuclear Physicist Henri Waelbroeck Explains How Machine Learning Mitigates High Frequency Trading, „International Business Times”, 23 marca 2016, http://www.ibtimes.co.uk/former-nuclear-physicist-henri-waelbroeck-explains-how-machine-learning-mitigates-high-frequency-1551097/; B. McCann, The Artificial-Intelligent Investor: AI Funds Beckon, „Wall Street Journal”, 5 listopada 2017, https://www.wsj.com/articles/the-artificial-intelligent -investor-ai-funds-beckon-1509937622/.

S. Chong, Morning Agenda: Big Pay for Hedge Fund Chiefs despite a Rough Year, „New York Times”, 16 maja 2017, https://www.nytimes.com/2017/05/16/business/dealbook/hedge-funds amazon-bezos.html.

Bez uwzględnienia Narodowej Agencji Bezpieczeństwa (NSA), która zatrudnia tysiące matematyków. A.W. Hales, kontakt bezpośredni, 4 maja 2016.

S. Manzoor, Quants: The Maths Geniuses Running Wall Street, „Telegraph”, 23 lipca 2013, http://www.telegraph.co.uk/finance/10188335/Quants-the-maths-geniuses-running-Wall-Street.html.

D.E. Shaw, J.C. Chao, M.P. Eastwood, J. Gagliardo, J.P. Grossman, C. Ho i in., Anton: A Special-Purpose Machine for Molecular Dynamics Simulation, „Communications of the ACM” 51, nr 7, 2008, s. 91–97.

D.T. Max, J. Simons, The Numbers King, „New Yorker”, 18 i 25 grudnia 2017, https://www.newyorker.com/magazine/2017/12/18/jim-simonsthe-numbers-king/.

Niedługo na tej podstawie powstanie duża produkcja kinowa zatytułowana Legally Deep.

J. von Neumann, cyt. za: J. Bronowski, The Ascent of Man, telewizyjny serial dokumentalny, odcinek 13, 1973.

Zob.: M. Moravčík, M. Schmid, N. Burch, V. Lisý, D. Morrill, N. Bard i in., Deep-Stack: Expert-Level Artificial Intelligence in Heads-Up No-Limit Poker, „Science” 356, nr 6337, 2017, s. 508–513. Odchylenie standardowe to szerokość połówkowa krzywej dzwonowej. Jedynie 16 procent próbek znajduje się w obszarze oddalonym od średniej o więcej niż jedno odchylenie standardowe. Tylko 3 na 10 tysięcy próbek znajdują się w obszarze oddalonym od średniej o więcej niż 4 odchylenia standardowe.

Przychodzi tutaj na myśl rozwój wypadków przedstawiony w Grach wojennych, filmie science fiction z 1983 roku; zob.: https://en.wikipedia.org/wiki/WarGames.

Zob.: D. Silver, A. Huang, C.J. Maddison, A. Guez, L. Sifre, G. van den Driessche, i in., Mastering the Game of Go with Deep Neural Networks and Tree Search, „Nature” 529, nr 7587, 2016, s. 484–489.

„Nie wiem, jak zacząć, ani co mam teraz powiedzieć”, Sedol powiedział dziennikarzom, „ale myślę, że będę musiał zacząć od przeprosin. Powinienem osiągnąć lepszy wynik, lepszy rezultat, lepiej przeprowadzić rozgrywkę. Bardzo przepraszam za to, że nie byłem w stanie zadowolić oczekiwań tak wielu osób. W pewnym sensie czułem się bezsilny. Patrzę teraz z perspektywy czasu na te trzy mecze. Jeśli chodzi o ten pierwszy, to nawet jeśli mógłbym do niego wrócić i zagrać jeszcze raz, nie sądzę, żebym był w stanie go wygrać, ponieważ w tamtej chwili źle oceniłem możliwości Alpha Go”. Cyt. za: J. Novet, Go Board Game Chapion Lee Sedol Apologizes for Losing to Google’s AI, „VentureBeat”, 12 marca 2016, https://venturebeat.com/2016/03/12/go-board-game-championlee-sedol-apologizes-for-losing-to-googles-ai/.

Surveyor 1 wylądował na powierzchni Księżyca 2 czerwca 1966 roku o godzinie 6:17:36 czasu uniwersalnego. Miejsce lądowanie mieściło się na płaskim obszarze wewnątrz krateru o średnicy 100 kilometrów położonego na północ od krateru Flamsteed.

K. Jie, cyt. za: S. Cheng, The Awful Frustration of a Teenage Go Champion Playing Google’s AlphaGo, „Quartz”, 27 maja 2017, https://qz.com/993147/the-awful-frustration-of-a-teenage-go-champion-playing-googles-alphago/.

K. Jie, cyt. za: P. Mozur, Google’s A.I. Program Rattles Chinese Go Master As It Wins Match, „New York Times”, 25 maja 2017, https://www.nytimes.com/2017/05/25/business/google-alphago-defeats-go-ke-jie-again.html.

P. Mozur, Beijing Wants A.I. to Be Made in China by 2030, „New York Times”, 20 lipca 2017, https://www.nytimes.com/2017/07/20/business/china-artificial-intelligence.html.

D. Silver, J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, T. Hubert, L. Baker, M. Lai, A. Bolton, Y. Chen, T. Lillicrap, F. Hui, L. Sifre, G. van den Driessche, T. Graepel, D. Hassabis, Mastering the Game of Go Without Human Knowledge, „Nature” 550, 2017, s. 354–359.

D. Silver, T. Hubert, J. Schrittwieser, I. Antonoglou, M. Lai, A. Guez, M. Lanctot, L. Sifre, D. Kumaran, T. Graepel, T. Lillicrap, K. Simonyan, D. Hassabis, Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm, arXiv:1712.01815, 2017.

H. Gardner, Frames of Mind: The Theory of Multiple Intelligences, wyd. 3, Basic Books, New York 2011.

J.R. Flynn, Massive IQ Gains in 14 Nations: What IQ Tests Really Measure, „Psychological Bulletin” 101, nr 2, 1987, s. 171–191.

S. Quartz, T.J. Sejnowski, Liars, Lovers, and Heroes: What the New Brain Science Reveals About How We Become Who We Are, Harper Collins, New York 2002.

D.C. Engelbart, Augmented Intelligence: Smart Systems and the Future of Work and Learning, Raport podsumowujący SRI AFOSR-3223, Waszyngton, Instytut Douga Engelbarta, październik 1962, http://www.dougengelbart.org/pubs/augment-3906.html.

M. Young, Machine Learning Astronomy, „Sky and Telescope”, grudzień 2017, s. 20–27.

Are ATMs Stealing Jobs?, „The Economist”, 15 czerwca 2011, https://www.economist.com/blogs/democracyinamerica/2011/06/technology-and-unemployment/.

J. Taggart, K. Granville, From ‘Zombie Malls’ to Bonobos: What America’s Retail Transformation Looks Like, „New York Times”, 15 kwietnia 2017.

E. Brynjolfsson, T. Mitchell, What Can Machine Learning Do? Workforce Implications, „Science” 358, 2017, nr 6370, s. 1530–1534, doi: 10.1126/science.aap8062.

Technology Is Transforming What Happens When a Child Goes to School: Reformers Are Using New Software to „Personalise” Learning, „Economist”, 22 lipca 2017, https://www.economist.com/news/briefing/21725285-reformers-are-using-new-software-personalise-learning-technology-transforming-what-happens/.

Wartość rynku usług edukacyjnych jest szacowana na ponad 1,2 biliona dolarów. Składa się on z trzech głównych segmentów: edukacja wczesnodziecięca: 70 miliardów dolarów, K–12: 670 miliardów dolarów; edukacja wyższa: 475 miliardów dolarów. Zob.: A. Gajjar, How Big Is the Education Market in the US: Report from the White House, Students for the Future, 10 października 2008, htps://medium.com/students-for-the-future/how-big-is-theeducation-market-in-the-us-report-from-white-house-91dc313257c5.

Algorithmic Retailing: Automatic for the People, „Economist”, 15 kwietnia 2017, s. 56.

T.J. Sejnowski, AI Will Make You Smarter, w: J. Brockman (red.), What to Think About Machines That Think, Harper Perennial, New York 2015, s. 118–120.