Historia sztucznej inteligencji

Pierwszy raz o sztucznej inteligencji powiedział John McCarthy na konferencji w Dartmouth w 1956 roku. Pierwsza sieć neuronowa, która miała zabrać nam pracę to perceptron, który Frank Rosenblatt buduje ze swoim zespołem rok później. Pierwsza maszyna, której ludzie przypisują posiadanie prawdziwych emocji to ELIZA zaprojektowana w MIT w 1962 roku.

Problem nie polegał na tym, że pomysły były błędne. OK, niektóre były. Ale niektórym brakowało danych, sprzętu, skali by rozwinąć swój pełny potencjał. To jak z opowieściami. Dwudziestowieczne wersje Diuny czy Planety Małp urzekają intelektualnie, ale efekty specjalne pozostawiają niedosyt albo – mówiąc dosadniej – uczucie zażenowania.

Ten artykuł nie jest opowieścią o tym, jak maszyny stały się inteligentne (spoiler: nie stały się, trzymam tu stronę Alana Turinga). Jest opowieścią o tym, jak matematyka, statystyka i inżynieria krok po kroku przybliżają nas do punktu, który intuicyjnie nazywamy inteligencją. Opowiem o tym, dlaczego dzisiejsza moda na AI ma zaskakująco mało „pierwszych razów" – i dlaczego to właśnie jest w tej modzie najciekawsze. Bo kiedy spojrzeć na tę historię z długiej perspektywy, sztuczna inteligencja przestaje być zagrożeniem albo cudem. Staje się czymś bardziej ludzkim: długoterminowym projektem, którego efekty zaczynamy właśnie zbierać. I nic nie sugeruje, że projektem zakończonym.

Gotowi na podróż?

Neuron w komputerze

Inteligencja jest „sztuczna", bo usiłujemy odtworzyć ludzkie procesy myślowe poza ludzkim mózgiem. Jaki jest podstawowy proces myślowy? Coś prostszego niż mowa, coś prostszego od emocji. Decyzja tak/nie. Z tego założenia wyszli Warren McCulloch (neurobiolog) i Walter Pitts (logik) kiedy publikowali w 1943 roku swoją pracę naukową o „matematycznym neuronie".

Dwie rzeczy, które musisz wiedzieć o tamtych czasach, żeby ustawić sobie myślenie. Po pierwsze, świat naukowy przeżywa fascynację matematyką. Duża w tym zasługa Alana Turinga, który dziesięć lat wcześniej opracowuje koncept „maszyny Turinga". To protoplasta współczesnych komputerów i programowania. Turing twierdzi – i musisz mi uwierzyć na słowo lub doczytać w Wikipedii, bo to naprawdę skomplikowany pomysł – że każdy komputer u swoich podstaw składa się z trzech elementów:

• nieskończona taśma zapisująca 0 lub 1 (to pamięć komputera);
• głowica zapisująco odczytująca, która może poruszać się o jedną jednostkę w lewo lub prawo po taśmie oraz odczytywać i zapisywać zera i jedynki (to procesor komputera);
• tabela reguł, która mówi na przykład: jeśli pod głowicą widzisz jedynkę, zmień ją na zero i przesuń się o jeden w prawo (to program komputerowy).

Dlaczego to było genialne? Do tej pory maszyny (nawet te obliczeniowe) były budowane do konkretnych zadań. Weźmy taką maszynę do pakowania pomidorów: potrafiła odliczyć 10 pomidorów i podstawić następne pudełko, ale… nie potrafiła niczego innego. Turing pokazał, że można stworzyć maszynę, która – po przeczytaniu algorytmu – będzie wykonywała dowolne obliczenia. McCulloch i Pitts próbują napisać algorytm, który na takiej maszynie Turinga będzie symulował sposób działania ludzkiego neuronu.

Druga rzecz, którą musisz wiedzieć o tamtych czasach: komputery, jakie znamy dziś, nie są jeszcze dostępne. ENIAC, uznawany za pierwszy komputer ogólnego przeznaczenia, powstanie dwa lata później. Turing opracowuje maszyny do łamania szyfrów, ale są dostępne jedynie dla wojskowych. Więc cała ta algorytmizacja odbywa się w dużej mierze na papierze i… nadal w tradycyjnym ludzkim mózgu. Praca naukowa McCullocha i Pittsa nie jest algorytmem komputerowym. Po prostu pokazuje matematyczny model podejmowania decyzji.

Przełom tego modelu polega właśnie na symulacji neuronu: mamy wejścia, każde wejście ma przypisaną wagę, na końcu wagi są sumowane i neuron wypluwa z siebie zero lub jedynkę, tak albo nie. Bez odwoływania się do intuicji czy innych ludzkich czynników. Od tego momentu naukowcy zaczęli patrzeć na myślenie jako na coś, co można policzyć. A wraz z rozwojem maszyn liczących, będzie to można robić w komputerze.

Mamy zatem sztuczne neurony, najmniejsze klocuszki inteligencji. Żeby ze sztucznych neuronów zbudować sztuczną inteligencję, musimy wykonać jeszcze jedno zadanie. Zdefiniować sobie, czym ta inteligencja w ogóle jest. Tu znowu nie obejdzie się bez genialnego umysłu Alana Turinga.

Test Turinga. Do czego to służy?

Stworzenie modelu neronu jest łatwiejsze niż stworzenie modelu myślenia. Oczywiste i logiczne, prawda? Ale nie z powodu, o którym myślisz. Stworzenie modelu neuronu było łatwe, bo McCulloch był neurobiologiem i wiedział dokładnie co jest do zbudowania. Wiedział, jak wygląda neuron i jakie funkcje trzeba odtworzyć. A jak jest zbudowane myślenie? Jakie funkcje trzeba odtworzyć?

W połowie XX wieku badania nad „myślącymi maszynami" rozpoczęte przez umysły ścisłe zaczęły grzęznąć w sporach filozoficznych. Czym właściwie jest myślenie? Czy wymaga świadomości? Czy maszyna może naprawdę myśleć, skoro fundamenty, na których to myślenie budujemy są symulowane? Fascynujące pytania dla filozofów, mało użyteczne dla kogoś, kto ma projekt do zrealizowania.

Alan Turing zaproponował wyjście z tego impasu. Nie próbował odpowiedzieć na powyższe pytania, po prostu je obszedł. W 1950 roku pisze artykuł Computing Machinery and Intelligence, w którym odwraca kota ogonem. Pisze: zamiast pytać, czy maszyna myśli, zadajmy pytanie, czy my potrafimy to rozpoznać. Tak narodził się test Turinga. Który – nota bene – nie nazywał się „testem Turinga", sam Turing nazywa go imitation game, czyli „zabawą w udawanie".

W swojej klasycznej wersji test polegał na rozmowie, w której uczestniczy człowiek (sędzia) mający naprzeciwko siebie dwójkę rozmówców. Jeśli sędzia jest w stanie stwierdzić, który z jego rozmówców jest człowiekiem a który maszyną, maszyna oblewa test. To fundamentalne, ale subtelne przesunięcie: nie oceniamy tego, co jest w środku, ale to, jak system reaguje na bodźce zewnętrzne. Inteligencja staje się zespołem zachowań.

Turing wybrał język nieprzypadkowo – od zawsze rozmowę z kimś traktujemy jako wgląd w jego umysł. Jeśli ktoś sensownie odpowiada na pytanie, czy przyjąłby portfel z cielęcej skóry jako prezent urodzinowy zakładamy, że ma równo pod sufitem.

Konsekwencje przesunięcia ciężaru dyskusji były ogromne. Rozmowa o „myślących maszynach" przestała toczyć się wokół tego, czym jest myślenie a zaczęła skupiać się na tym, jak zaprojektować systemy, które zachowują się w sposób powszechnie uznawany za inteligentny. A to był moment, w którym filozofia ustąpiła miejsca inżynierii. Wiedzieliśmy już, co jest do zbudowania. A skoro tak, można taką budowę rozplanować. Jak projekt badawczy: z harmonogramem, budżetem, ambicjami i sposobami mierzenia postępu.

Aha, i dużą dawką hiperoptymizmu.

Dartmouth, lato 1956. Sztuczna inteligencja pojawia się po raz pierwszy

Znasz koncept krzywej Krugera-Dunninga? To krzywa, która pokazuje relację pomiędzy Twoim poziomem wiedzy a poziomem pewności siebie w danej dziedzinie. Ma bardzo ciekawy przebieg. Na początku, kiedy nic nie wiesz na dany temat, Twój poziom pewności siebie w dyskusjach (na przykład o sztucznej inteligencji) wynosi zero.

Potem czytasz jedną książkę lub przekrojowy artykuł na ten temat. Twoja pewność siebie wystrzela w kosmos. Ale potem druga książka zaprzecza temu, o czym mówiła pierwsza. Dowiadujesz się, że temat jest bardziej zniuansowany. Twoja pewność siebie spada. Pojawia się tak zwana „dolina zwątpienia". Kolejne książki przekonują Cię, że nic nie wiesz do momentu, kiedy jednak coś się zmienia. W kolejnych książkach i artykułach znajdujesz potwierdzenie swojej dotychczasowej wiedzy i przemyśleń. Twoja pewność siebie rośnie. Choć nigdy nie osiąga tak wysokiego poziomu jak po tej pierwszej książce.

Lato 1956. Dartmouth College. Niewielka grupa naukowców spotyka się, by rozwiązać następujący problem: opisać każdy aspekt uczenia się i inteligencji na tyle precyzyjnie, by dało się go zasymulować maszynowo. No bo jeśli inteligencję można poznać po zewnętrznych oznakach (zachowaniach) a te zachowania da się testować, to oznacza, że taki inteligentny system da się zaprojektować, prawda? PRAWDA? To nie może być trudne. Ogarniemy to w jedno lato.

Nie żartuję. Największe umysły związane z badaniami nad komputerami wykoncypowały sobie, że cały ten problem „myślących maszyn" da się ogarnąć na jednym, góra dwóch letnich obozach dla nerdów. Dziś się z tego śmiejemy, ale pomyśl: komputery właśnie udowodniły swoją skuteczność w kryptografii, obliczeniach balistycznych i inżynierii. Potrafiły liczyć szybciej i bardziej precyzyjnie niż człowiek. Stąd tylko mały kroczek do rozumowania, prawda?

W Dartmouth po raz pierwszy pojawił się termin „sztuczna inteligencja". Zaproponował go John McCarthy do opisania właśnie każdego aspektu uczenia się i myślenia. Inteligencja jawiła się jako zbiór reguł, heurystyk i procedur, które – odpowiednio zapisane – można uruchomić w maszynie. Niestety, „dolina zwątpienia" pojawiła się po Dartmouth dość szybko. Im dokładniej naukowcy próbowali opisać świat, tym szybciej wymykał się on stałemu zestawowi reguł.

Stało się jasne, że proces „myślenia" w tym całym podejmowaniu decyzji to nic innego jak uczenie się. A to oznaczało, że trzeba wrócić do deski kreślarskiej i poprawić podstawowy klocek, sztuczny neuron. Bo matematyczny model McCullocha i Pittsa miał wagi przypisane na stałe, co oznaczało, że nie może się uczyć. Tu zaczyna się historia perceptronu.

Perceptron. Sieć neuronowa, która się uczy

Dobra, muszę, bo się uduszę. Historia sztucznej inteligencji jest pełna szalonych naukowców (patrzę na Ciebie, Alanie Turingu), ale żaden nie śmiał zagrać przy Jankielu. To znaczy przy Franku Rosenblacie. Twórca pierwszej uczącej się sieci neuronowej (dojdziemy do tego, obiecuję) jest jednocześnie inżynierem i psychologiem. Pracuje na zlecenie Biura Badań Marynarki Wojennej USA a w swoim laboratorium dosłownie mieli szczury. W imię nauki, oczywiście.

Rosenblatt twierdzi, że pamięć da się transferować chemicznie pomiędzy organizmami. Uczy więc takiego szczura przechodzenia przez labirynt a potem mieli mu mózg, by wyekstrahować RNA. I wstrzykuje to RNA do kolejnego szczura licząc, że ten powie „Whoa, znam kung fu!" Najlepsza część? W latach 60 ubiegłego wieku to nie były niszowe badania. Cały świat naukowy żył ideą „pigułek wiedzy". Magazyn Life sugerował, że w przyszłości studenci – zamiast zarywać noce nad książkami – będą mogli połknąć dawkę chemii z wiedzą o historii starożytnej.

Tymczasem jesteśmy tutaj. Czytasz artykuł o początkach sztucznej inteligencji oczami. Jakbyśmy byli w średniowieczu.

W pachnącym mięsem laboratorium Franka Rosenblatta stoi maszyna. Nazywa się Perceptron Mark I. Waży niemal tonę, jest wyposażona w 512 silników – kiedy się włącza i pracuje, hałas jest nie do zniesienia. Co robi? Na wejściu jest „oko" – matryca składająca się z 400 fotokomórek. Pomyśl o tym jak o aparacie fotograficznym o szalonej rozdzielczości 20x20 pikseli. Cała ta aparatura potrafi się uczyć… odróżniać kwadraty od trójkątów.

Mechanizm działania jest prosty i elegancki: perceptron otrzymuje sygnały wejściowe, z których każdy ma przypisaną wagę. Sygnały są sumowane i maszyna wydaje decyzję: kwadrat albo trójkąt. Jeśli decyzja jest błędna, system koryguje wagi przypisane do każdego neuronu. Do tego właśnie służy 512 silników – maszyna fizycznie przestawiała swoje dźwignie w każdym neuronie. Efekt jest spektakularny: po procesie uczenia maszyna „sama się programuje" do udzielania prawidłowej odpowiedzi.

Entuzjazm jest ogromny. W lipcu 1958 Marynarka Wojenna USA ogłasza narodziny „embriona komputera, który będzie w stanie chodzić, mówić, widzieć, pisać, powielać się i być świadomym swojego istnienia". Gazety oczywiście podchwytują temat i wałkują go. Wjeżdża pytanie: kiedy taka sztuczna inteligencja zabierze nam pracę. Zachwyt przekłada się na granty badawcze, sieci neuronowe w latach 60 stają się gwiazdami, oczkiem w głowie badaczy, wojskowych i mediów. To jest pierwszy moment, w którym AI trafia „pod strzechy". Przynajmniej w formie artykułów prasowych i dyskusji w mediach.

Z czasem okazuje się, że perceptron nadaje się do rozwiązywania bardzo konkretnego rodzaju problemów: takich, w których dane można rozdzielić prostą granicą. Jesteś kwadratem albo trójkątem. Lubisz Władcę pierścieni albo nie masz gustu. Matematycznie nazywa się to separacją liniową. Niestety, większość problemów w życiu nie da się rozwiązać tak prosto. Dolina zwątpienia znowu nadeszła. Miała postać… pizzy z ananasem. Ale zanim do niej dojdziemy, pozostaniemy jeszcze w ejajowym entuzjazmie.

Bo jesteśmy w okresie, kiedy mnóstwo ludzi zaczyna uważać, że komputery mają duszę i uczucia. Tak, te wielkie migające i wyjące szafy pełne tranzystorów. A wszystko za sprawą ELIZY.

ELIZA – pierwszy chatbot z „uczuciami"

„To, co uderzyło mnie najbardziej, to jak szybko ludzie, którzy mieli kontakt z programem, nawiązywali z nim silną więź emocjonalną i przypisywali mu niemal ludzkie cechy." Brzmi znajomo? Autorem cytatu jest Joseph Weizenbaum a pochodzi z książki Computer Power and Human Reason, która ukazała się… w 1976 roku. Nihil novi sub sole.

Weizenbaum był przeciwnikiem sposobu, w jaki Turing ominął pytanie o inteligencję w maszynie. Napisał skrypt, czatbota o nazwie ELIZA, który udawał terapeutę. Nie był inteligentny nawet w ówczesnym znaczeniu tego słowa – nie działał w oparciu o sieci neuronowe, nie miał bazy wiedzy. Po prostu dopasowywał odpowiedzi do wzorca. Czyli na przykład jeśli użytkownik wpisywał w okno zdanie zawierające słowo „matka", ELIZA odpowiadała „Opowiedz mi więcej o swojej rodzinie." A jeśli nie znajdowała żadnych wzorców, podrzucała generyczne odpowiedzi typu „Rozumiem. To bardzo interesujące. Opowiedz mi więcej. Nie przerywaj."

Efekt przerósł oczekiwania autora. Użytkownicy korzystający z ELIZY bardzo szybko zaczęli jej przypisywać empatię, intencje a nawet zrozumienie. Nazywamy to Efektem ELIZY. Jeden z najsłynniejszych przypadków to sekretarka Weizenbauma, która pewnego dnia wyprosiła go z gabinetu, ponieważ chciała porozmawiać z ELIZĄ na osobności o swoich prywatnych problemach. Choć dokładnie wiedziała, czym zajmuje się jej szef i jak działa ELIZA.

Weizenbaum był jednym z pierwszych, którzy twierdzili, że programowanie maszyn by symulowały empatię jest nieetyczne. To jest dyskusja, którą mamy dziś, prawda? Nihil novi sub sole.

Jeśli tak głupi mechanizm jak skrypt ELIZA potrafi nas skutecznie oszukać, to może wcale nie potrzebujemy sieci neuronowych, żeby symulować inteligencję? Świat wchodzi w epokę… pierwszej zimy AI.

Losowy las, czyli co dziś oglądamy

„Jeśli jedna osoba mówi ci, że masz ogon, możesz ją zignorować. Jeśli mówi ci to dziesiąta osoba, lepiej się obejrzyj."

Zastanawiasz się, który film z niemal nieskończonej oferty serwisów streamingowych obejrzeć dziś. Masz dwie opcje rozwiązania tego problemu. Po pierwsze, możesz napisać do swojego znajomego, który jest krytykiem filmowym. Znajomy zada Ci kilka pytań i poleci film na wieczór. Opcja druga: wrzucasz post na grupę na Facebooku. Komentujący zadają Ci po kilka pytań i rekomendują film. Ostatecznie wybierasz ten, który rekomendowało Ci najwięcej przypadkowych osób.

W której opcji wylądujesz z lepszym filmem? Albo inaczej zapytam: która opcja gwarantuje Ci lepsze rekomendacje za każdym razem, kiedy jej używasz?

Jeśli Twój znajomy krytyk ma gorszy dzień albo jest uprzedzony do Twojego plebejskiego gustu filmowego, dostaniesz słabsze rekomendacje. Kolejna sprawa: pojedynczy człowiek, nieważne jak wielkim fanem kina by nie był, obejrzał mniej filmów niż tysiąc przeciętnie ogarniętych kinomaniaków. Lepiej wyjdziesz na drugiej opcji, wierz mi. A druga opcja nazywa się Random Forest (losowy las).

Jej twórcą jest Leo Breiman z Uniwersytetu Berkeley. Metoda symbolizuje kierunek, w którym poszły „myślące maszyny" po tym, jak systemy eksperckie zaczęły się zawalać pod własnym ciężarem. Zamiast budować najlepsze drzewo decyzyjne, Breiman zasugerował, żeby wziąć tysiąc przeciętnych drzew decyzyjnych i zbudować z nich las. Trzeba tylko zwrócić uwagę na dwa warunki.

• Bagging (Bootstrap Aggregating): każde drzewo w lesie powinno uczyć się na innym, losowym wycinku danych. Czyli różni ludzie z fejsbukowej grupy oglądają różne filmy na różnych serwisach streamingowych. To nie jest tak, że każdy ogląda całkowicie inny zestaw, ale nie może też być tak, żeby każdy oglądał dokładnie to samo.
• Losowość cech: pytania, które członkowie grupy Ci zadają też są losowe. Czyli jeden pyta, czy lubisz Toma Cruise'a (cecha, na której się skupia to aktorzy), inny pyta czy lubisz komedie romantyczne (skupia się na gatunku filmowym) a jeszcze inny pyta, czy lubisz klasyki (skupia się na dacie produkcji).

Dzięki temu drzewa są niezależne – nawet jeśli jedno udzieli Ci złej rekomendacji, pozostali członkowie „leśnej demokracji" naprawią ten błąd w głosowaniu.

Random Forest używamy do dziś. Na przykład do wykrywania oszustw na Twoim koncie bankowym. Jeśli zdarzyło Ci się dostać SMS z banku z pytaniem, czy to Ty właśnie płacisz za kawę na drive-through o trzeciej nad ranem, za decyzją o wysłaniu SMS-a stał prawdopodobnie Las Losowy w banku. Ten algorytm doskonale radzi sobie z danymi tabelarycznymi (kwota, czas, miejsce) i małymi próbami. Sieci neuronowe nie miałyby tu szans. Plus, z punktu widzenia obliczeń to bardzo wydajny algorytm. Ma więc swoich zagorzałych fanów. Dlaczego nie jest uniwersalnie dobry?

Mała liczba punktów danych sprawia, że margines błędu jest spory. Random Forest nie jest zatem precyzyjny. No i ponieważ nie do końca wiemy, jak zachowają się poszczególne drzewa, zyskał sobie miano „czarnej skrzynki" – niby działa, ale nie do końca wiemy jak. Dla ludzi, którzy potrzebują precyzyjnej kontroli nad danymi może nie być wystarczający.

Dla nich jest arystokrata wśród algorytmów statystycznych, który przez długi czas królował wśród fanów sztucznej inteligencji. SVM.

Support Vector Machines, czyli o czym myśli ochroniarz na czerwonym dywanie?

Jesteś ochroniarzem na czerwonym dywanie festiwalu w Cannes. Twoje zadanie: ustawić barierkę rozdzielającą aktorów od gapiów. Haczyk: nie możesz nikogo przesuwać, możesz jedynie wyznaczyć linię między nimi. Jak się za to zabierzesz?

Nie masz mocy przerobowych na analizowanie i legitymowanie każdego. Jak sobie uprościć pracę? Po pierwsze: przyjmij, że ludzie w wieczorowych strojach na środku czerwonego dywanu z największym prawdopodobieństwem są aktorami, mają prawo tam się znaleźć. Po drugie: ludzie daleko poza czerwonym dywanem ubrani jak turyści też na pewno są gapiami, nie ma sensu skupiać się na nich. Najwięcej uwagi poświęcasz zatem ludziom na skraju czerwonego dywanu. Sprawdzasz, kto ma prawo na nim przebywać, przyglądasz się im dokładniej, legitymujesz kogo trzeba.

A potem prowadzisz linię w taki sposób, żeby zostawić jak największy margines pomiędzy wszystkimi punktami, w których aktor sąsiaduje z gapiem. To jest właśnie esencja algorytmu SVM (ang. Support Vector Machines). On nie próbuje zrozumieć danych ani modelować procesu decyzyjnego. Jego zadaniem jest znalezienie takiej granicy, która oddziela osoby z różnych grup. A kluczowe tu jest pojęcie marginesu. SVM nie szuka byle jakiej linii podziału, tylko modeluje taką, w której jest najwięcej „bezpiecznej przestrzeni" pomiędzy grupami.

SVM ma potężną przewagę nad sieciami neuronowymi, które poznaliśmy. Tam dane trzeba było oddzielić prostą linią. Tutaj – linia może mieć dowolny kształt. Który można policzyć – to potężna przewaga nad Losowym Lasem, który jest trochę dziką kartą. No i obliczenia są stosunkowo proste. Poza jednym przypadkiem, do którego uśmiecha się moje nerdowe serduszko. Nauczę Cię jednego z najbardziej sprytnych i jednego z najbardziej eleganckich rozwiązań w SVM. Pa tera!

Nadal jesteśmy w Cannes, nadal Twoim zadaniem jest oddzielenie gapiów od aktorów. Ale nie na czerwonym dywanie, tylko w hallu sali kinowej. O żadnej linii nie może być mowy – aktorzy są doskonale przemieszani z widzami. Więc Twoje zadanie to wręczenie czerwonej bransoletki aktorowi a zielonej – widzowi. Jak się za to bierzesz? Nie możesz już analizować pozycji, bo nie ma czerwonego dywanu. Nie możesz też analizować stroju – niektórzy aktorzy po sesji zdjęciowej się przebrali a niektórzy widzowie wprost przeciwnie – odstrzelili się na wieczorną premierę.

Możesz sortować dane „ręcznie", czyli legitymować każdą osobę, porównywać z listą zaproszonych gości i wręczać odpowiednią bransoletkę. Skuteczne, potwornie pracochłonne.

Możesz też podejść do każdego z gości i zapytać „Ile zarobiła pani w zeszłym roku?" Przyjmijmy przez chwilę założenie, że zawsze usłyszysz prawdziwą odpowiedź. Ponieważ aktorzy zarabiają więcej od gapiów, Twój sposób dystrybucji bransoletek będzie szybki i obarczony minimum błędu.

W SVM ten zabieg nazywa się kernel trick. Ponieważ dane w wymiarach, które masz na początku są nie do sortowania, dodajesz jeszcze jeden wymiar i na podstawie tego wymiaru kreślisz linię podziału. To oczywiście obrazowe uproszczenie, ale mam nadzieję, że pomogło Ci zrozumieć, jak działają metody statystyczne w sztucznej inteligencji.

Przewaga nad metodami eksperckimi? Odporność na chaos w danych. Szum, brakujące informacje, sprzeczności – wszystko to jest uśredniane przez statystykę. W praktyce właśnie dlatego SVM-y i lasy losowe przez lata dominowały w zastosowaniach przemysłowych: od analizy ryzyka przez marketing po algorytmy rekomendacyjne na Netfliksie.

Jednocześnie metody statystyczne mają wspólne, fundamentalne ograniczenie. Żeby działały dobrze, ktoś wcześniej musiał zdecydować, jak opisać dane. To nie ochroniarz wymyślił, żeby zapytać o zarobki – zrobił to ktoś, kto projektował algorytm. Zatem ktoś musiał z góry wiedzieć, jakie cechy uznać za istotne a co pominąć. Modele są zatem na tyle skuteczne, na ile uważni lub obdarzeni intuicją są ludzie którzy przygotowują dla nich dane.

Wybór cech, które algorytm ma brać pod uwagę przy analizowaniu danych nazywa się „reprezentacją". Zapamiętaj, przyda Ci się niedługo.

W miarę jak danych przybywało, a problemy stawały się coraz bardziej złożone, to ręczne projektowanie cech zaczęło być wąskim gardłem. Nie dlatego, że było błędne, lecz dlatego, że nie nadążało za skalą. Świat generował ich za dużo. Wróciło pytanie: a co, jeśli model mógłby sam nauczyć się reprezentacji, zamiast polegać na tych zaprojektowanych przez ludzi?

Backprop, czyli mało nas do pieczenia chleba

Pamiętasz, co mówiłem na samym początku o maszynie Turinga? Dała początek komputerom i programowaniu, bo za pomocą jednego, zmyślnego algorytmu pozwalała tworzyć maszyny, które policzą dowolną rzecz. Przed tym maszyny liczące były tworzone pod konkretne zastosowanie. Aha, i powstała w głowie dużo wcześniej, niż ktokolwiek był w stanie ją zbudować. To już pamiętasz. Zaraz nam się przyda. A teraz – do kuchni!

Wyobraź sobie, że pieczesz chleb. To będzie bardzo uproszczony przykład, więc jeśli zdarzyło Ci się piec chleb, uczestniczysz w jakichś chlebowych grupach internetowych – wstrzymaj konie. Mam do wytłumaczenia bardzo skomplikowany koncept, padło na pieczenie chleba.

No więc pieczesz chleb. Najpierw robisz ciasto, potem wstawiasz je do piekarnika. Wiem, że musi urosnąć. Co mówiłem o wstrzymywaniu koni?

Wyjmujesz chleb z piekarnika i jest czarny, spalony. Widzisz, że potrzebujesz zrobić to lepiej. Ale nie masz pojęcia o pieczeniu chlebów. Co masz do dyspozycji? Cztery „pokrętła" w przepisie. Dwa na piekarniku, dwa na ladzie. Te pokrętła to:

• temperatura piekarnika;
• czas w piekarniku;
• ilość mąki;
• ilość wody.

Zmniejszasz odrobinę ilość wody i pieczesz kolejny chleb. Mierzysz, czy wyszedł lepszy – mniej czarny i spalony. To samo robisz z mąką – zmieniasz odrobinę jej ilość i sprawdzasz, czy zmiany w chlebie idą w dobrym kierunku. Zmniejszasz czas piekarnika – teraz widzisz, że mała zmiana wywołała potężny efekt. Pieczesz kolejny, tym razem odrobinę zmniejszasz temperaturę. Sprawdzasz, powtarzasz.

To, co robimy w tej chwili, nazywa się backpropagation, czyli propagacja wsteczna. Wiedząc, jak bardzo nasz wynikowy chleb różni się od tego wymarzonego, jesteśmy w stanie „przepychać wstecz" parametry błędu. Dzięki temu na każdym etapie przepisu nie tylko wiemy, czy dane pokrętło poprawia czy pogarsza parametry. Jesteśmy w stanie wyliczyć, jak bardzo je pogarsza lub poprawia. Jeśli poprawia bardzo, przypisujemy mu dużą wagę. Jeśli nie ma wpływu – waga jest mała.

Chwileczkę, gdzieś już widzieliśmy wagi. W sieciach neuronowych! Silniki perceptronu modyfikowały wagi poszczególnych neuronów, żeby nauczyć urządzenie, jak odróżnić trójkąt od kwadratu. Ale sieci neuronowe okazały się porażką, świat poszedł w zupełnie innym kierunku, prawda?

Cóż, okazuje się, że nie cały świat poszedł w innym kierunku. Pozostało kilku badaczy, którzy wierzyli w potęgę sieci neuronowych i powoli, metodycznie, w cieniu, prowadzili nad nimi badania. Jednym z nich był Geoffrey Hinton. Ten sam, którego cytat krytykujący książkę Minsky'ego i Paperta przytaczałem w poprzednim rozdziale. Hinton nigdy nie porzucił wiary w sieci neuronowe. Co przez wiele lat czyniło go pariasem i dziwakiem świata naukowego. Nie przejmował się tym, od czasu do czasu nawet zdarzyło mu się opublikować coś w prestiżowych pismach naukowych.

Na przykład w październiku 1986 roku w Nature. Cztery strony naszpikowane wzorami matematycznymi, które dla ówczesnego biologa czy fizyka (głównych czytelników Nature) brzmiały jak czysta spekulacja. Artykuł miał tytuł: Learning representations by back-propagating errors (Nauka reprezentacji przez wsteczną propagację błędów). W skrócie mówił, że wielowarstwowe sieci neuronowe są w stanie samodzielnie nauczyć się reprezentacji (czyli: same są w stanie zdecydować, które cechy są ważne do wykonania zadania) właśnie dzięki mechanizmowi propagacji wstecznej.

Pomysł był przełomem na miarę maszyny Turinga. Pokazywał, że istnieje uniwersalna matematyka, dzięki której sieć neuronowa sama szkoli się do wykonania dowolnego zadania. Potrzebne są do tego dwie rzeczy: olbrzymie ilości danych treningowych oraz potężna moc obliczeniowa potrzebna do trenowania dużych, wielowarstwowych sieci neuronowych. Żadnego z tych elementów nie było w 1986 roku. Więc – jak w przypadku maszyny Turinga – propagacja wsteczna była pięknym, teoretycznym narzędziem.

Hinton i jego współpracownicy – m.in. Yann LeCun i Yoshua Bengio – nie porzucili jednak tego kierunku. Zamiast próbować „przeskoczyć" ograniczenia, cierpliwie je obchodzili: lepsze inicjalizacje wag, warstwy pośrednie uczone bez nadzoru, architektury lepiej dopasowane do danych. To była praca pozbawiona medialnego blasku, ale systematyczna.

Pierwsze spektakularne efekty pojawiły się dopiero w 2012 roku.

AlexNet – sieci neuronowe powracają w chwale

Do pewnego momentu rozwój sieci neuronowych przypominał historię obiecującego pomysłu, który wciąż nie potrafi udowodnić swojej wartości w starciu z rzeczywistością. Backpropagation działał. Głębokie architektury istniały. Brakowało jednak jednego, bezlitosnego testu, który pokazałby, czy to podejście skaluje się poza laboratorium.

Takim testem okazał się ImageNet.

Co to jest ImageNet? To ogromny, ręcznie oznaczony zbiór danych – 14 milionów zdjęć przypisanych do 22 tysięcy kategorii. Jego twórczyni, Fei-Fei Li, wychodziła z bardzo prostej, ale radykalnej tezy: jeśli chcemy, by maszyny nauczyły się widzieć, musimy pokazać im świat w skali zbliżonej do tej, w jakiej widzą go ludzie.

Wcześniej modele uczono na małych, sterylnych zbiorach danych. Kilka tysięcy obrazów. Kilkanaście kategorii. Świat uproszczony do tego stopnia, że wiele algorytmów radziło sobie z nim całkiem nieźle. ImageNet był inny. Był duży, brudny i pełen niejednoznaczności. Nie wybaczał chodzenia na skróty.

I na tym właśnie polu minowym odbywało się coroczne Wyzwanie ImageNet (oficjalnie: ImageNet Large Scale Visual Recognition Challenge): zespoły naukowców wystawiały swoje algorytmy, których zadaniem było przekopanie się przez 150 tysięcy zdjęć z olbrzymiego zbioru i nadanie im prawidłowych kategorii.

W 2010 roku najlepszy zespół miał ponad 28% błędnie oznaczonych obrazów. Ich algorytm pracował metodą SVM, reprezentacja była robiona ręcznie. Rok później wygrał algorytm, który mylił się w niemal 26% przypadków. Powolny, żmudny postęp.

W 2012 roku do konkursu staje zespół naszego znajomego, Geoffreya Hintona z Uniwersytetu w Toronto. W zespole jest też Alex Krizhevsky oraz Ilya Sutskever (jeden ze współzałożycieli OpenAI). Ich algorytm miażdży konkurencję – liczba błędów spada do 15%. Ich sekret? Sieci neuronowe doładowane trzema składnikami: mnóstwo danych (dzięki ImageNet sieć miała się na czym uczyć), backprop (mechanizm, o którym rozmawialiśmy nareszcie miał wystarczająco wiele warstw, by rozwinąć skrzydła) oraz wykorzystanie GPU. To był kluczowy „hack" – Krizhevsky napisał własny kod, by trenować sieć nie na standardowym procesorze, ale na karcie graficznej Nvidia GTX 580. Okazało się, że procesory kart graficznych są tysiące razy lepsze w trenowaniu AI niż tradycyjne procesory.

Najważniejsza rzecz: ich algorytm (który nazwano potem AlexNet) sam nauczył się rozpoznawać elementy na zdjęciach. Przeszliśmy z ery machine learning (uczenie maszynowe, nadzorowane przez ludzi) do epoki deep learning (maszyny same uczą się tego, czego mają się uczyć).

W tym momencie pękło wąskie gardło, które przez lata ograniczało uczenie maszynowe. Człowiek przestał być projektantem cech, a stał się projektantem warunków uczenia. Jego rolą było dostarczyć dane, architekturę i moc obliczeniową. Resztę system robił sam.

Reakcja środowiska była natychmiastowa. W ciągu kilku lat niemal wszystkie czołowe zespoły biorące udział w wyzwaniu porzuciły klasyczne modele statystyczne na rzecz deep learningu. Ręcznie projektowane cechy zniknęły z tablicy wyników. To samo podejście zaczęło dominować w rozpoznawaniu mowy, analizie wideo i innych dziedzinach, które wcześniej opierały się sieciom neuronowym.

To był moment, w którym stało się jasne, że powrót neuronów nie jest chwilową modą ani akademicką ciekawostką. Jest nowym fundamentem. A skoro ten fundament zadziałał w widzeniu – najbardziej zmysłowym i intuicyjnym z ludzkich sposobów poznania – naturalne było pytanie, które miało paść jako następne.

Czy to samo da się zrobić z językiem?