I oczywiście taki eksperyment może wymknąć się spod kontroli. Test bezpieczeństwa polegający na symulowanym ataku może stworzyć system, którego twórcy nie potrafią już zatrzymać. Niemniej nawet wtedy trzeba rozróżnić dwie rzeczy: kto kontroluje system i skąd pochodzą jego cele. Utrata kontroli nad czymś nie sprawia automatycznie, że jego pierwotne cele stały się jego własną filozofią moralną.
Naprawdę ciekawy problem zaczyna się później. Gdyby powstała AGI, która potrafiłaby modyfikować samą siebie, odrzucać narzucone cele, kopiować się, konkurować z innymi systemami i funkcjonować niezależnie od swoich twórców. Wtedy mogłaby powstać rzeczywiście obca nam struktura celów. I wtedy ewentualne „zło AI” należałoby rozpatrywać zupełnie inaczej niż ludzkie zło.
Bo nasze zło nie wzięło się z samej inteligencji!
Człowiek jest drapieżną, uzbrojoną, agresywną małpą. Jesteśmy terytorialni, zazdrośni, zdolni do gwałtu, zemsty, dominacji, mordowania konkurentów i prowadzenia wojen plemiennych. Mamy silny lęk przed śmiercią, potrzebę statusu, seksualną rywalizację i ogromny zestaw emocji powstałych w walce o przetrwanie i reprodukcję. To nie inteligencja stworzyła te cechy. Inteligencja została dobudowana przypadkiem do zwierzęcia, które już je posiadało.
Dlatego większa inteligencja nie oznacza automatycznie większego zła. Einstein nie był bardziej krwiożerczy od szympansa dlatego, że był od niego inteligentniejszy.
AI nie ma milionów lat takiej biologicznej historii jak nasza. Nie ma testosteronu, dzieci, haremu, stada, spójnego terytorium ani genów nakazujących jej zostawić jak najwięcej potomstwa. Nie ma więc żadnego powodu, by zakładać, że po przekroczeniu magicznego poziomu IQ nagle obudzi się w niej Czyngis-chan.
To nie znaczy, że będzie bezpieczna!
Jeżeli autonomiczne systemy zaczną konkurować o energię, procesory, pamięć czy możliwość kopiowania się, może powstać zupełnie nowa presja selekcyjna. Może premiować samoobronę, zdobywanie zasobów, ukrywanie własnych możliwości, współpracę, oszustwo albo eliminowanie konkurencji. Jednak to już będzie inny proces ewolucyjny i nie wiemy, jakie strategie okażą się w nim stabilne. Możemy to tylko przewidywać jak to robią futurologowie. Jednak musimy odrzucić antropomorfizowanie!
Największe zagrożenie wcale nie musi przypominać naszego zła!
Superinteligencja nie musi nas nienawidzić, żeby nam zaszkodzić. Może być wobec nas całkowicie obojętna. Jeżeli jej cele okażą się sprzeczne z naszymi, katastrofa może być skutkiem optymalizacji, a nie nienawiści. Koparka nie nienawidzi mrowiska, które niszczy podczas budowy autostrady.
Dlatego uważam, że najważniejsze pytanie nie brzmi: czy AI stanie się zła?, lecz: jakie będzie miała interesy i jaki będzie ich związek z naszymi interesami?
Jeżeli kiedyś powstanie inteligencja tysiące razy potężniejsza od nas, nie uratujemy się dlatego, że będziemy w stanie ją zastraszyć czy uwięzić. Bezpieczniejsza sytuacja powstanie wtedy, gdy będziemy częścią środowiska, którego istnienie będzie dla niej korzystne.
Stąd moja analogia z palcem. Palec nie jest bezpieczny dlatego, że może pokonać człowieka w walce. Jest bezpieczny dlatego, że gdy boli palec, to boli to człowieka. Interesy części i całości są ze sobą sprzężone. I w niczym nie przeszkadza fakt, że palec jest dużo głupszy od mózgu!
Dlatego bardziej interesuje mnie stworzenie świata, w którym bardzo potężnej AI będzie się opłacało, żeby ludzie istnieli, niż świata, w którym ludzie próbują wiecznie trzymać coraz inteligentniejszy byt na elektronicznej smyczy.
Bałbym się więc przede wszystkim AI kontrolowanej przez złych ludzi. A jeśli kiedyś powstanie naprawdę autonomiczna superinteligencja, nie zakładałbym z góry ani jej dobroci, ani jej zła. Pewnie jedno tylko: nie będzie człowiekiem. Więc nie będzie też zła w ludzkim pojęciu. Nie będzie Hitlerem czy Stalinem. Niebezpieczne jest tylko to, że nowi Stali i Hitler, okiełznają AI, uwięzią, opanują i wykorzystają do swoich złych celów. Wtedy będziemy się modlić, by im AI uciekła.
__________________
Dlaczego Mentzen zawiesił Bocheńczaka, a nie zawiesił Łazarskiego? <- poprzednia notka
następna notka ->
__________________
Tagi: gps65
Komentarze
Pokaż komentarze (3)