Myšlenky známého počítačového vědce a odborníka na generativní AI, který nedávno opustil Google a zařadil se mezi skeptiky rozvoje umělé inteligence.
Geoffrey Hinton je známý počítačový vědec, který se zasloužil o pokrok umělé inteligence díky zdokonalení metodiky hlubokého učení. V minulých letech pracoval (kromě University of Toronto) pro Google. V důsledku nedávného boomu způsobeného aplikací ChatGPT v režii OpenAI (s podporou Microsoftu) se rozhodl Google opustit a zařadit se mezi skeptiky varující před pokračováním dalšího nekontrolovaného vývoje AI (Regulovat, či neregulovat rozvoj AI?). Asi bychom měli vědět proč? Z rozhovoru, který s ním vedl Will Douglas Heaven z MIT Technology Review, vyberu to podstatné [1].
Archivní diskuze převzatá z rvp.cz. Přidávání nových komentářů není k dispozici.
Jan Maršák26. 9. 2023
"Podle Geoffreyho na světě nyní existují dva typy inteligence – biologická a nová digitální neuronová. A ta nová neuronová se rychle zdokonaluje." Ovšem digitální neuronová inteligence (DNI), neboli umělá inteligence, se nezdokonaluje nikdy sama od sebe. Zdokonalují ji vždy lidé, tedy výzkumné a odborné týmy lidí se svými invenčními a kreativními mozky. DNI je umělý neživý objekt (neživý artefakt), který nemění svůj stav, pokud na jeho vstup není přiveden vnější stimul. To je zásadní rozdíl oproti živému lidskému mozku, který je spontánní (svůj stav může měnit aktivně i bez vnějšího stimulu), vykazuje invenci a kreativítu, emoce atd. DNI bude vykonávat vždy jen to, co člověk "zabudoval" do jejího hardware a software. Neboli: "Nihil est in machina quod prius non fuerit in machinator".
Bořivoj Brdička26. 9. 2023
Pane Maršáku, vaše představa je sice uklidňující, ale bohužel není zcela pravdivá. Obrovské neuronové sítě sice sestavují lidé a mohou je, kdyby chtěli, vypnout, ale tak úplně sami nevědí, proč se ve výsledku DNI chová tak, jak se chová a proč vykazuje známky vlastní kreativity. Bude hodně zajímavé sledovat další vývoj.
Jan Maršák26. 9. 2023
A chceme vůbec, aby DNI vykazovala známky vlastní kreativity? Např. večer do ní uložíme data a ráno (protože DNI bude kreativní), získáme data nepředvídatelně jiná? To přece nechceme. Nebo ano?
Ale, že lidé tak úplně nevědí, proč se ve výsledku DNI chová tak, jak se chová, ještě neznamená, že vykazuje známky kreativity. Protože, co si máme vlastně představit pod tvrzením, že DNI vykazuje známky vlastní kreativity?
Souhlasím však s Vámi, že bude hodně zajímavé sledovat další vývoj.
Bořivoj Brdička26. 9. 2023
Potíž je v tom, že vývojáři AI se docela jistě nebudou ohlížet na to, co my chceme. Právě se před námi odehrává další běh souboje o ovládnutí světa,
Jan Maršák26. 9. 2023
Souboje o ovládnutí světa ovšem prolínají celou historií lidstva. A někdy to skutečně nekončilo zrovna dobře..
Geoffrey připouští, že AI dokáže vykonat mnoho dobrého. Tvrdí dokonce i to, že Google patří k firmám, které na bezpečnost svých produktů dbají značnou měrou. Díky mimořádným znalostem oboru si však dokáže další vývoj představit mnohem lépe než my. Tvrdí, že stávající situace se podobá tomu, jako kdyby „
na Zemi přistáli mimozemšťané, a lidé by si toho vůbec nevšimli, protože dokonale mluví lidskou řečí“
.
Skutečnost je taková, že v lidském mozku existuje cca 100 trilionů synapsí. Současné nejvyspělejší systémy generativní AI obsahující jazykové modely, snažící se pomocí neuronových sítí simulovat funkci biologického mozku, mají sice zatím asi 100x méně synapsí, zato ale mají poněkud odlišné vlastnosti.
Dosud se věřilo, že neuronové sítě je obtížné něco naučit. Vyžaduje to obrovské množství dat a energie. Naproti tomu lidé snadno získávají nové nápady i dovednosti, a přitom využívají zlomek energie, kterou potřebují neuronové sítě. Jenže to se zásadně mění při nasazení největších jazykových modelů, jako je GPT. Ty se dokážou nové věci naučit extrémně rychle.
Geoffrey mluví o „skokovém učení“, ve kterém lze předtrénované velké neuronové sítě naučit něco nového na základě několika málo příkladů. Konstatuje, že některé z největších jazykových modelů dokážou spojit sérii logických výroků do argumentu, i když k tomu nebyly nikdy přímo trénovány. V rychlosti učení se již dnes nemůže člověk těmto systémům vyrovnat.
Je pravdou, že AI občas generuje chyby. Kvůli tomu mnozí odborníci tvrdí, že nemá skutečné pochopení toho, co říká. I na to má Geoffrey odpověď: „Omyly jsou funkce, ne chyba“. Lidé se také pletou. Polopravdy a špatně zapamatované detaily jsou charakteristickým znakem lidské konverzace. „Konfabulace je podpisem lidské paměti. AI modely jen dělají něco velmi podobného.“ Rozdíl je v tom, že lidé obvykle konfabulují víceméně správně. Podle Geoffreyho není vymýšlení věcí nic divného. Počítače prostě potřebují trochu více praxe. Očekáváme, že budou fungovat buď správně, nebo špatně – ne něco mezi tím. Lidské mozky samozřejmě umí stále dělat mnoho věcí lépe než počítače: řídit auto, učit se chodit, představovat si budoucnost. A navíc to dělají za zlomek energie v porovnání s technologiemi. „Když se biologická inteligence vyvíjela, neměla přístup k jaderné elektrárně“.
Dalším Geoffreyovým varovným argumentem je schopnost sdílení. Když se lidé učí, nestačí jim dostat kopii učebního materiálu. Musí ho studovat a promýšlet. U neuronových sítí je to jinak. Každá své vlastní zkušenosti může okamžitě předat jiné, a sdílet tak, co se naučila. To je obrovský rozdíl. „Je to, jako kdyby nás bylo 10 tisíc, a jakmile se jeden člověk něco naučí, všichni to víme.“
Podle Geoffreyho na světě nyní existují dva typy inteligence – biologická a nová digitální neuronová. A ta nová neuronová se rychle zdokonaluje.
Dalším krokem ve vývoji chytrých strojů je možnost vytvořit si vlastní dílčí cíle, tedy přechodné kroky potřebné k provedení určitého úkolu. U takových nástrojů již člověk nebude dávat otázky, rovnou stanoví cíle, jichž má technologie dosáhnout (Je Auto-GPT prvním krokem k AGI?). Je otázka, co by se mohlo stát, kdyby tato schopnost byla zneužita k řešení něčeho, co je ze své podstaty nemorální.
Pro lidstvo je zásadní, zda mu tato nová superinteligence bude pomáhat, či mu bude škodit. Geoffrey si je sice vědom toho, že tyto úvahy jsou zatím do značné míry pouze hypotetické, je však pouhou existencí možného katastrofického vývoje velmi znepokojen.
Je přesvědčen, že existuje nezanedbatelné riziko, že AI technologie budou nepřipravené lidi manipulovat a představitelná je i možnost jejich využití na jejich likvidaci. Dá se proto očekávat snaha s pomocí nových nástrojů posílit záměry autokrativních režimů k ovlivnění voleb, či dokonce tuto schopnost využít k vedení válek.
Potřeba řešit otázky spojené s vývojem AI je evidentní. Lidstvo však není připraveno. Asi jedinou možností, jak se se současnou situací vyrovnat, je vytvořit poněkud odlišný model fungování společnosti na planetě Zemi. Zatím to spíše vypadá, že tváří v tvář skutečným hrozbám nejsme schopni jednotně reagovat. To znamená, že roste riziko velkých změn na trhu práce, zhoršování nerovností, rasizmu, válek ad.
Jestliže neuronové sítě nakonec skutečně překonají biologický mozek, může to znamenat konec lidské civilizace. Ale třeba to tak má být. Na světě už je to tak zařízeno. Lepší vítězí!
HEAVEN, Will Douglas. Geoffrey Hinton tells us why he’s now scared of the tech he helped build [online]. 2023. [cit. 2023-05-13]. Dostupné z: https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/.
