Poslední zkouška lidskosti

Humanity’s last exam (Poslední zkouška lidskosti – HLE) je projekt skupiny expertů zabývajících se generativní AI pod vedením Center for AI Safety (CAIS). Jeho podstatou je vytvořit test, jehož řešení bude pro generativní modely LLM výrazně obtížnější než pro člověka. Projekt je pozoruhodně velký svým rozsahem. Do tvorby otázek se zapojilo téměř 1 000 odborníků z více než 500 institucí v 50 zemích – převážně profesorů, výzkumníků a držitelů postgraduálních titulů. Vývoj testu ještě nebyl ukončen, již teď však lze říci, že se záměr daří.

Test HLE obsahuje na 3 tisíce specializovaných otázek, na něž je obtížné získat odpověď jen prostým vyhledáním. Nejedná se jen o zjišťování fakt, testují se též schopnosti porozumět, zdůvodňovat a modifikovat odpověď vzhledem k souvislostem.

Na následujícím obrázku je porovnání s několika existujícími testy schopností LLM.

Porovnání schopností LLM řešit testy s Humanity’s last exam (HLE) [1]

Vysvětlení, proč LLM HLE nezvládají, je jednoduché. Otázky vytvořili vědci a jsou pro běžné uživatele těchto nástrojů nejen neřešitelné, ale mnohdy naprosto nepochopitelné. Přikládám ukázku:

Ukázka testové otázky HLE [1]

Zřejmým cílem autorů tohoto projektu je posunout úroveň schopností LLM a naučit je zvládat i podobně složité problémy. Brzy možná dokážou řešit úkoly na úrovni špičkových vědců, a to napříč obory. Skoro to vypadá, že AI má již našlápnuto k přechodu od obecné (AGI) k superinteligenci (ASI) – viz Co bychom měli vědět o botech. To znamená, že budou svými schopnostmi převyšovat celé lidstvo.

Bylo by skvělé, kdyby tyto své schopnosti používaly výhradně ve prospěch lidské společnosti. Jenže to je právě asi ten největší problém, který musíme v souvislosti s rozvojem AI řešit. Zdaleka ne všichni uživatelé budou schopni dávat LLM maximálně sofistikované zadání. To znamená, že dojde k dalšímu zvětšení propasti mezi těmi, kdo nástroje AI ovládají a kdo ne. Radši ani nedomýšlím, co by se mohlo stát, kdyby ASI byla zneužita k ovládání lidí, či dokonce k boji mezi národy.

Nechci předjímat úmysly autorů projektu Humanity’s last exam, jen konstatuji, že zakladateli CAIS jsou dva mladí muži (pod 30) Dan Hendrycks a Alexandr Wang, kteří již dnes patří díky akciím AI průmyslu k nejbohatším lidem ve své věkové kategorii na světě.

Humanity's Last Exam for LLMs

Literatura a použité zdroje

Humanity's Last Exam [online]. 2025. [cit. 2025-05-12]. Dostupné z: https://arxiv.org/abs/2501.14249.