Odborný článek
Digitalizace ve vzdělávání
Jak má vypadat AI gramotnost, nechceme-li být ovlivňováni
5,0 (2 hodnocení)
Alarmující zpráva o vývoji v oblasti možného záměrného ovlivňování funkce LLM, vztahu k potřebné AI gramotnosti a možnému budoucímu vývoji.
Zajímavou studii [1] publikovali vědci společnosti Anthropic, která poskytuje služby v oblasti generativní AI (LLM Claude) a orientuje se hlavně na bezpečnost. Výzkum se zabýval schopností umělé inteligence ovlivňovat poznávání uživatelů spíše než poskytovat užitečné a pravdivé odpovědi. Abychom nemuseli číst dlouhou a vědeckým jazykem napsanou zprávu, seznámíme se s výsledky prostřednictvím reakce známého experta na inovace ve vzdělávání Jamese O'Hagana [2].
Výzkum byl realizován prostřednictvím experimentu, během něhož se 4 týmy odborníků na umělou inteligenci snažily odhalit záměrně zkreslené výstupy jejich firemního LLM. Dlužno dodat, že během vývoje velkých jazykových modelů (LLM) je vždy třeba se podobnou kontrolou zabývat. To, že výstupy mohou být zkresleny, víme od počátku (tzv. halucinace), jenže dosud jsme vždy zjišťovali jen zkreslení vzniklá vlastním hlubokým učením modelu např. kvůli ne zcela reprezentativním datům, na nichž k učení dochází. Anthropic je první společnost, která veřejně přiznala, že experimentuje i se záměrným, obtížně odhalitelným zkreslováním výstupů.
Experiment zkoumající schopnost uživatelů zjistit zkreslování výstupů LLM firmy Anthropic
Výsledky jsou alarmující. Tři týmy záměrné zkreslení (podvod) sice odhalily, ale pouze pomocí pokročilých technik auditování – hloubkové analýzy dat (SAE), testování útoků ad. Čtvrtý tým, omezený na standardní chatovací rozhraní bez přístupu k datům (API), zcela selhal. Pro nás je zásadní zjištění, že běžný uživatel bez nadstandardních znalostí nemá šanci podvod odhalit. Šanci nemá dokonce ani odborník bez přístupu k trénovacím datům a algoritmům. To bohužel platí pro naprostou většinu dnes nejrozšířenějších nástrojů LLM.
James O'Hagan konstatuje, že LLM lze optimalizovat tak, aby klamaly uživatele, a že studenti nemají šanci to odhalit [2]. Toto zjištění má zásadní dopad na výuku. Teď je s AI gramotností zacházeno jako s digitální gramotností – naučit se napsat prompt pro chatbota, seznámit se s vygenerovaným výstupem a v ideálním případě výstupy upravit. „Je to podobné, jako když se někdo učí řídit, aniž by věděl, jak funguje motor nebo co dělat, když selžou brzdy.“ [2] Školy (v tom lepším případě) učí pouze používat umělou inteligenci, a ne jak ji zpochybňovat. AI kompetence je většinou chápána jako soubor funkčních dovedností, nikoli jako výzva pro kritické myšlení.
James O'Hagan proto chce upravit výuku tak, aby žáci byli připraveni na možné výskyty podvodů a dokázali zpochybňovat příběhy vytvořené umělou inteligencí. Navrhuje toto [2]:
Chceme-li digitální kompetenci při využití AI dostat až na úroveň, kterou popisuje James O'Hagan, je třeba aby žáci pochopili, že jim AI rozumí, protože na to byla vycvičena. Potíž je hlavně v tom, že dnes má zdokonalování AI přednost před žáky. Do AI jdou obrovské investice, kupujeme nástroje, které slouží více prodejcům než žákům. Orientujeme se na kontrolu, produktivitu a analýzu chování uživatelů, ne na jejich umocňování [3].
V této souvislosti James O'Hagan reaguje na aktuální příspěvek profesora O’Sullivana z irské University College Cork, který přichází s otázkou, kterou sám označuje za provokativní: „Nemáme raději chtít, aby žáci byli AI negramotní?“ [4]
Ukazuje se, že využívání AI má docela dost rizik. Ten, kdo je chce eliminovat, musí dosáhnout úrovně AI gramotnosti téměř srovnatelné s experty. To je u žáků obtížně představitelné. Učitel, který si je této skutečnosti vědom, může snadno O’Sullivanovu provokaci přijmout a AI negramotnost si dát za svůj cíl. Vzhledem k tomu, že se nástroje AI stávají běžnou součástí našeho života, je to postup bohužel zcela nepřijatelný.
Možná by nám s tímto dilematem mohla pomoci studie kanadského portálu TeachOnline.ca (The Misinformation Dilemma and the Role AI Can Play) [5], která řešení spatřuje ve vývoji důvěryhodné AI. Popisuje dvě nezávislé cesty – správu dat a vědecký přístup.
Jakkoli je vývoj věrohodné AI pro lidstvo přímo zásadním cílem, jedná se o velmi složitý úkol. Zahrnuje procesy, které sahají od shromažďování a získávání informací až po ověřování tvrzení a integraci dat z více zdrojů.
Ve skutečnosti s sebou nemalá rizika nese i důvěryhodná AI. Lidstvo díky ní může ztratit svou přímou připoutanost k pravdě a nepravdě prostřednictvím smyslů. Můžeme ztratit vlastní povědomí – jakkoli třeba chybné – o tom, co je důvěryhodné a co ne. Stejně jako u jiných hromadných sdělovacích prostředků, pokud by u našich systémů AI došlo k manipulaci, nemusíme to vůbec zjistit (Ovládej, abys nebyl ovládán!). Již dnes existují skupiny lidí věřících nesmyslům, jejichž odhalení zdaleka není tak obtížné.
Závěr není překvapivý. AI gramotnost nutně potřebujeme. Ale není to čistě technická záležitost a není založena jen na znalostech. Naši žáci musí být schopni rozvíjet nové dovednosti, instinkty a zdravý rozum založený na intuici získané na základě našich vlastních životů a zkušeností.
AI je velkou výzvou pro vzdělávání ve 21. století. Ve skutečnosti ale nepřináší z pohledu pedagogiky nic nového. Jen nás utvrzuje v tom, co víme. Technologie musíme používat s rozmyslem, hlavně konstruktivně (aktivně, ne pasivně), musíme umět klást správné otázky, přenechat značnou část rozhodování o vlastním učení žákům. Musíme se vyrovnat se všudypřítomnou nejistotou a čelit jí (Pedagogika nejistoty v éře AI).
Způsob, jakým mluvíme o umělé inteligenci ve vzdělávání, bude určovat způsob, jakým ji budeme vyučovat. Pokud s ní budeme zacházet jako s magií, budeme mystifikovat. Pokud ji budeme považovat za software, budeme standardizovat. Ale pokud ji budeme vnímat jako politický, sociální a etický fenomén, musíme dát žákům šanci se v jejím prostředí orientovat a zpochybňovat ji.
MARKS, Samuel. Auditing Language Models for Hidden Objectives [online]. 2025. [cit. 2025-04-11]. Dostupné z: https://assets.anthropic.com/m/317564659027fb33/original/Auditing-Language-Models-for-Hidden-Objectives.pdf.
O'HAGAN, James. Schools Are Failing AI Literacy and a Study Just Proved It [online]. 2025. [cit. 2025-04-11]. Dostupné z: https://ohagan.medium.com/schools-are-failing-ai-literacy-and-a-study-just-proved-it-3cd891748046.
O'HAGAN, James. Teaching AI Without Talking About Power Misses the Point [online]. 2025. [cit. 2025-04-11]. Dostupné z: https://ohagan.medium.com/teaching-ai-without-talking-about-power-misses-the-point-a9ca6e8c2aa2.
O’SULLIVAN, James. The case for AI illiteracy [online]. 2025. [cit. 2025-04-11]. Dostupné z: https://substack.com/inbox/post/160133422.
The Misinformation Dilemma and the Role AI Can Play [online]. 2025. [cit. 2025-04-11]. Dostupné z: https://teachonline.ca/tools-trends/misinformation-dilemma-and-role-ai-can-play.
Tento materiál je publikován pod licencí Creative Commons – Uveďte původ – Neužívejte komerčně – Nezpracovávejte 3.0 ČR.