Malý jazykový model od MIT pro děti

Zkratka LLM ve většině případů znamená Large Language Model. Existuje ale výjimka. Na nejznámějším vědeckém pracovišti světa oboru vzdělávacích technologií MIT Media Lab vznikla aplikace disponující stejnou zkratkou – Little Language Model (lLM) [1]. Podívejme se na něj.

Cílem lLM je vysvětlit dětem, jak LLM pracuje, a to tak, že jim umožňuje vytvořit si vlastní malé modely, na nichž lze funkci LLM ukázat.

Prostředí, v němž se aktivity odehrávají, se nazývá CoCo (Co-create, Code, Collaborate) [2]. Znáte-li historii MIT Media Lab, nepřekvapí vás, že je na první pohled velmi podobné Scratchi. I zde se primárně jedná o hravou výuku programování a sdílení poznatků mezi uživateli. Za jeho vývojem stojí manželský pár původem indických doktorandů MIT (Manuj a Shruti Dhariwal), kteří možnosti tvorby obohatili o prvek jazykovým modelům vlastní, o náhodnost výběru založenou na pravděpodobnosti a nejistotě.

Vlastně se jedná o významný posun v přístupu k programování. Základní princip založený na informatickém myšlení je rozšířen o myšlení pravděpodobnostní, které tvůrce nutí do výsledku zahrnout prvek nejistoty. Jestliže si žák zkusí například navrhnout program, který předvídá chybějící slovo ve větě, snáze porozumí principu fungování všech LLM systémů. Pochopí též, proč LLM nedává stoprocentně správné odpovědi, když jsou výsledkem série výpočtů pravděpodobnosti. Do programování v CoCo je integrován hod kostkou. Každá její strana může obsahovat jakoukoli proměnnou. A pak lze nastavit pravděpodobnost toho, která strana padne.

Představme si příklad osvětlující zkreslení (bias) v modelech umělé inteligence (viz video). V zadání je vytvořit pár kostek a pak na každou stranu vložit ruku jiné barvy pleti. Na začátku je úkolem nastavit pravděpodobnost bílé ruky na 100 %, což odráží hypotetickou situaci, kdy v souboru dat jsou pouze obrázky bílých lidí. Když pak CoCo tuto ruku použije pro kreslení obrázku, jsou všude pouze bílé ruce. Poté mohou žáci začít experimentovat se změnou pravděpodobnosti zobrazení rukou jiných barev pleti. Záměr tohoto zadání je snad evidentní. Má ukázat, jak důležité je pro rozhodování AI použít správný soubor dat. V tomto případě by tedy musely být pro program použity pravděpodobnosti odpovídající velikosti populací různých barev pleti na Zemi.

CoCo disponuje i pokročilejšími nástroji, jako jsou např. Markovovy řetězce, kde předchozí proměnná ovlivňuje to, co přijde po ní. Žák například může navrhnout AI, která vytvoří náhodné domy z kostek Lego. Lze nastavit, že pokud AI použije jako první červenou kostku, pravděpodobnost výběru žluté kostky, která následuje, je nastavena mnohem výše.

Platforma CoCo získala již celou řadu ocenění. Dá se očekávat, že se, podobně jako Scratch, rozšíří do celého světa. Žáci s podporou učitelů mohou ve svých výtvorech používat svá vlastní data (zvuky, obrázky, pozadí), která reprezentují jejich kulturu.

„Nejlepší způsob, jak podpořit mladé lidi jako kreativní studenty, je pomáhat jim pracovat na projektech založených na jejich zájmech,“ říká spolutvůrce Scratche profesor Mitch Resnick. „A to lLM dělá. Umožňuje dětem vzít tyto nové nápady a využít je kreativním způsobem.“

Malé jazykové modely mohou vyplnit díru v současném vzdělávacím prostředí. Mají potenciál podpořit transformaci vzdělávání.

Little Language Models: Empowering Children to be Future AI Modelers

Na závěr ještě připomenu, že komplexní českou podporu zavádění AI do výuky najdete na AI dětem.

Literatura a použité zdroje

MULLIGAN, Scott J. Kids are learning how to make their own little language models [online]. 2024. [cit. 2025-02-07]. Dostupné z: https://www.technologyreview.com/2024/10/25/1106168/kids-are-learning-how-to-make-their-own-little-language-models/.

CoCo: A real-time co-creative learning platform for young people, [online]. 2023. [cit. 2025-02-07]. Dostupné z: https://news.mit.edu/2023/coco-real-time-co-creative-learning-platform-young-people-0530.