Neviditelné hodnocení

O tom, že technologie pronikají do sektoru vzdělávání stále více, asi již nikdo nepochybuje. Jsme ve stádiu, kdy je nějakým přístrojem vybaven již v podstatě každý žák, jen naše schopnosti využít tuto skutečnost k výukovým účelům dost pokulhávají. Opakovaně mluvíme o tom, jak přenést část výukových aktivit do světa online, kde se naši žáci tak rádi vyskytují, bohužel většinou zcela odděleni od toho, co se děje ve škole. Cest vedoucích k pokroku v tomto směru je více. Nejčastěji mluvíme o potřebě přítomnosti vhodně zprostředkovaných vzdělávacích témat v online prostředí našich žáků (Učitel jako online kurátor). Tato cesta je mimořádně obtížná, protože funguje pouze tehdy, podaří-li se vyvolat skutečný zájem žáků o danou problematiku.

Další známou cestou k pronikání do mimoškolního světa žáků je tzv. převrácená třída (Má převrácená třída smysl?). Zde se předpokládá, že žáci získají základní faktické informace o probírané látce z online tutoriálů k těmto účelům vytvořených, a samotná prezenční výuka pak může být věnována dosažení vyšších forem pochopení souvislostí. I při implementaci těchto postupů však často dospíváme do slepé uličky. Mnoho žáků o učení zájem nemá, a tak jejich samostatná práce mimo dosah přímého řízení ze strany školy má nevalné výsledky.

Nemalá část učitelů, a často bohužel i zodpovědných vedoucích pracovníků školství, se v situaci, kdy se nedaří aplikovat konstruktivně (na vlastní zájem žáků) orientované výukové metody, obrací zpět a nevidí jinou možnost, než použít metodu „biče“, tj. utužovat kontrolu, zavádět standardy podobné osnovám, prosazovat rozhodné plošné testování. I když by se mohlo zdát, že důsledky, k nimž tato politika vede, jsou známé a dávno prodiskutované (Skutečné možnosti využití daty řízeného školství), podobné snahy jsou, zdá se, nesmrtelné.

Tématy spojenými s analýzou výukových výsledků či daty řízeným školstvím se zabýváme poměrně často (Jsou velká data velkým potenciálem nebo velkou chybou?). Rád bych, než půjdu dál, ještě připomněl přehled vývoje počítačového hodnocení výukových výsledků podle Bundersona [1] popsaný v článku Nový pohled na schopnost technologií ověřovat výukové výsledky. Podle jeho klasifikace se ve vývoji hodnocení žáků nacházíme na přechodu mezi 2. (Adaptivní počítačové testování) a 3. generací (ze 4) označené jako Průběžné hodnocení. Zásadním rozdílem mezi nimi je překonání tradičních metod odděleného učení a ověřování výsledků (typicky formou sumativního hodnocení pomocí testů) směrem k poskytování soustavné zpětné vazby umožňující nejen hodnotit, ale zároveň též okamžitě nasměrovat další výuku (formativní hodnocení).

Měli bychom si uvědomit, že průběžné formativní hodnocení výukových výsledků je ve skutečnosti již dnes možné implementovat i do aktivit, které žáci dělají prostřednictvím technologií, aniž by to bylo na první pohled patrné. Profesorka Florida State University Valerie Shute ho označuje pojmem „stealth assessment“ [2]. Mělo by tedy být stejně jako známé letouny americké armády neviditelné.

Na Floridě ověřují neviditelné formativní hodnocení prostřednictvím různých počítačových her. Jdou přitom dál, než např. GlassLab, o němž jsme nedávno referovali (Herní výukový systém GlassLab). Jejich snahou je analyzovat takové kompetence, jako je kreativita, řešení problémů, vytrvalost, spolupráce a chápání principů. Vyvinuli též vlastní výukovou hru Newton’s Playground (nově Physics Playground), kterou nabízejí zájemcům k otestování.

Jedná se o 2D simulaci prostředí, v němž platí základní Newtonovy zákony – kinetická energie závislá na hmotě, setrvačnost, akce a reakce, gravitace. Úkolem hráče je trefit míčem balónek a použít k tomu vhodné nástroje, které si ale hráč musí sám navrhnout. Může vytvořit (prostě nakreslit) odrazovou plochu, páku, kladku, kyvadlo, pružinu, lano a vše okamžitě aplikovat (šťouchnutím do balonu). Aplikace má již přes 80 úrovní [3].

Physics Playground

Hodnocení je založeno na sběru dat (např. cesta, počet pokusů, využití nástrojů apod.) Jeho základem je model klasifikující vlastnosti řešitele (žáka). Za řešením, k němuž nakonec tým Florida State dospěl, je vysoce kvalifikovaná vědecká práce ne nepodobná té, kterou odvádí Assessment Research Centre University of Melbourne (viz Hodnocení online spolupráce). Pro zkoumané vlastnosti (svědomitost, kreativita, pochopení principů ad.) je třeba specifikovat indikátory, a k nim pak hledat shodu v datech získaných během práce.

Klasifikace svědomitosti a indikátory pro hru Physics Playground [3]

Prosím, uvědomte si, že toto je jen malá ukázka toho, jak je celá analýza dat získaných činností žáka realizována. Zkoumá se ještě mnoho dalších ukazatelů. Namátkou vyberu třeba originalitu řešení, tj. úspěšné použití nového, dosud nepoužitého postupu. To je například jeden z indikátorů popisujících kreativitu.

Porovnáním modelu optimálních schopností žáka se skutečnými výsledky reprezentovanými daty získanými během práce s aplikací lze dospět k hodnocení, které vyjadřuje porozumění problematice Newtonových zákonů a další schopnosti mnohem přesněji, než to umožňují snadno manipulovatelné tradiční testy. Výstupem je statistické vyjádření ve formě bayesovské sítě.

Na Floridě již mají za sebou experiment, v němž bylo nasazení Physics Playground testováno na 166 osmácích [2]. Výsledky prokázaly, že tato metoda výuky Newtonových zákonů je pro žáky nejen mnohem příjemnější, ale má též lepší výsledky. Porovnání automatického hodnocení zabudovaného v aplikaci s tradičním hodnocením prostřednictvím testu vykázalo 95 % shodu ve výsledcích. To by znamenalo, že můžeme uvažovat o praktické aplikaci podobných postupů i u aktivit řešících jiné výukové cíle.

Z posledních informací vyplývá, že hra Physics Playground bude zařazena do vznikající vzdělávací platformy MARi vyvíjené firmou Carney Lab [4]. Tu lze považovat za průkopníka ve využití velkých dat za účelem analýzy výsledků a řízení personalizovaných výukových aktivit. Zdá se, že se poučili z chyb, které udělal např inBloom (viz Současný stav vývoje systémů adaptivního řízení výuky) a zajištění bezpečnosti dat je pro ně prioritou číslo jedna. Cílem je nabízet uživatelům osobního kouče, který je bude navádět na cestu stálého sebe-zdokonalování. Vypadá to, že se rychle blížíme k úrovni odpovídající 4. Bundersonově generaci hodnocení. Agent, který bude uživatele v takovémto systému řídit, bude nutně disponovat umělou inteligencí.

Literatura a použité zdroje

BUNDERSON, V. C.; INOUYE, D. K.; OLSEN, J. B. The four generations of computerized educational measurement. New York: Macmillan, 1989.

SCHWARTZ, Katrina. Can a Child’s Creativity and Persistence be Assessed by a Game? [online]. 2014. [cit. 2015-04-06]. Dostupné z: http://blogs.kqed.org/mindshift/2014/12/can-a-childs-creativity-and-persistence-be-assessed-by-a-game/.

SHUTE, Valerie; VENTURA, Matthew. Assessment: Measuring and Supporting Learning in Video Games [online]. 2013. [cit. 2015-04-06]. Dostupné z: http://mitpress.mit.edu/sites/default/files/titles/free_download/9780262518819_Stealth_Assessment.pdf.

HAUGHNEY, Kathleen. New partnership uses video games to teach physics [online]. 2014. [cit. 2015-04-06]. Dostupné z: http://news.fsu.edu/More-FSU-News/24-7-News-Archive/2014/August/New-partnership-uses-video-games-to-teach-physics.