Hodnocení netestovatelného aneb kariérní řád pro každého
Odborný článek
Hodnocení netestovatelného aneb kariérní řád pro každého
4,0 (3 hodnocení)
Článek se zabývá možnostmi, které přinášejí nové formy hodnocení schopností uživatelů internetu v oblasti ověřování výukových výsledků a kvality učitelů.
Již nějaký čas se celá řada odborníků snaží upozorňovat na zásadní problémy spojené s plošným testováním žáků. K těm úplně nejvážnějším rizikům patří zkreslení způsobené momentální indispozicí, která při realizaci testů jednou za několik let může zkoušeného značně poškodit. Dalším evergreenem kritiků testování je obava, že obsah testů, jež nemohou zdaleka pokrývat všechny výukové cíle popsané (u nás dosud připravovanými) standardy, bude určovat, co se má učit. Tím spíše, budou-li školy podle výsledků testů hodnoceny.
Nepatřím k zásadním odpůrcům testování. Jen bych si ho představoval poněkud jinak, než jak je u nás zaváděno. Mnohem přijatelnější řešení problematiky ověřování znalostí i dovedností (nejen žáků) přichází ruku v ruce s nastupujícím plošným využíváním vzdělávacích technologií. Nasazení počítačových systémů daty řízeného školství řeší problém měření pouze okamžitých schopností žáka prostě tak, že data o jeho výsledcích zaznamenává stále (viz Vize daty řízeného školství
Archivní diskuze převzatá z rvp.cz. Přidávání nových komentářů není k dispozici.
Bořivoj Brdička16. 6. 2012
David Wiley - More on Badges and Assessment (http://opencontent.org/blog/archives/2397)
Velmi vhodný materiál k doplňkovému studiu problematiky hodnocení pomocí odznaků.
Jana Petrů19. 6. 2012
A když o žádné odznaky nestojím?
Bořivoj Brdička20. 6. 2012
Když o žádné odznaky nestojíte, budete mít smůlu. Systém pracující s velkými daty vám je stejně přidělí. U sofistikovanějších řešení si umím představit, že si budete mít možnost zvolit, zda chcete, aby je ostatní viděli. Vždy ale máte ještě i tu možnost se do aktivit odznaky generujích nezapojovat.
Bořivoj Brdička17. 9. 2012
Sash (http://www.everfi.com/badging) - The Open-Source Badging Platform from EverFi
systém nabízený k zabudování do vyvíjených výukových aplikací.
Bořivoj Brdička24. 9. 2012
degreed. (http://degreed.com/) - nástroj snažící se hodnotit úroveň dosaženého vzdělání pomocí odznaků na základě facebookové prezence uživatele.
Bořivoj Brdička24. 6. 2013
První fáze Mozilla's Open Badges projektu (http://openbadges.org/) byla oficielně ukončena. Stále více organizací se hlásí k jejich podpoře. University of Chicago za ně začalo přidělovat kredity - Mozilla's Debuts Open Badges To Showcase Out-of-School Learning and Skills (https://www.edsurge.com/n/2013-03-14-mozilla-s-debuts-open-badges-to-showcase-out-of-school-learning-and-skills).
Bořivoj Brdička5. 7. 2014
VMPass (http://vmpass.eu/) - evropský projekt řešící podobnou problematiku, tj. jak prokazovat výsledky samostatně realizovaného učení. Předpokládá spolupráci organizátorů volně dostupných kurzů.
Bořivoj Brdička25. 1. 2015
Aktuální zpráva All4ed - Digital Badge Systems: The Promise and Potential (http://all4ed.org/reports-factsheets/digitalbadgesystems/)
). Takový systém dokáže docela snadno provádět kontrolu znalostí podobnou připravovaným plošným testům, jenže průběžně každý den. Poskytuje tak žákům, učitelům i rodičům okamžitou zpětnou vazbu, na níž je možno včas reagovat. Jak již ale bylo řečeno, bohužel nedokáže vyhodnotit splnění všech požadovaných výukových cílů. Podívejme se proto blíže na to, jak hodnotit i ty části standardů, které jsou běžnými testy nepostihnutelné.
Předně je třeba konstatovat, že skutečně komplexní hodnocení, jež by zahrnovalo opravdu úplně vše, realizovat vůbec nelze. Tradiční testové úlohy jsou schopny nejsnáze ověřovat faktické znalosti na úrovni 1. stupně Bloomovy taxonomie výukových cílů (viz Bloomova taxonomie v digitálním světě). Kvalitní test pak může měřit i jiné věci, třeba představivost, inteligenci, pochopení významu textu (např. PISA) apod. Na úplném vrcholu Bloomovy taxonomie je vlastní tvorba, jejíž hodnocení je vždy velice komplikované. Připravovaný systém státního plošného hodnocení tradičních žákovských prací v podobě esejí, na němž pracuje ČŠI, předpokládá osobní zapojení vyškolených hodnotitelů z řad učitelů. Tato metoda je drahá, subjektivní a obtížně použitelná na jiný typ výstupu, než je prostý textový dokument.
Posun v možnostech hodnocení výukových výsledků přineslo tzv. portfolio (viz Hodnocení výukových výsledků v digitálním světě). Jedná se o osobní archiv všech existujících výstupů každého žáka vzniklých ve výuce i mimo ni, dnes pochopitelně zásadně v digitální podobě v počítačových mracích někde na internetu. Každý, komu žák umožní přístup, si o jeho schopnostech může snadno udělat obrázek. Musí ale mít přístupová práva a čas, jenž je k prostudování obsahu nutný. Některé, v současné době dost potřebné kompetence však nepostihuje ani portfolio. Mám na mysli třeba tak důležitou schopnost týmové spolupráce nebo prezentace vlastních výsledků.
Zajímavé možnosti hodnocení vlastně jakéhokoli tvůrčího počinu umístěného online poskytují jiné na internetu dostupné nástroje. Na počátku jejich vývoje bylo prosté sdílení odkazů na zajímavé stránky ve formě docela samostatných služeb jako je Diigo nebo Delicious (viz Co je to „folksonomy“?), kde má mimochodem svůj domov i náš Odkazník. V nedávné době se v souvislosti s rostoucí oblibou sociálních sítí objevila ještě další metoda sdílení zajímavých odkazů v podobě facebookového „To se mi líbí“. Jedná se o předávání odkazů na zajímavý online obsah prostřednictvím sociální sítě přímo všem vzájemně propojeným uživatelům. Velmi podobným způsobem to kromě Facebooku funguje i prostřednictvím Twitteru, Google+ i jinde. Tvůrci webů se dnes přímo předhánějí v tom, aby na svých stránkách měli vložený kód s tlačítkem, na které stačí kliknout, a odkaz se prostřednictvím příslušné sítě přenese přímo všem přátelům, následovatelům, členům kruhů, nebo jak se všem těm vzájemně přímo propojeným uživatelům v té které síti říká.
Díky tomu, že systém typicky počítá a zveřejňuje, kolik lidí se rozhodlo odkaz na příslušnou stránku se svým online prostředím sdílet, vznikl zcela nový způsob evaluace obsahu internetu, jenž do značné míry nahrazuje tradiční přidělování hvězdiček. Oba jsou k vidění zde na portálu RVP v pravé svislé liště. V angličtině se pro tento způsob zveřejnění faktu, že je něco kvalitní, používá výraz badge, což by se dalo přeložit jako odznak, značka nebo podle Facebooku štítek. Pro nás je velmi zajímavou skutečností, že se tento princip hodnocení postupně rozšiřuje i na další oblasti evaluace v prostředí počítačových sítí a je možné ho do určité míry použít i při hodnocení na tvorbu orientovaných výukových výstupů.
Spomocník se v poslední době opakovaně věnuje nejen problematice volného sdílení jednotlivých výukových materiálů, ale též celých otevřených online kurzů nebo dokonce kompletních vzdělávacích programů (viz Historie volného sdílení na internetu). I v této rychle rostoucí oblasti samostatně a neformálně prováděného sebezdokonalování, jež se zdá být zcela neorganizované a chaotické, je třeba dosažené výsledky hodnotit. Čím konkrétnější jsou výukové cíle, tím snadnější to je. Třeba nedávný stanfordský masivní otevřený kurz Úvod do umělé inteligence zcela vystačil s tradičními formami testování pomocí výběrových či číselných online odpovědí k tomu, aby zjistil, zda dotyčný student může postoupit do další lekce.
Jiné volně dostupné kurzy typu MOOC, jejichž cíle nejsou tak snadno definovatelné, používají k hodnocení analýzu aktivit účastníka uvnitř i vně kurzu. Třeba pro loňský LAK je k dispozici přehled (Learning and Knowledge Analytics), který v grafické formě porovnává časový průběh činnosti jednotlivých účastníků s ostatními. Je-li cílem též naučit účastníky sdílet nové podnětné informace se svým okolím, pak lze výkon jednotlivců hodnotit prostřednictvím zpráv, které na dané téma zveřejní. Pro snadnější vyhledání je vhodné, aby byly všechny opatřeny stejným klíčovým slovem. Za vzorový příklad může sloužit třeba náš nedávný kurz Vzdělávací technologie pro 21. století (viz RVP_VT21 - závěrečná zpráva o kurzu). Velmi podobné cíle mívají třeba běžné odborné konference, jejichž úspěšnost je dnes možno odhadnout pomocí twitterových zpráv, které se o nich šíří světem. Na následující ukázce je vizualizace ohlasu nedávné konference Educon, kterou vytvořil známý sociolog specializující se na studium online komunit Marc Smith pomocí volně dostupného software NodeXL.
20120129-NodeXL-Twitter-educon network graph
Vývoj v oblasti online vzdělávání je momentálně opravdu překotný. Některé současné online školy se již nespokojují s pouhým zaznamenáváním výsledků žáků, ale používají jako doplněk komplexního hodnocení i určitou formu mimořádných ocenění, jež mají podobu odznaku (opět badge) určitého typu. Pro příklad není třeba chodit daleko. Třeba Khan Academy, kterou dnes kdekdo dává za vzor (viz Khan Academy a „převrácená“ třída), zavedla hned celý systém takových ocenění (Khan Academy Badges). Od odznaku „skvělý posluchač“, který dostanete po dovršení sledování 30 min. video-tutoriálů, až třeba k „mistru algebry“, jenž se uděluje po úspěšném složení závěrečného testu. Ty snadněji získatelné slouží hlavně jako motivace k další práci. Nejhodnotnější odznaky mohou mít výrazný vliv na hodnocení žáka ve škole, ale i mimo ni. Lze je umístit na viditelné místo portfolia nebo rovnou na osobní web (profil).
Návrhem systému udělování veřejně viditelného ocenění za něco, co uživatel internetu v online prostředí dokázal, se momentálně zabývá celá řada týmů. Impuls vyšel od sdružení Mozilla, jež stojí za vývojem prohlížeče Firefox. Přibližně před rokem byl zahájen Mozilla's Open Badges project, který zavádí komunitní formy hodnocení a udělování odznaků nejprve do počítačově orientovaných kurzů jedné z nejznámějších bezplatných otevřených škol Peer2Peer University (viz Vliv volné dostupnosti materiálů na školství). V pozadí jsou tyto aktivity finančně podporovány MacArthur Foundation, která na podzim 2011 ve spolupráci s mezinárodním sdružením odborníků HASTAC zabývajícím se využitím technologií ve vzdělávání a formováním komunit vyhlásila soutěž Digital Media and Learning Competition na téma Badges for Lifelong Learning. Pro vítězné projekty jsou zde připraveny 2 miliony dolarů.
Na slavnostním zahájení soutěže 15. září 2011 promluvil americký ministr školství Arne Duncan. Konstatoval, že další vývoj systémů hodnocení výukových výsledků v prostředí volného sdílení informací a otevřených online škol patří k prioritám Obamovy vlády a bude proto spolu s budováním otevřených výukových zdrojů (OER) podporován z připravovaného 30 miliardového programu modernizace amerických škol. Soutěž se právě přehoupla z 1. do 2. fáze. Vítězné projekty budou představeny začátkem března na 2012 Digital Media and Learning Conference v San Franciscu.
Vše nasvědčuje tomu, že dochází k dalšímu posunu ve vývoji vzdělávání online. V blízké budoucnosti budou vyvinuty nástroje, které dají uživatelům internetu možnost se nejen zcela svobodně a bezplatně něco naučit, ale též dát celému světu na vědomí, že něco umějí a mají schopnosti potřebné k realizaci určitého společného díla. Jsou zde samozřejmě určitá rizika, která musí tvůrci hodnotících systémů eliminovat, abychom nakonec nebyli svědky toho, jak se lidé místo skutečné práce pachtí za získáváním dalších odznaků, které si budou jako vyznamenání připichovat místo na prsa na zeď svého facebookového profilu (třeba jako Klout score popsané v článku Pozor na internetové informační bubliny!). Kdyby se ale tyto nové metody hodnocení podařilo smysluplně zavést, je zde reálná šance, že by se s jejich pomocí mohlo spektrum ověřitelných výukových cílů rozšířit i do takových oblastí, které jsou dosud obtížně přístupné.
Na úplný závěr si dovolím předestřít ještě jednu vizi. Schválně, co na to řeknete? Představte si automaticky fungující systém hodnocení učitelů, který ve svých závěrech zohledňuje nejen čas strávený výukovou činností a průměrnou přidanou hodnotu výsledků žáků v testech, ale též ocenění získaná online – a to nejen žáky ale též samotným učitelem, jenž by se měl aktivně propojit s kolegy a podílet se s nimi na zlepšování výsledků celého školství. Pak by nebyl problém zavést sadu specializovaných odznaků ukazujících, na jaké úrovni schopností se ten který učitel nachází.
Zbývá jen drobnost. Je třeba, aby zaměstnavatelé došli k přesvědčení, že se (na rozdíl od některých papírových certifikátů a diplomů současnosti) dá na nové formy online hodnocení uchazečů o práci spolehnout. Odhad, jaký vliv by to mělo na školství, nechám na vás.
Literatura a použité zdroje
MacArthur Foundation News. Digital Media & Learning Competition Provides $2 Million for Innovations in Digital Badges [online]. 2011. [cit. 2012-02-05]. Dostupné z: http://www.macfound.org/site/apps/nlnet/content2.aspx?c=lkLXJ8MQKrH&b=4294201&ct=11221065.
The Mozilla Foundation and Peer 2 Peer University. Badges for Lifelong Learning [online]. 2011. [cit. 2012-02-05]. Dostupné z: https://wiki.mozilla.org/images/b/b1/OpenBadges-Working-Paper_092011.pdf.
DUNCAN, Arne. Digital Badges for Learning [online]. 2011. [cit. 2012-02-05]. Dostupné z: http://www.ed.gov/news/speeches/digital-badges-learning.
YOUNG, Jeffrey R. 'Badges' Earned Online Pose Challenge to Traditional College Diplomas [online]. 2012. [cit. 2012-02-05]. Dostupné z: http://chronicle.com/article/Badges-Earned-Online-Pose/130241/.
