Nový pohled na schopnost technologií ověřovat výukové výsledky
Odborný článek
Digitalizace ve vzdělávání
Nový pohled na schopnost technologií ověřovat výukové výsledky
5,0 (5 hodnocení)
Článek se zabývá aktuálními výstupy bádání evropských vědců na poli vzdělávacích technologií zvláště v oblasti počítačového hodnocení výukových výsledků. Popisuje paradigmatickou změnu směrem k analýze velkých dat a aplikaci umělé inteligence.
Archivní diskuze převzatá z rvp.cz. Přidávání nových komentářů není k dispozici.
RNDr. Pavel PEŠAT, Ph.D.6. 5. 2013
Moc pěkné. děkuji.
Jenom drobné poznámky:
1) Re: "Bohužel to zatím vypadá spíše tak, že je vývoj určován zrychlujícím se technologickým pokrokem a pedagogika zůstává stranou. Nebudou-li pedagogové ochotni či schopni se do ovlivňování budoucího vývoje zapojit...". Čím dále tím více mám pocit, že pedagogové ve školách se podle svých možností zapojují, někteří lépe, někteří hůř, někteří obdivuhodně dobře. Co pokulhává, je česká teoretická pedagogika. Nenarazil jsem v českých učebnicích teoretické pedagogiky na jména jako Eric Mazur (Peer instruction http://en.wikipedia.org/wiki/Eric_Mazur), Robert Beichner (Scale Up, http://www.ncsu.edu/PER/Articles/JCST_SCALE-UP_article.pdf), on-line iniciativa EdX (http://harvardx.harvard.edu/news/speech-menino-announce-initiative-harvard-mit-boston-globe) aj, viz např. Prucha, J. (ed.): Pedagogická encyklopedie. (Současně se omlouvám, nejnovější výzkumy by se např. do téhle knihy ani dostat nemohly, Peer Instruction a Scale Up však s přehledem - praktikují se ve světě již minimálně 10 let s prokazatelně dobrými výsledky). Pravda, historie pedagogiky je v našich učebnicích popsána obdivuhodně dobře.
2) Re: "Hodnocení bude skutečně komplexní (holistický přístup). Bude odrážet vše, co uživatel na svém přístroji dělá". Zde máme problém - žáky, kteří z nějakého důvodu komunkují s počítači na kvalitativně jiné úrovni než s lidmi - ať už mnohem lépe, nebo mnohem hůře. Příkladem jsou žáci se specifickými vzdělávacími potřebami. Někteří se "baví" jen s počítači, někteří práci s počítači na úrovni srovnatelné s žáky v hlavním vzdělávacím proudu prostě nezvládnou z důvodu své specifické potřeby. "Holistický" přístup pak snadno povede k nerelevantnímu hodnocení. Evaluací těchto žáků se SVP v prostředí obecné dostupnosti a využívání technologií bude třeba rozpracovat.
Bořivoj Brdička6. 5. 2013
Děkuji kolegovi Pešatovi za reakci. Rád bych se vyjádřil k pedagogice. Bylo by strašnou chybou, kdybychom vnímali pedagogiku jako vědu, jejíž obsah je dán výběrem nám milých teoretiků a jiné zamítali. To by jen posílilo stávající systém, který je založen na souhře skupiny vyvolených, kteří se vzájemně podporují a svou moc staví na schvalování výběru obsahu impaktovaných časopisů, přidělování grantů apod. Nemysleme si, že jsme v tomto nějakou výjimkou. Podívejte se třeba na to, jak vypadá současný boj o výklad hesla MOOC na Wikipedii, jak ho vysvětluje Audrey Waters - [Expletive Deleted] Ed-Tech #Edinnovation (http://hackeducation.com/2013/05/04/ed-tech-argo-f-k-yourself/)
Lukáš Mižoch6. 5. 2013
Ten boj o heslo MOOC na anglické Wikipedii je IMHO klasický problém s nedodržením pravidel a následným „ublíženým“ článkem kritizujícím Wikipedii. ;)
Bořivoj Brdička6. 5. 2013
Obávám se, že kromě nedodržení pravidel se zde jedná též o záměr ovlivnit výklad ve prospěch určité skupiny, která má na důsledcích jiný, než čistě vědecký zájem.
Je v něm hned několik mimořádně zajímavých článků, jejichž úroveň lze považovat za světovou. Třeba hned ten první (
) tradičním způsobem zpracovává dotazníkové šetření u stovek tisíc žáků, učitelů a ředitelů z 27 evropských zemí. Zpráva o výsledcích zavádí pojem „
digitálně vstřícná škola
“ (digitally supportive school) a „
digitálně sebejistý učitel
“ (digitally confident teacher). Myslím, že by stálo za to si je osvojit. Podle hlavního závěru je nezbytné zavádět ICT plošně do výuky proto, abychom zvyšovali schopnost žáků používat technologie k učení. Nesmíme očekávat, že se díky jejich mimoškolní všudypřítomnosti dopracují k této dovednosti samovolně. Určitě se k tomuto tématu ještě brzy vrátíme.
Pro popis vývoje počítačového hodnocení výukových výsledků (e-Assessment) autoři používají 4 generační členění definované již v práci Bundersona, Inouye a Olsena z roku 1980 [2]:
Generace 1: Počítačové testování (tradiční testy dělané na počítači);
Generace 2: Adaptivní počítačové testování (obtížnost je nastavována během testu na základě předchozích výsledků zkoušeného);
Generace 3: Průběžné hodnocení (kalibrované metody soustavně odhalují vývoj žákova poznání);
Generace 4: Inteligentní hodnocení (interpretace uložených individuálních výsledků generující doporučení studujícímu i učitelům, jak dál postupovat).
Je skoro neuvěřitelné, že je tato 33 let stará představa stále použitelná. Schematické znázornění propojené se současným stavem poznání je na následujícím obrázku.
Vývoj počítačového hodnocení výukových výsledků [1]
Tradiční testové paradigma
V roce 1980 se nám o možnostech využití velkých dat generovaných uživateli všudypřítomných technologií ještě ani nezdálo. Počítačové testování (Computer Based Assessment) generace 1 se zabývalo zkoumáním faktických znalostí a používalo hlavně otázky s výběrovou odpovědí (Multiple Choice), nanejvýš krátkou (jednoznačnou) tvořenou odpovědí (Short Answer). Již první na testování orientované systémy uměly nastavovat jinou reakci pro každou očekávanou odpověď uživatele. Odtud byl jen krok k dnes běžným adaptivním systémům, které průchod testem modifikují podle předchozích výsledků (generace 2). Schopnější žák se nemusí zdržovat a dostává těžší otázky. Ty jsou lépe hodnoceny a celkové skóre je pak samozřejmě vyšší.
Důležitou vlastností tradičních systémů hodnocení je velikost databanky, z níž jsou otázky vybírány. Čím více jich je, tím méně je pravděpodobné, že při náhodném výběru dostanou žáci při opakování testu stejné otázky. Zároveň klesá možnost naučit se nazpaměť pouze správné odpovědi. Na druhou stranu je velmi obtížné a drahé připravit větší množství otázek se stejnou obtížností, což je samozřejmě nutnou podmínkou porovnatelnosti výsledků a celkové reliability testu.
Vývoj tradičního e-Assessmentu směřuje ke zvyšování validity hodnocení zdokonalováním algoritmu výběru vhodných položek zadání z databanky podle předchozích výsledků uživatele, zlepšováním schopností systému správně hodnotit na základě většího množství různých informací o uživateli a vývojem aplikací schopných provádět inteligentní analýzu a hodnocení otevřených textových odpovědí (viz Je současná umělá inteligence schopna hodnotit tvořený text?).
Vývoj počítačového testování je doprovázen změnou v chápání výukových cílů. Současné didaktické koncepty pod vlivem měnících se podmínek života v 21. století akcentují mnohem více kompetence než tradiční znalosti. To má samozřejmě na ověřování výukových výsledků značný vliv. I tradiční formy testování se snaží tomuto trendu vyjít vstříc a pokoušejí se testové úlohy příslušným způsobem modifikovat. To je do určité míry možné (Efficient testing). Budoucí vývoj je však ovlivňován i dalšími faktory. Tím nejdůležitějším je pravděpodobně blížící se všudypřítomnost technologií. V ne příliš vzdálené budoucnosti můžeme počítat s tím, že nějakým počítačovým zařízením bude vybaven každý žák a bude ho používat k výukovým účelům (Learning 2.0).
Právě tato skutečnost je jednou z příčin očekávané paradigmatické změny e-Assessmentu. Již brzy budeme žáky průběžně hodnotit na základě zkoumání jejich soustavné činnosti (pomocí velkých dat). Jednorázové certifikační počítačové testy budou sice existovat nadále, ale zcela jistě nebudou nasazovány plošně. Hodnocení výukových výsledků bude zabudováno přímo do výukových aktivit (Embedded Assessment), jež budou přizpůsobené potřebám každého žáka (Personalised Learning). Nacházíme se v období přechodu od prvních dvou generací e-Assessmentu ke generaci 3 a 4.
Nové paradigma ověřování výukových výsledků
Poslední 3 roky patří ve zprávě Horizon Report analýza výukových výsledků k nejdůležitějším novým technologickým postupům ovlivňujícím budoucnost školství (Vize daty řízeného školství). Je skoro jisté, že aplikace schopné hodnotit na základě toho, co uživatel na svém digitálním zařízení dělá, se nejpozději do 5 let stanou běžným standardem. Již dnes existují příklady, na nichž lze vlastnosti takových systémů demonstrovat. Je to např. známá Khan Academy nebo v oblasti VŠ systém Signals Purdue University.
Hodnocení bude skutečně komplexní (holistický přístup). Bude odrážet vše, co uživatel na svém přístroji dělá. Zatím není zcela jasné, zda se analýza bude zabývat pouze tím, co žák dělá v rámci výukového systému, do něhož se musí přihlásit, nebo zda bude brát v úvahu veškerou činnost na přístroji realizovanou. Získat potřebná data bude jistě možné, problémy se vynořují v oblasti ochrany osobních údajů. Třeba dospějeme až tak daleko, že si budeme pořizovat více přístrojů, každý pracující v jiném systému. Žádný ale nebude vůči potenciálnímu zneužití osobních dat zcela imunní (Komu patří velká data ve školství?).
Výsledky analýzy musí sloužit primárně jako zpětná vazba žákům samotným a učitelům, kteří je budou na cestě za poznáním provázet. Bude tomu tak minimálně tak dlouho, než se dopracujeme k umělé inteligenci generace 4, u níž doporučování další cesty bude mít na starost inteligentní počítačový agent. I tak zbude pořád dost výukových (a výchovných) aktivit, které se bez učasti pedagoga neobejdou.
Závěr
Zdá se, že se nacházíme na rozcestí. Tradiční paradigma počítačového ověřování výukových výsledků již pravděpodobně dosáhlo maxima svých možností a stále obtížněji reaguje na požadavek ověřování kompetencí pro 21. století. Na obzoru se objevují zcela nové možnosti, které přinášejí technologie. Budoucnost patří analýze veškeré činnosti, kterou žák v rámci studia bude prostřednictvím technologií dělat. Princip je podobný hodnocení založenému na portfoliu, jež obsahuje všechny výsledky žákovských prací, jen jde ještě dále a umožňuje zkoumat i postupy k těmto výsledkům vedoucí.
Znamená to, že hodnocení bude vlastně přímo propojeno s výukou. Proto nutně musí být plně v souladu s pedagogickými koncepcemi, podle nichž jsou výukové aktivity realizovány. Bohužel to zatím vypadá spíše tak, že je vývoj určován zrychlujícím se technologickým pokrokem a pedagogika zůstává stranou. Nebudou-li pedagogové ochotni či schopni se do ovlivňování budoucího vývoje zapojit, může se stát, že výsledné hodnocení založené na digitálních datech získaných z výukové činnosti nebude správně nastaveno a mohlo by nevhodně ovlivnit vývoj celé společnosti.
Definování vhodných výukových cílů, standardů i postupů bychom měli přenechat odborníkům. Ti by měli být schopni ovlivňovat i ty činnosti, které již brzy bude mít pod kontrolou umělá inteligence. Nebude-li přirozený vývoj na tomto poli uspokojivý, bez zásahu na úrovni vrcholné školské politiky se neobejdeme.
Literatura a použité zdroje
REDECKER, Christine; JOHANNESSEN, Øystein. Changing Assessment — Towards a New Assessment Paradigm Using ICT [online]. 2013. [cit. 2013-05-01]. Dostupné z: http://onlinelibrary.wiley.com/doi/10.1111/ejed.12018/full.
BUNDERSON, V. C.; INOUYE, D. K.; OLSEN, J. B. The four generations of computerized educational measurement. New York: Macmillan, 1989.
