Druhý ze dvou článků pojednávajících o současném vývoji ověřování kompetencí pro 21. století, konkrétně o kolaborativním řešení problémů online, kterým se zabýval MOOC kurz ATC21S. Obsahuje teoretický popis funkce hodnotícího systému, 1. stupeň definice kompetencí a náznak funkce umělé inteligence schopné hodnotit samostatnou spolupráci žáků. Je určen především studentům předmětů s orientací na vzdělávací technologie UK Praha, PedF.
Doufám, že jste při čtení popisu funkce aplikací ověřujících schopnost žáků řešit úlohy za přímé online spolupráce s někým jiným dospěli podobně jako já k přesvědčení, že se jedná o převratný posun v naší připravenosti tyto nové tzv. kompetence pro 21. století měřit. Některé z nich trochu připomínají online hry, ale zásadně se liší svým cílem, kterým není hraní. Aktuálnost této problematiky značně zvyšuje zařazení kolaborativního řešení problémů online do blížícího se mezinárodního výzkumu kompetencí 15 letých PISA 2015. U nás se bude používat v názvu místo „kolaborativní“ „týmové řešení problémů“. Já se budu z důvodů kompatibility s konektivistickými pojmy držet původní anglické verze.
Zmínil jsem již, že jsem se pokoušel do podstaty metodiky hodnocení kompetencí realizovaných prostřednictvím podobných aplikací, které jsem popsal minule, proniknout díky MOOC kurzu Assessment and Teaching of 21st Century Skills
Archivní diskuze převzatá z rvp.cz. Přidávání nových komentářů není k dispozici.
Ondřej Neumajer2. 9. 2014
Dva postřehy:
1) Je to Spomocník, kdo přináší tyto nové postřehy z oboru testologie (student assesment) ve snaze informovat srozumitelně učitele první? Pokud ano, tak je někde něco špatně. To by mělo být úkolem výzkumných pracovišť, která se na tuto problematiku primárně zaměřují. Že jde v případě automatického ověřování o záležitost pro školy zcela zásadní netřeba dodávat.
2) Myslím, že snaha o automatické hodnocení kolaborativních aktivit on-line je stejná, jako snaha policistů být na stopě zlodějům. Ti budou stále kousek před nimi. Podaří-li se takovýto systém někdy aplikovat, je pravděpodobné, že aktuální stav kolaborace on-line bude díky rychlemů vývoji digitálních technologií zase o kousek dál. To samozřejmě neznamená, že se tím nemáme zabývat.
Bořivoj Brdička2. 9. 2014
Řekl bych, že není ostudou vědeckých pracovišť, že v této stále rychleji se vyvíjející době nestíhají držet krok v ověřování nových poznatků. Tady je principiální problém, protože nastavený systém hodnocení výzkumných výsledků jim nedává šanci. Ostudou je, že má "nevědecká" osvětová práce není systémem vnímána jako prospěšná. Rozhodl jsem se s tím po 20 letech marné snahy již nebojovat.
. Toto výzkumné pracoviště v současné době připravuje komplexní systém ověřování žákovských kompetencí pro 21. století, který má podle mého názoru potenciál ovlivnit výuku všude na světě. Jedinou mně známou konkurencí je mu stanfordská
Musím přiznat, že se mi v rámci 5 týdenního kurzu do všech detailů proniknout zcela nepodařilo. Chybí mi příslušné odborné vědomosti ze statistiky a umělé inteligence. Navíc si lektoři některé detailní informace svého know-how, které je na vrcholné světové úrovni, celkem logicky díky konkurenci nechávají pro sebe. Shrnu tedy alespoň to, co se mi zjistit podařilo.
Teoretické základy
Teorii, na níž je systém hodnocení vědeckého centra Univerzity Melbourne budován, byla věnována první část kurzu. Je založena na tzv. vývojovém modelu poznávání [2] a má tři hlavní pilíře – teorii ruského sociálního konstruktivisty Lva Vygotského, amerického psychologa Roberta Glasera a dánského matematika George Rasche.
Vygotského zóna nejbližšího vývoje by pro nás neměla být ničím novým. Jedná se o oblast, která zahrnuje to, co je žák schopen v kterémkoli stádiu svého vývoje nového poznat (pochopit) ve vhodných podmínkách s přispěním okolí. Většinou se tradičně uvažoval hlavně přínos učitele, dnes se stále více projevují též vlivy jiné. To ostatně sám Vygotsky dobře věděl, když tvrdil, že veškeré poznání má sociální podstatu. Naším cílem by tedy mělo být výuku i hodnocení výsledků neustále nastavovat tak, abychom se pohybovali právě ve správné zóně možného pokroku.
Glaserovo kriteriální (standardizované) hodnocení výukových výsledků (criterion-referenced interpretation) je postup, který při hodnocení vychází z popisu toho, jak by měl vývoj žáka směrem ke splnění výukových cílů v určité oblasti vypadat. Popsány jsou jednotlivé fáze jeho chování při řešení určitého typu problému (včetně potřebných znalostí). Cílem je dospět až ke stavu odpovídajícímu příslušným standardům, pokud existují. Při hodnocení pak dochází k zařazení testovaného žáka do jemu odpovídající vývojové fáze (úrovně). Kriteriální hodnocení neprovádí srovnávání mezi žáky (jako hodnocení normativní). Teoreticky může být každý nejlepší či nejhorší.
Raschův model je metoda statistického vyhodnocení výsledku testu používaná v psychodiagnostice. Jeho zvláštností je, že propojuje velice přehledně úspěšnost testových položek (na obrázku čísla úloh uprostřed) s výsledky žáků (x vlevo). Správně koncipovaný test by měl disponovat úlohami pokrývajícími celý rozsah schopností žáků. Výsledky by pak měly (jako na obrázku) mít víceméně normální rozložení. Pokud je toto splněno, znamená to, že se příslušný nástroj ověřující výukové výsledky nachází ve správné (Vygotkého) zóně nejbližšího vývoje testovaných a můžeme je podle výsledků zařadit do odpovídající (Glaserovy) úrovně (vpravo).
Ukázka aplikace teoretických základů v modelu ověřování kompetencí ATC21S
Nesmíte si ovšem představovat, že se takové hodnocení dělá jen kvůli zpracování jednoho testu nebo jediné úlohy podobné těm, které byly popsány minule. Celé to dostává skutečný smysl teprve v okamžiku, kdy začneme budovat systém dlouhodobého sledování výsledků založený na větším počtu úloh, který má poskytovat zpětnou vazbu primárně samotnému žákovi a učiteli (viz Skutečné možnosti využití daty řízeného školství).
Má-li takováto zpětná vazba být učiteli k užitku, znamená to bohužel, že se musí naučit s takto získanými daty pracovat. Musí se odnaučit interpretovat výsledky testů jako statické hodnoty sloužící ke známkování a porovnávání žáků mezi sebou. Prvořadým úkolem takových dat je pomoci učiteli plánovat další výuku neboli mít pod kontrolou zónu nejbližšího vývoje jednotlivých žáků.
Celý postup hodnocení je pochopitelně dosti složitý. Zájemci se mohou více dozvědět v Koncepčním rámci modulu Kolaborativního řešení problémů PISA 2015 [1]. I projekt ATC21S vyprodukoval hned několik dokumentů, které se tímto problémem zabývají. Následující schéma ukazuje základní strukturu zkoumaných kompetencí. Jejich popis byl obsahem druhé části kurzu.
Struktura pro definování kompetence kolaborativního řešení problémů projektu ATC21S
Všechny 3 stupně popisující tuto strukturu byly v rámci projektu ATC21S detailně definovány. Podívejme se alespoň na ten první, který v sobě zahrnuje obě hlavní komponenty – sociální dovednosti i kognitivní schopnosti [3].
Kolaborativní řešení problémů
Úroveň
Popis
Charakteristika
6
Strategický přístup k problému s maximálním využitím spolupráce
Žák řeší problém kolaborativně a chápe společnou zodpovědnost celého týmu. Práci řídí systematicky a efektivně s využitím relevantních zdrojů. Vhodně přizpůsobuje komunikaci, využívá zpětnou vazbu od partnera a snaží se odstraňovat konflikty.
5
Efektivní funkční partnerství
Žákovy aktivity jsou dobře vymyšleny, naplánovány a jsou účinné. Žák rozumí smyslu toho, co dělá, a využívá své dříve získané poznatky k plánování svých akcí a cílů. Je schopen na základě nově zjištěných skutečností modifikovat svůj plán. Iniciuje spolupráci s partnerem a na jeho příspěvky reaguje. Má určité rezervy ve vnímání rozdílného postavení partnera.
4
Kooperativní plánování
Žák se snaží úkol splnit a zdá se, že má o spolupráci zájem. Sdílí zdroje a chápe, co je smyslem zadání. Systematicky plánuje postup a koordinuje ho s partnerem. Jednoduché úkoly dokáže vyřešit.
3
Zájem o partnera a cílené úsilí
Žák si uvědomuje roli partnera a důležitost společného postupu. Pozná, že nemá všechny potřebné informace a snaží se je od partnera získat. Sděluje mu, co dělá, sdílí s ním své zdroje a pomáhá mu pochopit podstatu úkolu.
2
Hledání řešení
Žák se aktivně zapojuje do činností, které zvládá, ale hlavně samostatně. S partnerem komunikuje jen ve zcela nezbytných případech. K ověření teoretických předpokladů řešení používá pouze snadno dostupné (vlastní) informace. Jeho závěry jsou příliš nekonkrétní.
1
Samostatné neefektivní zkoumání
Žák zkoumá problém nezávisle a komunikuje s partnerem pouze na počátku. Jeho přístup je nesystematický. Zajímá se pouze o izolované jednotlivé informace. Výsledkem je nesprávný postup řešení.
Jakmile je k dispozici standardizovaný popis toho, jak mají aktivity žáka v rámci řešení úkolu vypadat, je možné se dát do hodnocení. V rámci kurzu ATC21S jsme byli vedeni k tomu, abychom se pokusili s využitím příslušných tabulek (materiál [3] definuje všechny 3 stupně) vyhodnotit případy nasazení nástrojů popsaných v minulém díle, které jsme dostali k dispozici ve formě videí. Zkušený hodnotitel by měl být takto přímým pozorováním schopen určit, do které z 6 úrovní každého účastníka zařadit.
Automatické hodnocení
Zde popisované aplikace testující schopnost kolaborativního řešení problémů generují úplný záznam činnosti žáka. Ten obsahuje nejen to, co napsal do chatu, ale i to, co skutečně dělal. Ukázka na následujícím obrázku je z letošní prezentace Patricka Griffina Coding and interpreting log stream data.
Ukázka záznamu činnosti žáka systému ATC21S
Je celkem jasné, že podobný záznam není určen učiteli, ale zpracovává ho nějaký další softwarový nástroj automaticky. Povšimněte si, že pro účely současného výzkumu PISA autoři zatím raději volili na zpracování mnohem snadnější variantu, při níž si žák vybírá při komunikaci s počítačovým agentem jen jedno z několika možných sdělení. Tato verze umožňuje vlastně celkem snadno přiřadit každé volbě (položce výpisu) určitou hodnotu, výsledek zkoumat již během práce a modifikovat podle něj chování celé aplikace. Pokud se tak skutečně děje, jedná se o aplikaci adaptivní – viz Současný stav vývoje systémů adaptivního řízení výuky (více o PISA v [1]).
Mnohem náročnější cestou jdou výzkumníci University of Melbourne, jejichž systém má být vybaven jistým stupněm skutečné umělé inteligence, to znamená, že bude automaticky hodnotit i volně tvořené příspěvky žáků v chatu. Myslím, že je docela pochopitelné, že se jim o této funkci zatím nechce moc mluvit. Pokud by se podařilo něco takového úspěšně vyvinout, jednalo by se o převratnou záležitost, která by naznačovala, kam se bude vývoj výukových aplikací ubírat, možná až nad rámec 21. století (Je současná umělá inteligence schopna hodnotit tvořený text?).
V každém případě zpracovává připravovaný systém hodnocení kompetencí výstup sdělující, do které úrovně testovaný žák patří. I ten je určitým způsobem strukturován. Na následující ukázce je hlavní závěr z protokolu generovaného experimentálním systémem ATC21S, který měří zvlášť sociální a kognitivní složku kompetencí [4].
Ukázka výstupu systému hodnocení ATC21S
Na rozdíl od hodnocení PISA, které je jednorázové a učitel dostává jen celkové výsledky celé třídy, bude systém ATC21S určen k dlouhodobému sledování žáků. Učitel bude mít k dispozici přehledně výsledky všech žáků ve třídě včetně historie. Sledovat pak bude moci dlouhodobé vývojové tendence a podle nich modifikovat výukové postupy. Zdá se, že se zde připravuje velmi zajímavá aplikace, která bude schopna pracovat s velkými daty (Co je datafikace?) a bude splňovat cíle vysoce aktuální analýzy výukových výsledků (Vize daty řízeného školství). Pokud se to podaří, bude učitelům pomáhat učit tak, aby se všichni žáci pohybovali ve své zóně nejbližšího vývoje, a dosahovali tak maxima svých individuálních možností (viz Nový pohled na schopnost technologií ověřovat výukové výsledky).
Kurz ATC21S bohužel problematiku automatického hodnocení nastínil jen velmi povrchně. V praktické rovině zůstal na úrovni ručního hodnocení případových aktivit podle daných kritérií. Vrcholem pak byla tvorba návrhů vlastních aktivit ověřujících kompetence hodnocených nejméně dvěma kolegy-účastníky kurzu. Umím si představit, že při počtu přesahujícím 17 tisíc účastníků, mohou být tyto nápady docela zajímavým zdrojem inspirace pro realizátory kurzu.
Závěr
Jak jsme si ukázali hned na začátku 1. dílu, není schopnost kolaborativně řešit problémy jedinou kompetencí pro 21. století. Navíc samozřejmě nebudou vyvíjené aplikace tuto kompetenci ověřující nikdy schopny pokrýt celou její šíři. Přesto se, pokud budeme mít k dispozici byť i jen takto omezený nástroj, výrazně posuneme v možnostech poskytovat školám zpětnou vazbu, do jaké míry se jim daří modifikovat výuku aktuálně potřebným směrem.
Zde popsané úlohy velmi pěkně ukazují, jak je kolaborace důležitá. Taková spolupráce (nejen online), kde jsou všichni členové týmu jeden na druhém závislí, se vyskytuje v praxi celkem běžně a je nepochybně velmi správné ji trénovat. Na závěr je však třeba ještě připomenout, že kolaborace (řízená spolupráce ve stavu závislosti na partnerovi) ve skutečnosti není úplně vrcholnou kompetencí potřebnou pro plné uplatnění ve světě online. Konektivismus definuje ještě jiný typ spolupráce, a sice kooperaci. Je to dobrovolné osobní nasazení vedoucí k online spolupráci, při níž nejsou členové spolupracující skupiny jeden na druhém závislí. Typicky to může být třeba účast v MOOC kurzech, kde účastníci na sebe navzájem reagují, pomáhají si a své poznatky předávají dalším zájemcům, ale nemusí (blíže viz Kolaborace nebo kooperace?).
Schopnost žáků řešit problémy se s pomocí vhodně volených výukových postupů musí nutně zlepšovat a dostat se na té nejvyšší úrovni nad rámec povinných školních úloh. Člověk 21. století by měl být schopen samostatně řešit stále obtížnější problémy a využívat k tomu stále dokonaleji počítačové sítě (disponovat informační a síťovou gramotností). Podle Patricka Griffina je třeba do budoucna nastavit cestu, po níž se vývoj žáka bude ubírat tak, aby se mu podařilo úspěšně projít následujícími 4 fázemi – konzument, tvůrce, budovatel sociálního kapitálu, budovatel intelektuálního kapitálu (na obrázku níže). Věřím, že systém ověřování kompetencí pro 21. století, který vědecký tým University of Melbourne připravuje, k naplnění tohoto cíle přispěje.
Nastavení cílů vzdělávání v prostředí počítačových sítí [5]
Poznámka ke kurzu: MOOC ATC21S pro mě osobně byl velkým přínosem co do obsahu poskytnutého lektory. Musím ale konstatovat, že se na něm projevila též největší slabina současných volně dostupných kurzů provozovaných Courserou. Velké množství účastníků způsobuje rozmělnění diskuzí, v nichž se orientovat a najít v nich přínosná sdělení je časově neúnosně zatěžující. Ještě větším problémem se ukázalo být partnerské hodnocení výstupů. Mnoho účastníků si stěžovalo, že jejich nesnadno vymyšlený a sepsaný návrh aktivity hodnotící kolaborativní kompetence pro 21. století byl oběma hodnotiteli posouzen nesprávně a často jen povrchně. Zvláště nepříjemné to jistě bylo u těch účastníků, kteří se rozhodli zvolit placenou verzi průchodu kurzem zakončenou certifikátem. Proto zatím nemohu placenou účast nikomu doporučit. Pro mé studenty, kteří se rozhodnou účast v nějakém MOOC uplatnit jako aktivitu v libovolném předmětu, který učím, platí stále stejné pravidlo. K uznání není třeba získat certifikát, ale je třeba vykázat návodnost, tj. informovat o obsahu a získaných poznatcích komunitu ve svém osobním vzdělávacím prostředí (nejlépe prostřednictvím Spomocníka).
GRIFFIN, Patrick. Using a developmental model to assess student learning [online]. 2013. [cit. 2014-08-16]. Dostupné z: http://atc21s.org/wp-content/uploads/2014/06/PD_Module-1_for-web-2014.pdf.
