3. díl seriálu zabývajícího se analýzou výukových výsledků, jež je věnován tomu, co si můžeme od počítačových systémů automatického hodnocení žáků slibovat a za jakých podmínek má smysl je zavádět.
Přestože z popisu současného způsobu zavádění systémů daty řízeného školství v USA v minulém díle mohl vzniknout dojem, že jejich nasazení může mít na výuku negativní vliv, nemusí tomu tak nutně být. O tom, že se v budoucnosti takové systémy prosadí, není pochyb. Podstatné je, jakým způsobem budou implementovány. Rizika jsou zřejmá.
Provádí-li se na státní úrovni plošné testování žáků, jehož cílem je hodnocení učitelů a celých škol (s hrozbou propuštění či zavření školy), jsou nutně výsledky takového testování určující pro veškerou výukovou činnost škol. To znamená, že testování se stává hlavním nástrojem řízení celého školství. Pokud existují legitimní výukové cíle, které nejsou testy ověřovány, je celkem jisté, že nebudou naplněny. Cílem technologiemi podporovaných systémů řízení výuky se pak stává pouze příprava na testy.
Jedním z aktuálních efektů zaváděné reformy ve Spojených státech je propouštění učitelů. Je sice částečně vyvoláno též krizí, ale navenek je prezentováno jako nutnost zlepšit výukové výsledky odstraněním neschopných učitelů (např. nejnověji viz
Archivní diskuze převzatá z rvp.cz. Přidávání nových komentářů není k dispozici.
Ivan Ryant12. 9. 2011
víc otázek než odpovědí, víc námitek a pochybností než použitelných řešení...
Mám zkušenost např. s didaktickou hrou "Pahorek", kde mají studenti zkonstruovat algoritmus "myš v bludišti". Prostředí hry jim poskytuje (1) schema bludiště, které postupně odkrývají, (2) realistický pohled (videoklip ze skutečného prostředí, kde se má odehrávat děj hry), (3) sadu příkazů, které mohou spouštět, (4) vývojové prostředí, kde vytvářejí svoje vlastní příkazy (zejména podle zadání, ale mohou i experimentovat) a (5) zadání + dokumentace s výkladem látky. To by se dalo zobecnit na výuku jakýchkoli znalostí - (1) schema znalostní struktury, (2) názorný příklad ze života, (3) sada nástrojů na průzkum znalostní struktury a na interakci s praktickým příkladem, (4) prostředí na procvičování a řešení úloh, (5) návod + výklad (to by se ovšem dalo navázat na znalostní strukturu, která umožňuje navigaci po tématech). Znalostní struktura se dá znázornit např. sémantickou sítí, myšlenkovou mapou nebo ontologickými diagramy (viz http://www.omg.org/ontology/, http://www.omg.org/spec/ODM/1.0/, http://en.wikipedia.org/wiki/Ontology_Definition_MetaModel), případně konceptuálními modely. Konceptuální modely by ovšem byly vhodné především k procvičování a řešení úloh (např. slohová práce by měla začít analýzou tématu, konceptuálním modelem a vytvořením osnovy, teprve podle osnovy se začne skládat text, který může být dost složitě strukturovaný, např. hypertextově). So far, so good (slyšeli lidi v každém patře toho chlápka, co padal z mrakodrapu). Dobře dopadnout to ovšem nemůže: jak mám zajistit, že studenti nebudou podvádět? Jak jim zabráním, aby nepoužívali jiné komunikační kanály než ty, které vyhodnocuji? (kromě mého výukového programu třeba ještě icq nebo mejl, mobil, druhý počítač, domluvu huba-ucho?) Když jim zabráním v opisování, jak se mají naučit vzájemné spolupráci?
Na FIT studenti řeší týmový projekt a část bodů si přerozdělují sami v týmu - funguje to parádně. To by ale obcházelo výukový systém. A co když jeden z týmu bude ostatní členy terorizovat a sám si přivlastní plný počet bodů, přestože k řešení úlohy nepřispěl? Ve druhém ročníku FIT by to bylo velmi neobvyklé, ale např. v praktické škole bych se tomu nedivil.
A pak je tu otázka, jestli se dá vůbec něčím nahradit bezprostřední rozhovor učitele se žákem. Podle mých zkušeností nejlépe (nejsprávněji a nejpřesněji) hodnotím studenty podle toho, jak dobře si s kým "pokecám" - ukáže se, jak student rozumí tématu, zda je schopen reagovat, zda dokáže samostatně přemýšlet, zda mi oponuje, když řeknu kravinu. Tohle bych naprogramovat nedokázal...
Co mně dalo gymnázium? Především úžasný pocit svobody, spousta možností k seberealizaci (a to bylo v době normalizace). Parta kamarádů, se kterými se dodnes scházíme. Do školy jsme chodili rádi, abychom mohli být spolu. Máme ve třídě čtyři manželské dvojice (8 lidí ze 36), žádná se za těch 33 let nerozvedla. Kupodivu jsme měli rádi i většinu profesorů a myslím, že i oni rádi chodili vyučovat do naší třídy. Občas jsem se choval jak hovado, ale nejpřísnější trest, kterého se mi dostalo, byl smutný povzdech třídního profesora: "Ivane, musíš mi to dělat?" Z jednotlivých předmětů jsem dnes už skoro všechno zapomněl, ale pochopil jsem, o čem to je a jak se to dělá - paradigmata. Matyku jsem tenkrát dost uměl, ale většinu z ní jsem už zapomněl. Jenže když se chci dneska něco z matyky naučit, nemám s tím problém, i když jsme to na gymnáziu třeba ani nebrali (např. formální teorii množin). Fyziku jsem neuměl ani tenkrát, přesto jsem prošel maturitou na dvojku. Dneska si s chutí přečtu Velký třesk od Singha nebo některé kapitoly z Feynmana - nedělá mi to problém. Vzdělání je to, co člověku zůstane, když zapomene, co se učil ve škole. Jak chcete hodnotit nebo dokonce měřit vzdělání?
Bořivoj Brdička12. 9. 2011
"nejpřesněji) hodnotím studenty podle toho, jak dobře si s kým "pokecám"
1. Přichází doba, kdy toto pokecání bude příliš drahé na to, aby se ho denně dostávalo každému žákovi. I když jsem, doufám, nevyvolal dojem, že se bez něj dá obejít!
2. Bohužel se tady nejedná jen o to, jak hodnotíte vy, ale i o to, jak budete vy hodnocen.
Bořivoj Brdička2. 4. 2012
Byla založena Společnost pro výzkum analýzy výukových výsledků The Society for Learning Analytics Research (SoLAR) - http://www.solaresearch.org/
3.Skutečné možnosti využití daty řízeného školství
206 D.C. teachers fired for poor performance
). Jak jsme si již ukázali, zavádění vzdělávacích technologií do škol má na vzniklou situaci určitý vliv. I když třeba právě ve Washingtonu používaný evaluační program učitelů
je založen (z 50%) na výsledcích plošného testování, jež je dodnes prováděno na papíře. Čtení a matematika jsou takto ověřovány ve 3. až 8. ročníku u všech žáků každý rok. Pokud některý učitel 2 roky po sobě nedokáže zajistit, aby se průměr jeho žáků během jeho působení zlepšil, dostane výpověď.
Chceme-li si udělat představu o tom, jakou roli může hrát daty řízené vzdělávání v procesu reformy škol, musíme vždy vycházet z výukových cílů, které jsou pro potřeby snadnějšího definování výukových aktivit a kontroly většinou rozpracovány do podoby standardů. Na první pohled je zřejmé, že splnění všech cílů nelze tradičním testem ověřit. Bez problémů lze testovat pouze 1. stupeň Bloomovy taxonomie vzdělávacích cílů – faktické znalosti (Bloomova taxonomie v digitálním světě, Bloomova taxonomie pro kreativní prostředí). Kvalitní test možná dokáže ověřit i více, ale v žádném případě ne vše. Čím vyšší úroveň myšlení má postihnout, tím komplikovanější je jeho příprava. Takové v dnešní době vysoce potřebné kompetence, jako je schopnost vyjadřovat se nebo spolupracovat, nelze tradičními testy (byť počítačovými) ověřovat vůbec.
Velká data získaná používáním systémů řízení výuky, jež mohou žáky vést k poznání značné části na fakta orientovaného učebního obsahu, poskytují o žácích mnohem komplexnější obraz. Ani ten sice není úplný, ale zahrnuje i takové informace, jako je úroveň vzájemné spolupráce nebo čas strávený plněním úkolů. Jedna výhoda oproti tradičnímu jednorázovému plošnému testování je mimořádně významná. Lze pomocí nich sledovat průběžný vývoj, takže je možné snadněji odhalit třeba i to, jaký pokrok dělají žáci pod vedením určitého učitele. Právě tento ukazatel (přidaná hodnota) může za určitých podmínek být jedním ze smysluplných indikátorů kvality učitelů. Na rozdíl od podobných evaluačních programů, jako je IMPACT, může být analyzováno mnohem více dat než pouhé jednorázové vyplnění testu jednou za rok, které je nutně zatíženo velkou chybou. Dříve, než se rozhodneme nějaký podobný systém zavádět, měli bychom důkladně zvážit, jaké jsou jeho možnosti i nedostatky.
Sbírat data popisující výsledky žáků jen proto, aby na jejich základě bylo možné hodnotit školy či učitele, je nejen drahé, ale navíc vysloveně kontraproduktivní. Vede ke snahám uměle ovlivňovat všechny sledované parametry podobným způsobem, jako americké hybridní školy připravují žáky pouze na složení plošných testů a zbylé výukové cíle téměř ignorují. Úplně jinak by ale zavedení takového systému dopadlo, kdyby primárním cílovou skupinou, jíž jsou výsledky určeny, byli samotní žáci a učitelé (jako v případě Khan Academy).
Dragan Gašević z Athabasca University shrnuje hlavní přínos systému umožňujícího komplexní analýzu činnosti žáků při výuce s podporou technologií takto (viz Citace):
Dovoluje získat přehled o tom, jak žáci pracují s výukovým obsahem.
Pomáhá identifikovat, které výukové materiály by se měly zdokonalit nebo nahradit.
Umožňuje zjistit, jak mezi sebou žáci interagují.
Poskytuje vodítko ke zlepšení komunikace s žáky.
Pomáhá identifikovat témata, s nimiž mají žáci problémy.
Pomáhá identifikovat žáky, kteří potřebují pomoc.
Jak výstižně konstatuje Martin Weller z britské Open University (viz Citace), je „velký rozdíl mezi analýzou dat pro studenta a o studentovi“. Naším ideálním cílem by mělo být, aby studující dostal relevantní informace pro své vlastní rozhodování a podporu učitele. To platí i pro nižší stupně škol s tím rozdílem, že role učitele je u každého věku mírně odlišná.
Přesně v tom okamžiku, kdy začneme shromažďovat a ukládat určitá osobní data žáků, je třeba řešit též s tím související etické problémy. I když v reálném životě se to běžně děje (třeba na Facebooku), je obtížně představitelné, že by data obsahující veškeré informace o výukové činnosti žáků měl k dispozici soukromý subjekt, jehož hlavním záměrem je generovat co nejvyšší zisk (třeba jako Wireless Generation v New Yorku). Eticky jedině přijatelný postup je ten, při němž zůstává i po záznamu osobních dat jejich majitelem ten, kdo je vygeneroval. Pokud pak tato data nějaká organizace zpracovává, musí to být v souladu se zájmy jejich vlastníků. Riziko toho, že mohou být zneužita, třeba i nadřízenými orgány, je velké a je třeba ho předem eliminovat. Žáci i učitelé by měli být se způsobem zpracování dat seznámeni.
Pokusím se na závěr shrnout, za jakých podmínek má smysl o zavedení systémů daty řízeného školství uvažovat:
U každého kurzu (modulu, lekce, předmětu), jehož výuka je s pomocí systému realizována, musí být předem přesně definováno, kterou část výukových cílů použitá analýza dat zahrnuje, i to, jak je prováděno hodnocení zbylých oblastí. Studijní plán musí dávat prostor k naplnění i těch cílů, které práce v systému řízené výuky nepostihuje.
Primárním příjemcem výsledků musí být žák (student), pak učitel a teprve nakonec při zajištění etických pravidel též nadřízené orgány.
Učitelé, kteří s takovým systémem pracují, musí být schopni jeho výhod efektivním způsobem využívat. Učit s podporou technologií znamená učit jinak než bez ní.
Je třeba přijmout rizika spojená s tím, že výkon role učitele začne být po přechodu na systém poskytující nepřetržitou zpětnou vazbu o činnosti žáků na tomto systému závislý.
Využití získaných dat byť i jen k částečnému hodnocení schopností učitele je mimořádně problematická záležitost. Nelze pracovat s absolutními výsledky, je třeba hledat přidanou hodnotu. Přitom je nutné eliminovat všechny vnější vlivy, které jsou v mnoha případech během zpracovávání dat neznámé.
Existuje mnoho vysloveně mimořádných učitelů, jejichž výukové metody mají vynikající výsledy, které takovýto automatizovaný systém nedokáže ocenit (např. Testem neověřitelná světově uznávaná na první pohled kvalitní výuka). Jeho nasazení může v takových výjimečných případech být zcela nevhodné.
Je třeba řešit poměrně složitou problematiku etiky zpracování osobních dat žáků.
Je třeba přijmout riziko toho, že se nám výsledky analýzy nemusí vždy líbit.
