Porovnávání rozdílu mezi tradičním a online testováním v USA

Výzkum vedený organizací Educational Testing Service (Služba na ověřování výukových výsledků) z Princetonu (New Jersey) zjistil, že výsledky testů realizovaných prostřednictvím počítačů jsou ovlivněny schopností studentů s technologiemi pracovat.

V rámci výzkumu prováděné studie sledovaly výsledky studentů v povinných státních testech zjišťujících vývoj znalostí v matematice a v psaní. Tyto testy, které byly tradičně realizovány s papírem a tužkou, jsou v současné době prováděny experimentálně též online na počítačích. Výsledky výzkumu byly aktuálně zveřejněny prostřednictvím Národního centra vzdělávací statistiky (National Center for Education Statistics), které ve Spojených státech kontroluje ověřování vzdělávacích výsledků na federální úrovni.

V roce 2001 vykonal reprezentativní vzorek žáků 4. a 8. tříd test z matematiky na počítačích. Ten samý test byl přitom zadán též náhodně vybranému kontrolnímu vzorku žáků v papírové podobě. Zjistilo se, že výsledky u počítačové formy byly o 4 body horší než u papírové. V průměru o 5% žáků více odpovídalo tradiční metodou s papírem a tužkou na jednotlivé otázky správně.

Aby bylo možno dát výsledky do vztahu ke schopnosti žáků pracovat s počítači, bylo testování online doprovázeno též zkoumáním jejich technologických dovedností. Ukázalo se, že v obou věkových kategoriích je možno již podle rychlosti a přesnosti vkládání dat odhadnout výsledek testu.

Studie zabývající se psaním porovnává výsledky reprezentativního vzorku žáků 8. tříd v online testu, který byl realizován v roce 2002, s výsledky vzorku žáků v témže testu, který byl celostátně prováděn tradičním způsobem. Porovnání ukázalo, že průměrné výsledky testů z psaní na počítači se nijak významně neliší od výsledků při použití tradičních metod. Ale, podobně jako u studie matematické, existuje i zde jasná souvislost mezi počítačovou zběhlostí a výsledky. Žáci lepší v ovládání počítačů dosáhli lepších výsledků u online formy testu než u tradiční.

Arnold A. Goldstein, vedoucí odboru šíření výsledků divize NCES zabývající se statistikou hodnocení, se domnívá, že výzkum naznačuje možné problémy s plošným zaváděním povinných státních testů v online formě. Podle něj "bude třeba provést ještě daleko rozsáhlejší zkoumání rozdílů mezi tradičním a online testováním, aby bylo v této věci jasněji". Podle Goldsteina by mělo Centrum NCES – přímo řízené federálním ministerstvem školství – v této výzkumné činnosti pokračovat.

Právě zveřejněný výzkum se též zabýval použitelností a cenou automatického hodnocení dosažených výsledků u testování online. Zatímco u jednoduchých odpovědí v matematice bylo hodnocení počítačové prakticky stejné jako při hodnocení člověkem, nedá se totéž říci o odpovědích, které vyžadovaly reakci v podobě rozsáhlejšího textu. V takových případech se často stávalo, že počítač považoval správné odpovědi, třeba jen s překlepem, za nesprávné. Podle autorů studie by bylo vhodné podobným problémům předcházet buď zavedením očekávaných variant odpovědí do automatického vyhodnocování, nebo prováděním kontroly pravopisu před odesíláním odpovědi k hodnocení.

zdroj: Lynn Olson - Impact of Paper-and-Pencil, Online Testing Is Compared, Edweek.org, August 31, 2005