Odborný článek
Digitalizace ve vzdělávání
Informace o postupu anglického úřadu garantujícího kvalitu státních zkoušek (včetně maturity), který se rozhodl zkoumat možnost nasazení umělé inteligence do hodnocení a vypisuje v té souvislosti soutěž na nejlepší řešení.
O tom, jak umělá inteligence (AI) ovlivní funkci celého školství, mluvíme stále více. Nedávno jsme v komentáři se studií McKinsey konstatovali, že zatím není schopná dokonale hodnotit kvalitu tvořeného textu (či mluveného slova). Všichni ale asi tušíme, že stroje se v této schopnosti budou stále zdokonalovat. Podpořit tento proces se rozhodli v Anglii.
Děje se to v režii státního úřadu, který má na starosti ověřování dosažení požadavků na výkon regulovaných profesí (standardy, zkoušky) a do jeho jurisdikce spadá např. i maturita. Používá zkratku Ofqual (The Office of Qualifications and Examinations Regulation).
Vedoucí výzkumu Ofqual Beth Black ve svém oznámení [1] zdůvodňuje tuto akci potřebou zvyšovat kvalitu vyhodnocování výsledků u státem požadovaných zkoušek (hlavně právě maturita). To má určitou logiku. AI díky strojovému učení dosáhla dříve netušených schopností (Co dokáží stroje schopné hlubokého učení). Beth Black se odvolává na zdravotnický výzkum, který ukázal, že AI dnes dokáže odhalit rakovinu prsu s přesností srovnatelnou s hodnocením dvou renomovaných specialistů. Je tedy lepší než samotný jeden hodnotitel. Asi není moc těžké představit si analogii např. s hodnocením tvořených výstupů (písemky) státní maturity.
V Anglii mají problém s náborem kvalifikovaných hodnotitelů žákovských prací u státních zkoušek a někteří z nich jsou nespokojeni se standardizovaným prováděním hodnocení online. Odbory protestují proti příliš velkému pracovnímu vytížení hodnotitelů. Jakákoli pomoc, kterou by počítačový systém hodnocení s podporou AI mohl poskytnout při kontrole člověkem vyhodnocených prací, je pro Ofqual jistě hodně zajímavá. Z pohledu vzdálené budoucnosti existuje navíc velká šance na značnou úsporu financí, budou-li místo hodnotitelů alespoň částečně nasazeni roboti.
Vývoj systémů automatizovaného hodnocení žákovských výtvorů (včetně mluvených projevů) je spojen se značným množstvím problémů a rizik. Ofqual proto rozjíždí výzkum, jehož cílem je problémy odhalovat a minimalizovat. Jeho nedílnou součástí je soutěž, jejíž účastníci se utkají v tom, kdo vyvine AI schopnou nejlépe vyhodnotit pro všechny stejná, jim předem neznámá (anonymizovaná) data. Jejich základem se má stát minimálně 3 tisíce již vyhodnocených prací. K zapojení jsou vyzývány školy, které organizují (a vyhodnocují) přípravné testy na maturitu.
Ofqual by samozřejmě takovou soutěž nevypisoval, kdyby neexistovaly instituce schopné se do soutěže zapojit. Beth Black zmiňuje nadnárodní Pearson a na Cambridgi fungující ústav Institute for Automated Language Teaching and Assessment, který vyvíjí automatizované vyhodnocování světově známé zkoušky anglického jazyka Cambridge Assessment English. Bude jich ale jistě více.
Docela by mě zajímalo, zda by se u nás našel někdo, kdo by se do podobné soutěže v režii Cermat zapojil. Ta otázka je však bohužel od samého počátku nesmyslná. Cermat se přece výzkumem vůbec nezabývá.
BLACK, Beth. Exploring the potential use of AI in marking [online]. 2020. [cit. 2020-02-15]. Dostupné z: https://ofqual.blog.gov.uk/2020/01/09/exploring-the-potential-use-of-ai-in-marking/.
WHITTAKER, Freddie. Could exams be marked by AI? Ofqual launches ‘exciting’ competition [online]. 2020. [cit. 2020-02-15]. Dostupné z: https://schoolsweek.co.uk/could-exams-be-marked-by-ai-ofqual-launches-exciting-competition/.
Tento materiál je publikován pod licencí Creative Commons – Uveďte původ – Neužívejte komerčně – Nezpracovávejte 3.0 ČR.