Software, který tě může dostat

Vždy, když se jakýkoli reportér zeptá Perera Foltze na počítačový program Intelligent Essay Assessor (inteligentní vyhodnocovač tvořených textů), který pomáhal realizovat, tvrdí, že tento program je schopen ohodnotit jakoukoli slohovou práci na libovolné téma “stejně dobře jako člověk”. To, že je počítač schopen hodnotit sloh, vypadá dost neuvěřitelně – skoro jako by počítač byl schopen číst, což byla dosud vždy jen výsada člověka. Jenže počítače jsou nyní schopny nejen “číst”, ale dokonce i posuzovat kvalitu textu, který jim předložíte.

Již více než deset let se Foltz se svými kolegy z výzkumné laboratoře americké firmy Knowledge Analysis Technologies zabývá teorií poznávání, lingvistikou, psychologií a počítačovou technikou. Vyvinuli zajímavou metodu převádějící jazyk do formy čísel, jež je zpracovatelná matematickými metodami.

Princip jejich systému spočívá ve strojové analýze obrovského množství (gigabytů) textů založené na porovnávání vazeb mezi slovy a jejich použití v různých souvislostech. Na základě této analýzy může tento program dospět až k číselnému vyjádření vhodnosti spojení určitých slov u konkrétního zkoumaného textu. A tyto hodnoty se pak stávají základem pro posouzení kvality textu celého. Když například někdo použije větu „doktor operoval pacienta“ a někdo jiný napíše „chirurg otevřel muže skalpelem“, pak je tento systém schopen rozeznat, že se jedná o velmi podobné věty. Ví, že mezi doktorem a chirurgem existuje spojitost, stejně jako mezi doktorem a skalpelem. Přitom však je schopen rozlišit i to, že podobnost mezi doktorem a chirurgem je vyšší než mezi doktorem a skalpelem.

Tímto způsobem tento program zpracovává každé téma. Je teoreticky schopen „rozumět“ libovolné problematice. Chcete-li hodnotit např. slohovou práci zabývající se problematikou hudby, stačí přenést do počítače pár hudebních encyklopedií a stane se z něj v mžiku znalec tohoto oboru. Aby byl nakonec systém schopen přiřadit každé práci i konkrétní hodnocení v podobě známky, potřebuje znát vzorové hodnocení asi tak 50 až 100 podobných prací, které provedl skutečný učitel. Hodnocení pak systém dělá na základě porovnání.

Foltz má praktickou zkušenost, že jsou studenti s počítačovým hodnocením spokojeni. Používá ho k hodnocení 200 prací z psychologie každý týden a za období 4 let ještě nikdo nevyužil nabízené možnosti dodatečného osobního ohodnocení učitelem.

Jiným již v praxi používaným systémem hodnocení tvořeného textu je e-rater (http://www.ets.org/research/erater.html), který je kromě jiného používán též na vyhodnocování textové části v USA běžného standardizovaného vstupního testu na ekonomické vysoké školy GMAT (Graduate Management Admissions Test - http://www.mba.com/). Tento systém je založen na poněkud odlišném algoritmu.

Marissa Farnum, ředitelka vývoje tohoto produktu v ETS Technologies, o něm říká, že „vše. co umí, se naučí od profesionálních hodnotitelů cvičených na zohledňování mnoha různých hledisek při zpracovávání GMAT. Počítač se vlastně učí sledováním toho, jak to dělají lidé. Není to černá skříňka, není to žádná magie!“

E-rater dosahuje velmi dobrých výsledků. Každý GMAT test je vyhodnocován jak zkušeným pracovníkem tak počítačem. Shoda v hodnocení je 98%. V případě neshody je do hodnocení zapojen nezávislý univerzitní hodnotitel, který má právo rozhodnout.

Na druhou stranu Farnum přiznává, že počítač je teoreticky možné podvést. "Může se stát, že, napíšete-li úplný nesmysl, počítač to nepozná.“ V takovém případě však počítač často dospěje k závěru, že není schopen práci hodnotit. Takže je hned vidět, že asi něco není v pořádku.

Velká snaha v testu jako GMAT uspět vede k dosahování jedinečných výsledků. Studenti jsou při přípravě na GMAT upozorňováni na zvláštnosti strojového a lidského hodnocení. Jsou vedeni k tomu, aby jejich práce byla dobře strukturovaná a snadno čitelná. Jinými slovy „jestli chcete v testu GMAT uspět, myslete a pište jako stroj.“ říká Jaime Bederman - ředitelka obchodní divize společnosti Princeton Review, která kromě jiného nabízí i kurzy pro přípravu na GMAT. Hodnotitelé podle ní zase preferují fráze typu „nejprve …“ na začátku textu, „navíc …“ uvnitř textu a „na závěr …“ ke konci. Vědět co nejvíce o tom, jak se testy vyhodnocují, se zkrátka vyplatí.

„Když hodnotí práci učitel, prohlíží si každou asi tak dvě minuty“ říká Bederman. Nesleduje přímo tvořivost, smysl nebo bohatost slovníku – zajímá ho především jasný smysl obsahu. Důvodem je hlavně to, že jde o rutinní práci. Jde mu hlavně o vaší schopnost se přesvědčivě vyjádřit. „Tvořivost není hodnocena příliš vysoko – text bývá suchý jak Sahara.“

V případě takových textů není těžké si představit, že se počítač při hodnocení vyrovná člověku. Navíc je mnohem objektivnější. Neovlivňuje ho vlastní názor na obsah, není nikdy unavený ani nemocný, nemá špatné dny apod. Je možné mu ale opravdu věřit?

Ne všichni učitelé jsou ochotni počítačové hodnocení akceptovat. Např. Jeff Gosub, který učí angličtinu na University of South Florida tvrdí, že „psaný text je určen k tomu, aby byl čten“. „Jedná se o porozumění obsahu, jehož počítač nikdy nemůže plně dosáhnout. Navíc strojovým hodnocením připravujeme děti, aby psaly tak, jak se to líbí počítačům (viz též http://www.800score.com/gmat-home.html). A to není dobré.“

zdroj: Farhad Manjoo - "Software, který tě může dostat", Wired News (prestižní elektronický časopis zabývající se problematikou ICT), 23. srpen 2001