Zpráva o tom, jakého pokroku dosahuje plošná aplikace umělé inteligence a hlubokého učení na velkých datech za účelem kontroly lidí (stabilizace společnosti) v Číně, to vše v souvislosti se školstvím.
Velká data byla nejdříve využívána ke komerčním účelům formou cílené reklamy. Ve školství se v poslední době často setkáváme se snahou analyzovat data vyprodukovaná žáky při práci s digitálními přístroji za účelem hodnocení výsledků jejich učení (learning analytics, personalizace). Že je to záležitost riskantní z pohledu ochrany osobních údajů, je nám, doufám, jasné. Demokratická společnost však má prostředky, jak nekalým praktikám čelit. Viděli jsme to na eliminaci snah firmy inBloom v USA získávat velká data od žáků, proti čemuž se postavili rodiče, a dosáhli soudního zákazu (viz Současný stav vývoje systémů adaptivního řízení výuky včetně diskuze pod článkem). Aktuálně zaváděné evropské GDPR je zřejmým důsledkem tohoto vývoje.
S demokracií však na tom je současný svět dost špatně. Jsme svědky toho, jak se o netransparentní zpracování velkých dat o občanech pokoušejí bezpečnostní agentury téměř všech zemí (viz
Archivní diskuze převzatá z rvp.cz. Přidávání nových komentářů není k dispozici.
Bořivoj Brdička2. 7. 2018
Automatické hodnocení tvořených textů zavádí i firma Pearson - More States Opting To 'Robo-Grade' Student Essays By Computer (https://www.npr.org/2018/06/30/624373367/more-states-opting-to-robo-grade-student-essays-by-computer). Může si to dovolit, protože má data z 34 milionů vyhodnocených prací z plošných testů povinně dělaných žáky napříč celými Spojenými státy.
Bořivoj Brdička7. 8. 2018
Další detaily o čínském velkém bratrovi potvrzujíjící ty nejhorší obavy přináší Financial Times: Inside China’s surveillance state (https://www.ft.com/content/2182eebe-8a17-11e8-bf9e-8771d5404543).
Bořivoj Brdička11. 10. 2018
Cituji z aktuálního článku Tomáse Sidenfadena na Medium.com:
"Průzkum Ipsos v roce 2017 zjistil, že 47% Číňanů má obavu z úpadku morálky a 87% věří že jejich země je na dobré cestě." Dá se tedy zároveň říci, že zavádění sociálního kreditního systému vítají a skutečnost, že zároveň posiluje moc "komunistů" jim nevadí.
https://arcdigital.media/china-is-building-a-social-credit-system-so-is-the-united-states-a9facbc6f832
Bořivoj Brdička6. 8. 2019
Zajímavá odborná diskuze na téma Čínského soc. kreditního systému snažící se o objektivitu na německém Verfassungsblog v angličtině - China‘s Social Credit System (https://verfassungsblog.de/category/debates/chinas-social-credit-system/).
Edward Snowden
). Co se může stát, dostane-li se takový nástroj umožňující analyzovat činnost lidí na velkých datech do rukou totalitní moci, můžeme pozorovat v Číně [1]. Vláda zde zavádí reputační systém tzv. „
“. Jedná se zjevně o způsob, jak ještě více posílit moc vládnoucí strany a eliminovat všechny známky opozice v samém zárodku. Informací je velmi málo. S jistotou lze říci, že v pozadí bude pracovat podobný algoritmus založený na umělé inteligenci, jaký používají nejrozšířenější komerční
se v tomto případě jedná o nástroj centralizovaného ovládání obyvatel.
Čína má v tomto dlouhou tradici již od té doby, kdy se komunisté v čele s Mao Ce-tungem chopili moci (1949). V současné době existuje větší množství lokálních kreditních systémů provozovaných místními úřady hodnotících chování občanů [2]. Též jsou vyvíjeny online zákaznické kreditní systémy založené na hodnocení chování uživatelů sociálních sítí a nákupních portálů (např. Sesame Credit). Do roku 2020 mají být všechny tyto aktivity propojeny v rámci jednoho národního systému. Ten se již začal experimentálně ověřovat.
Systém shromažďuje dostupná data o všech občanech ČLR. Kromě základních dat z registru obyvatel (adresa, fotka) ví, co čtou i co vkládají na sociální sítě (za pochvalu vlády přiděluje kladné body a naopak), sleduje, zda nejezdí načerno, platí včas účty, neruší noční klid, starají se o seniory apod. Jména občanů s nejvyšším sociálním kreditem jsou již dnes lokálně zveřejňována a mají všelijaké výhody. Pro ty, kteří se ocitnou na opačné straně tohoto „žebříčku“ to může mít i velmi nepříjemné důsledky. Zde je 5 příkladů již existující praxe [3]:
Zákaz cestovat letadlem či rychlíkem Dle sdělení Channel News Asia vstoupilo toto opatření v platnost 1. 5. 2018 a týká se od počátku 9 milionů lidí s nejnižším sociálním kreditem. Součástí zákazu je pochopitelně též nemožnost vycestovat do zahraničí.
Zákaz studovat Beijing News informovali o tom, že 17 lidem, kteří odmítli nastoupit vojenskou službu, bylo znemožněno studovat na vysoké škole. (To je ale jen vrchol ledovce, protože dostatečná úroveň sociálního kreditu jistě bude podmínkou přijetí na všech lepších čínských univerzitách.)
Nemožnost získat lepší zaměstnání Občané s nízkým sociálním kreditem nemají šanci získat lepší zaměstnání ve státních i soukromých firmách.
Zákaz ubytovat se v lepším hotelu Dle informací zjištěných BBC má sociální kredit též vliv na možnost ubytovat se v hotelu. Lidé s vyšším kreditem nemusí platit zálohu.
Zveřejnění seznamu „špatných občanů“ Lidé s nejnižším kreditem jsou zapsáni do veřejně dostupného seznamu, což má za následek nejen hanbu, ale též mnoho dalších komplikací v běžném životě – nemožnost cestovat, získat půjčku, byt, nedostatkové zboží apod.
Jak vidno, tento systém má mnoho společných rysů s tím, co jsme my pamětníci zažívali v dobách budování socialismu i u nás. Dokáži si docela dobře představit, jaké důsledky bude mít, pokud budou existovat úředníci s právem skóre jednotlivých občanů upravovat.
Ale vraťme se ještě na skok do školství. Čína je, jak známo, na špici vývoje umělé inteligence. Jinou podobnou aplikací je potajmu zaváděné automatické hodnocení žákovských prací (Je současná umělá inteligence schopna hodnotit tvořený text?). Aktuální zpráva South China Morning Post [4] uvádí, že téměř čtvrtina tamních škol testuje systém, který automaticky hodnotí žáky tvořený text. Nejedná se jen o kontrolu pravopisu či plagiátorství. Umělá inteligence dokáže posoudit i styl a doporučit úpravy vedoucí ke zdokonalení. Navíc díky implementaci hlubokého učení povede každé další použití ke zdokonalování hodnocení.
Zatím je tento systém pouze experimentálně ověřován. Většinou žáci a rodiče ani nevědí, že jsou práce do systému načítány a automatické hodnocení je porovnáváno s hodnocením učitele (shoda údajně dosahuje 92 %). Na každé škole je zodpovědný koordinátor, který má tuto práci na starosti. O věci se nesmí mluvit.
Řekl bych, že ve skutečnosti je primárně cílem získat velká data o žácích. Je to vlastně totéž, o co se neúspěšně v USA pokoušel inBloom. Rozdíl je zásadní. V Číně se rodičů nikdo na souhlas ptát nebude. Nakonec se i tento systém nejspíše stane zdrojem dat pro generování sociálního kreditu občanů.
BOTSMAN, Rachel. Big data meets Big Brother as China moves to rate its citizens [online]. 2017. [cit. 2018-06-11]. Dostupné z: https://www.wired.co.uk/article/chinese-government-social-credit-score-privacy-invasion.
MISTREANU, Simina. Life Inside China’s Social Credit Laboratory [online]. 2018. [cit. 2018-06-11]. Dostupné z: http://foreignpolicy.com/2018/04/03/life-inside-chinas-social-credit-laboratory/.
China is ranking citizens with a creepy 'social credit' systém [online]. 2018. [cit. 2018-06-11]. Dostupné z: http://vt.co/news/weird/china-is-ranking-citizens-with-a-creepy-social-credit-system/.
CHEN, Stephen. China’s schools are quietly using AI to mark students’ essays ... but do the robots make the grade? [online]. 2018. [cit. 2018-06-11]. Dostupné z: http://www.scmp.com/news/china/society/article/2147833/chinas-schools-are-quietly-using-ai-mark-students-essays-do.
