Teorie informace v gymnaziálním kurzu informatiky

Teorie informace je klíčovou disciplínou pro jakoukoli oblast informatiky. Popisuje, jakým způsobem můžeme pracovat s informacemi, jakým způsobem je možné je kódovat, jaká jsou omezení v přenosu dat. Jde tedy o fundamentální vědu, bez jejíchž – alespoň základních – znalostí se v oblasti teoretické informatiky nebo počítačových sítí můžeme jen velmi obtížně pohnout dále. Teorie informace má ale také řadu jiných aplikací než jen v informatice.

Ve filosofii stojíme téměř vždy a všude před problémem gnozeologie či epismentologie, které představují jen abstraktnější vrstvu stejného problému – jakým způsobem může zařízení (ve filosofii obvykle člověk) přijímat data z okolí a nakládat s nimi. Zde se tedy nabízí zcela přirozené spojení se základy společenských věd. Moderní filosofie je silně matematizovana i formalizována, takže není třeba mít obavy, že práce v této oblasti bude do určité míry nepřípadná, spíše naopak. V oblasti fyziky pak jde o základní východisko k hledání teorie všeho, tak jak nastiňuje například Barrow. Její aplikace ale můžeme nalézt také v lingvistice a v dalších oblastech.

V tomto kontextu je možné na teorii informace nahlížet jako na multidisciplinární záležitost, která se jeví pro pochopení světa v téměř všech oblastech věd jako velmi důležitá. Pokud se tedy pedagog rozhodne této oblasti věnovat, může žákům rozšířit obzory v oblastech na první pohled informatice možná značně vzdálených.

Pokud jde o zařazení v rámci RVP pro gymnázia, pak nám půjde na středoškolské úrovni především o budování pojmů, ale s velmi praktickými důsledky. Například pro pochopení činnosti počítačových sítí na úrovni kódování signálu.

Pojem informace

Zcela základním pojmem, se kterým se v oblasti teorie informace můžeme setkat, je samotné slovo „informace“. Zřejmě nejčastěji se s ním setkáváme v běžném jazyce, aniž bychom nějak speciálně formulovali jeho přesný význam. Obecně tak můžeme informaci ztotožnit se zprávou či sdělením, novou skutečností nebo něčím, co je dialogicky komununikováno.

V oblasti filosofie jsou již pojmy poněkud přesnější. Podle Zemana[1] jde o vlastnost hmotné reality být uspořádán a její schopnost uspořádávat (forma existence hmoty vedle prostoru, času a pohybu). Často můžeme slyšet o tom, že jde o potenciálně komunikovatelný poznatek o objektivní realitě, případně s doplněním nutné možnosti detekce tohoto poznatku na straně příjemce. Definic bychom jistě mohli nabídnout celou řadu. Jsou obecně vždy závislé na tom, jak s pojmem potřebuje autor dále pracovat.

Důležitý je ještě aspekt komunikační. Zde je možné si vypůjčit notoricky známý výrok Brinullouina, že informace jest objektivní obsah komunikace mezi souvisejícími hmotnými objekty, projevující se změnou stavu těchto objektů. Tato definice si jistě drobný komentář zaslouží. Předně je třeba říci, že informace je něco objektivního – není možné zde mluvit o psychologickém vjemu či pocitech, ale jen o takovém ději, který je měřitelný. Jde o formu komunikace mezi objekty, které spolu mají určitou podobnost (např. konstrukční), a dochází u nich k objektivním změnám, které je možné měřit či vyhodnocovat.

Takto pojatá definice je již poměrně blízká tomu, jak budeme informaci chápat v informatice: Informace představuje kódovaná data, která lze vysílat, přijímat, uchovávat a zpracovávat technickými prostředky. Množství informace je rozdíl mezi neurčitostí (entropií) informace před a po zprávě. Nosičem informace je signál.

Na této definici informace je možné založit celý další výklad. Půjde nám tedy o to, jakým způsobem mohou být data v počítači kódována, jakým způsobem je možné je přenášet, budeme se věnovat pojmu entropie, šumu a na závěr se krátce zmíníme o signálech, které jsou ale již spíše prostředkem než samotným obsahem teorie informací.

Kódování

Aby bylo možné nějaké informace přenášet, musí být informace nějakým způsobem zakódovány. V případě lidské řeči jsou to jednotlivá slova či věty, do kterých jsou informace vkládány. V případě informatiky se nejčastěji používá kódování binární. Je to dáno tím, že počítač pracuje obvykle na dvou napěťových úrovních, které reprezentují nejmenší jednotku informace – jeden bajt. Jde o hodnotu informace, která nám umožní rozhodnout pravdu či nepravdu.

Kódování má ale řadu dalších významů nežli jen naivní nesení informace. Kódování slouží také ke kompresi, opravě chyb nebo kupříkladu k šifrování dat. Lze tedy říci, že kódování je užitečnou činností s řadou aplikací.

U binárního kódování navíc vyvstává problém, se kterým se v přirozeném jazyce příliš nesetkáme, a tím je synchronizace. Pokud máme informaci, která je tvořena velkým množství stejných, za sebou bezprostředně následujících, symbolů, je pro zařízení problém s příjmem a přesným rozlišením jednotlivých bitů. Proto je třeba volit taková kódování, která by zabránila nějaké velké kumulaci stejných znaků.

Pokud chceme kódovat nějaká data, která se mají přenášet, tak máme v zásadě řadu možností. Cílem přenosu je obvykle v prvním přiblížení maximální přenos informace s minimálním datovým tokem. Možná by mohlo někoho napadnout, že nejednodušší by bylo, kdyby každému znaku abecedy přiřadil určitou posloupnost nul a jedniček (řekněme, že máme čtyřicetiznakovou abecedu, pak potřebujeme na každý znak unikátní šestibitový kód), tak abychom pokryli celou abecedu. Tím bychom ale poměrně značně plýtvali pásmem, neboť ne všechny znaky jsou stejně pravděpodobné – například samohlásky používáme podstatně častěji než písmena jako q, x, w, ...

A právě na této myšlence je založený Shannon–Fanův algoritmus, který nejen setřídí znaky podle pravděpodobnosti, ale ještě je vhodně rozdělí do skupin tak, aby tyto skupiny měly stejnou pravděpodobnost. Pomocí této opakované operace jim přiřadí konkrétní kódy. (Pokud je ve výuce dostatek času, nebo jde o matematickou třídu, je možné Shannon–Fanovo kódování projítpodrobně[2] včetně algoritmu, který není nijak složitý.)

Entropie

Klíčovým pojmem celé teorie informace je entropie. Tento pojem je znám také z termodynamiky (kde byl zaveden), avšak jejich přímá souvislost je na úrovni střední školy poněkud neprokazatelná. Zjednodušeně řečeno, entropie je střední hodnota informace jednoho kódovaného znaku. Míra entropie souvisí s problematikou generování sekvence náhodných čísel, protože sekvence naprosto náhodných čísel by měla mít maximální míru entropie. Shannonova entropie (tak se někdy označuje entropie v informatice) také tvoří limit při bezeztrátové kompresi dat. Entropie nám zabraňuje v možnosti více zkomprimovat danou informaci.

Možnosti růstu entropie jsou shrnuty v následujících bodech:

• Entropie je rovna nule, když je tento jev jednoznačně určený.
• Entropie je vždy kladné číslo, v krajním případě (pro p = 1 nebo p = 0) rovné 0.
• Entropie libovolného jevu se blíží k hodnotě nula (maximální určitosti systému), když se pravděpodobnost jevu blíží hodnotě jedna nebo nula.
• Entropie je maximální při rovnoměrném rozložení pravděpodobnosti všech možných jevů. Tedy když je stejná pravděpodobnost všech znaků v kódování.
• Entropie složeného pokusu, v kterém záleží na pořadí pokusů a jevy jsou navzájem nezávislé. Celková entropie je rovna součtu entropií jednotlivých pokusů. Entropie je tedy i v informatice aditivní veličinou.

Matematicky je možné entropii popsat vztahem:

`H(S) = sum_(i=1)^n P(s_i) log_2 P(s_i)`

– kde H je entropie, s jsou různé možné stavy systému, n je počet stavů (znaků abecedy) a P je pravděpodobnostní distribuce. Tento vztah má smysl diskutovat jen s matematicky zdatnějšími žáky. Důležité je, že naší snahou je minimální entropie v daném komunikačním kanálu. Pokud entropie není minimální, znamená to, že kanál není dostatečně využívaný, a proto je třeba změnit pravděpodobnostní distribuci pro zvolené znaky.

Šum

Gymnaziální výuka je ve všech směrech značně idealizující – od fyziky přes biologii po chemii se v zásadě vždy pracuje s ideálními a idealizovanými situacemi. V informatice by tato situace nastat neměla a žáci by se měli seznámit s existencí reálných prostředí. Bez nich by nemělo smysl pracovat v binární soustavě, která se může jevit v dokonalém prostředí jako nadbytečná a možná až neefektivní.

Šumem máme na mysli signál, který nenese žádnou informaci. Jelikož platí fyzikální princip superpozice, dochází k tomu, že elektromagnetická vlna nesoucí informaci se sčítá s šumem a může docházet k horšímu rozpoznávání jednotlivých signálů. Pokud chceme zajistit maximální čitelnost, tak užijeme binární modulace, která má největší rozdíl mezi jednotlivými stavy. Na druhé straně nabízí jen malou přenosovou rychlost.

Obecně můžeme říci, že čím více stavů budeme modulovat na jednu periodu vlny, tím větším problémem bude případný šum a tím větší bude přenosová rychlost. Jistě existují metody pro eliminaci vlivu šumu, jako například frekvenční přeskakování pásma, ale zde již jde o informaci, která podstatně převyšuje základní kurz informatiky na středních školách.

Modulace

Zde se již dostáváme ke zcela praktickým otázkám, které jsou ale spíše elektrotechnického rázu, a proto se o jejich aplikacích zmíníme spíše informativně. V zásadě vždy, když chceme přenášet nějakou informaci, využíváme nosnou vlnu, kterou určitým způsobem modulujeme. Vlnění můžeme obecně zapsat jako:

`y=y_m sin(omega t + phi)` .

Máme tedy v zásadě tři možnosti modulace – můžeme měnit amplitudu (AM modulace), což je sice jednoduché, ale stále méně používané (kvůli náchylnosti na šum); frekvenci, což se používá hojně, a fázový posun. Zajímavé je, že o změně fázového posunu se ve fyzice skoro nemluví a v informatice jde o jednu ze zásadních možností modulace.

Se žáky je možné diskutovat, kolik dat je možné zakódovat do jedné periody, jsme-li schopni současně provést různé modulace AM, FM i fázové. Jde o poměrně přehledné grafické vzorce, které procvičí kombinatorické myšlení a pěkně ukazují i to, kde mohou být problémy se šumem.

Závěrem

Poměrně velice elementárně jsme prošli základní témata teorie informace. Jde o teoretické téma, kterému žáci dopodrobna jistě rozumět nemusí, ale bude dobře, když se budou schopni orientovat v základních pojmech, jako je entropie, informace, kódování či modulace, a budou o nich mít elementární představu. Pokud je možnost jít do mezipředmětových přesahů, tak se jistě nabízí podrobná diskuse šumu a modulace ve fyzice nebo entropie a kódování v matematice. Jde o zajímavá témata, která jistě mohou žákům mnohé přinést. V prezentované podobě šlo spíše o seznámení se s pojmy a naznačení základních principů. Dále již musí vyrazit každý pedagog dle možností jednotlivé třídy sám.

Literatura a použité zdroje

KUČEROVÁ, Helena. Definice informace [online]. 2011. [cit. 2011-10-27]. Dostupné z: http://web.sks.cz/users/ku/ZIZ/inform1.htm.

http://en.wikipedia.org/wiki/Shannon-Fano_coding [online]. 2011. [cit. 2011-10-27]. Dostupné z: http://en.wikipedia.org/wiki/Shannon-Fano_coding.