Incertitudinea din cantitatea de cunoștințe și informații - studopediya

Abordarea Semnificativ pentru măsurarea informațiilor este împins din definiția informațiilor ca conținutul mesajului primit de persoana. Esența abordării de fond este următoarea: un mesaj pentru a informa despre un eveniment oarecare, înlătură incertitudinea cunoașterii umane a evenimentului.

Cu cat mai mare incertitudinea inițială a cunoștințelor, mai multe informații poartă un mesaj, eliminând această ambiguitate.

Iată câteva exemple pentru a ilustra această afirmație.

Situația 1. În clasa este atribuit un nou profesor de științe; la întrebarea: „Acesta este un bărbat sau o femeie,“ ai spus, „Omul“.

Situația 2. În echipa națională campionat de fotbal jucat la Dinamo și Zenit. De la știri sportive la radio, vei afla că jocul a fost câștigat de Zenit.

Scenariul 3: În alegerea primarului au fost patru candidați. În urma centralizării rezultatelor, ați învățat că ales Nikitin NN

Întrebare: care a mesajului primit trei situații poartă mai multe informații?

cunoștințe Incertitudinea - este numărul de răspunsuri posibile la întrebarea vă interesează. În prima situație - 2 opțiuni: de sex masculin, feminin; în a doua situație 3 opțiuni: a câștigat, remiză, a pierdut; În a treia situație - 4 opțiuni: 4 candidat pentru măsura.

În conformitate cu definiția de mai sus, cea mai mare cantitate de informație poartă un mesaj la a treia situație, deoarece incertitudinea de cunoștințe despre un eveniment (măsura electorală), în acest caz a fost cel mai mare.

In anii '40 ai secolului XX, problema de măsurare a datelor a fost rezolvată de către omul de știință american Claude Shannon - fondatorul teoriei informației. Potrivit informațiilor K.Shennonu - înlătură incertitudinea cunoașterii umane cu privire la rezultatul unui eveniment.

În teoria informației, unitatea de măsură informația este definită după cum urmează.

Mesaj, ceea ce reduce incertitudinea de cunoștințe cu privire la rezultatul unui eveniment de două ori, poartă un pic de informații

Conform acestei definiții, mesajul în primul dintre aceste situații poartă un bit de informație, din cauza celor două răspunsuri posibile unul a fost selectat.

Prin urmare, cantitatea de informații obținute în a doua și a treia situație a, mai mult de un bit. Dar cum să le măsoare?

Luați în considerare un alt exemplu de a selecta una din cele patru opțiuni, mai convenabil pentru a măsura cantitatea de informații.

Ucenicul a scris un test pe calculator și solicită profesorului cu privire la evaluarea obținută. Evaluarea poate fi: de la 2 la 5. În profesorul a răspuns: „mărcile ghicească două întrebări, răspunsurile la care pot fi«da»sau«nu».“ Gândire elev solicită prima întrebare: „Evaluarea trio-ul de mai sus?“. „Da“, - răspunse maestrul. A doua întrebare este: „Este cinci?“. „Nu,“ - a răspuns el maestru. Ucenicii au înțeles că a primit patru. Oricare ar fi scorul, în acest fel va fi ghicit!

Inițial, incertitudinea cunoștințelor (evaluarea numărului de opțiuni primite) a fost egal cu patru. Deoarece răspunsul la fiecare întrebare incertitudine scăzut de 2 ori, și, prin urmare, în conformitate cu cele de mai sus definiția de un bit, informații 1 bit este transmis.

Versiunile inițiale. Intrupari rămase după prima problemă: (1 bit) Varianta rămasă după problema 2a: (1 bit)

Evaluarea de învățare (unul din patru posibile) elev a primit 2 biți de informație.

Să considerăm un exemplu particular, și apoi derivă regula generală.

Un pic de gândire, tovarășul a început să întreb:

- numărul vagonului mai mult de patru?

- numărul vagonului mai mult de șase?

- Aceasta este a șasea mașină?

- Ei bine, acum totul este clar! Te duci în a cincea mașină!

Schematic, căutarea numerelor de automobile este după cum urmează:

Numărul inițial de variante: După prima emisiune (1 bit): După problemă 2a (un bit): Atunci când a treia întrebare (1 bit):

Fiecare răspuns reduce incertitudinea în jumătate. Doar trei au fost puse întrebări. Prin urmare, în total marcat 3 biți de informație. Și dacă odată ce a fost spus că aveți de gând în a cincea mașină, atunci acest mesaj va fi transmis la aceleași 3 biți de informație.

Motoarele de căutare aplicate în Rezolvă exemplele sunt automotoare evaluat și se numește metoda de împărțire în două. răspunsul la fiecare întrebare reduce incertitudinea de cunoștințe în jumătate. Astfel, fiecare astfel de răspuns poartă un bit de informație.

Rețineți că metoda de căutare de soluții este cea mai de împărțire în două rațional. În acest fel, puteți ghici întotdeauna, de exemplu, oricare dintre cele opt variante ale celor 3 întrebări. În cazul în care căutarea a fost efectuată brute force: „Tu du-te în prima mașină?“ - „Nu“, „În a doua mașină?“ - „Nu“ etc. ceva despre a cincea masina ar putea fi găsit după cinci probleme, și despre al optulea - după opt. Pentru informații problema regăsire ne vom întoarce la cursul nostru.

„Formula principală pentru“ Informatica

Formulăm o condiție foarte importantă, referindu-se la exemplele avute în vedere. În toate situațiile, se presupune că toate opțiunile sunt evenimente la fel de probabile. Cu probabilitate egală, că profesorul poate fi de sex masculin sau feminin; echiprobabile orice rezultat al unui meci de fotbal, alegerea echiprobabile de unul dintre cei patru candidați pentru acțiunea orașului. Același lucru este valabil și pentru exemplele cu estimările și mașini.

Apoi, rezultatele noastre descrise de următorul cuprins:

- mesaj despre una din cele două rezultate la fel de probabile ale unui eveniment poartă 1 bit de informație;

- mesaj la unul din cele patru rezultate la fel de probabile ale unui eveniment poartă 2 biți de informație;

- mesaj despre unul dintre cele opt rezultate la fel de probabile ale unui eveniment poartă 3 biți de informație.

Noi notăm cu N numărul de rezultate posibile ale evenimentelor, sau așa cum o numim chiar, - incertitudinea cunoașterii. Litera i se va indica cantitatea de informații în raportul cu privire la unul dintre rezultatele N.

În exemplul de N = 2 profesor. i = 1 bit;

Exemplul evaluat N = 4. i = 2 biți;

în exemplul cu N = 8 masini. i = 3 biți.

Este ușor de observat că relația dintre aceste valori se exprimă prin următoarea formulă:

Cu formula care rezultă știți deja de la curs de informatică pentru clasa 8 și nu au fost încă o zi ne vom întâlni cu ea. Valoarea acestei formule este atât de mare, încât l-am numit principala formulă informatică. Dacă valoarea N este cunoscută și i - nu este cunoscută, această formulă devine ecuație pentru a determina i. În matematică se numește ecuații exponențială.

Lăsați trenul nu este de 8, și 16 mașini. Pentru a răspunde la întrebarea, cantitatea de informație conținută în raportul cu privire la numărul de masina dorit, aveți nevoie pentru a rezolva ecuația:

Deoarece 16 = 2 i = 4, apoi 4 biți.

Cantitatea de informații (i), conținută într-un mesaj pe unul dintre N rezultate la fel de anumite evenimente determinate prin rezolvarea unei ecuații exponențială: i = N 2

Exemplul 1. În cinema 16 rânduri, fiecare locație rândul 32. Cât de multe informații poartă un mesaj pe care le-ați cumpărat un bilet pentru al 12-lea rând, al 10-lea loc?

Soluția de rezolvare a problemei: în teatrul de 16 × 32 = 512 de locuri. Raport privind biletul achiziționat determină în mod unic în alegerea uneia dintre aceste locuri. Din ecuația 2 i = 512 9 = 2 obținem: i = 9 biți.

Dar, aceeași problemă poate fi rezolvată în alt mod. Mesaj despre un număr de poartă 4 biți de informație, ca 02 aprilie = 16. Mesaj despre cameră spațiu are 5 biți de informație, ca May 2 = 32. În general, un mesaj cu privire la numărul și locația este: 4 + 5 = 9 biți de informație.

Acest exemplu ilustrează aditivitatea Information Act (regula plus): cantitatea de informații într-un mesaj, în același timp pe mai multe rezultate reciproc evenimente independente este egală cu suma valorilor de informații despre fiecare eveniment separat.