Презентация, доклад на тему Измерение количества информации (СПО, 1 курс)

«Липецкий металлургический колледж»

информации – это  числовая характеристика информации, отражающая ту степень неопределенности, которая исчезает после получения информации.

в сообщении и позволяет определить количество информации, заключенной в тексте. При алфавитном подходе, определяется количество информации без учета содержания и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.
Данный подход  удобен при использовании технических средств работы с информацией, т.к. не учитывается содержание сообщения.

Колмогоров (1903-1987).

встречаться знаки препинания, цифры, скобки, пробел, то они могут включатся в алфавит, если это оговорено в условии задачи.
Ограничений на максимальную (max) мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере.
Поскольку 256=28, то 1символ несет в тексте 8 бит информации.

АЛФАВИТ – это вся совокупность символов, используемых в некотором языке для представления информации.

Алфавитный подход – как способ измерения информации.

вес». Информационный вес символа зависит от мощности алфавита и обозначается i.
Алфавит, который содержит наименьшее число символов, используется в компьютере. Он содержит всего два символа 0 и 1 и называется двоичным алфавитом.

Информационный вес символа двоичного алфавита принят за единицу информации и называется 1 бит.

Например, чтобы посчитать количество информации в следующем двоичном тексте 110011111100101000101011, нужно пересчитать все 0 и 1.
В тексте содержится 24 бита информации.

содержания, а от размера текста и мощности алфавита.

МОЩНОСТЬ АЛФАВИТА (N) – это полное число символов в алфавите.

Например,
1) мощность русского алфавита составляет N=33;
2) мощность английского алфавита N= ?

алфавита N=10.

4) Компьютерный алфавит, используемый для представления текстов в компьютере, использует 256 символов, т.е. N=256

5) Алфавит двоичной системы кодирования информации имеет всего два символа-
0 и 1, поэтому N=2.

Замечание. С увеличением мощности алфавита увеличивается информационный вес символов этого алфавита.

в одном символе

I = K ∙ i

i

2 i = N

Информационный вес каждого символа (i) и
мощность алфавита (N) связаны формулой:

Количество (объем) информации в сообщении (I) можно посчитать по формуле:

Количество информации в сообщении или информационный объём текста (I), равен количеству информации, которое несет один символ (i), умноженное на количество символов K в сообщении, т.е. I = K ∙ i

цифры (1, 2, 3, 4, 5, 6, 7, 8, 9, 0)
математические знаки (+, -, *, /, ^, =)
прочие символы («», №, %, <, >, :, ;, #, &)

1 байт - это информационный вес одного символа компьютерного алфавита.

за единицу времени, есть скорость передачи информации или скорость информационного потока.
Единицы измерения скорости передачи информации: бит в секунду (бит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.

мушкетера", и определите, сколько близких по объему книг можно разместить на одном лазерном диске емкостью 600 Мбайт? (в книге 590 стр., 48 строк на одной странице, 53 символа в строке).

Решение.
590*48*53=1500960(символов).
Информационный вес одного символа, по определению, составляет 1 байт, тогда:
1500960байт=1466Кбайт= 1,4Мбайт.

3) На одном лазерном диске емкостью 600 Мбайт можно разместить 600 : 1,4 = 428, 57, т.е около 428 произведений, близких по объему к роману А. Дюма "Три мушкетера".
Ответ: I = 1,4 Мб; 428 книг.

экран дисплея информация: 24 строчки по 80 символов, эта информация заполняет экран целиком. Какую часть диска она занимает?

Решение.
К = 24*80=1920 (символов)
Т.к. информационный вес одного символа компьютерного алфавита составляет 1 байт, то I = 1920 байт.

Объем диска 100*1024*1024 байт = 104857600 байт

1920/104857600=0,000018 (часть диска).
Ответ: 0,000018 часть диска.

подготовленная с помощью компьютера, содержит 150 страниц. На каждой странице – 40 строк, в каждой строке – 60 символов (включая пробелы между словами). Каков объем информации в книге?

ЗАДАЧА 2
Текст составлен с помощью алфавита мощностью в 64 символа и содержит 100 символов. Каков информационный объем текста.

ЗАДАЧА 3
Сообщение записано буквами из 16 символьного алфавита, содержит 50 символов. Какой объем информации оно несет.

ЗАДАЧА 4
Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 32 символа, второй – мощностью 64 символа. Во сколько раз отличатся количество информации в этих текстах.

американский учёный Клод Элвуд Шеннон(1916 — 2001).
По Шеннону, информация — это мера уменьшения неопределенности наших знаний.
Неопределенность некоторого события — это количество возможных исходов данного события.

— это информационный поток (поток данных), который в процессе передачи информации поступает к принимающему его субъекту.

Сообщение

Информативное, если оно пополняет знания человека, т.е. несет для него информацию.
Количество информации в информативном сообщении больше нуля.

Неинформативное, если это:
«старые» сведения, т.е. человек это уже знает;
содержание сообщения непонятно человеку.
Количество информации в неинформативном сообщении равно нулю.

нуля до единицы.

Вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.

ОПРЕДЕЛЕНИЯ

быть две:

1. Все возможные варианты события равновероятны. Их число равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны:
{pi }, i = 1..N.
Здесь по-прежнему N-число возможных вариантов события.

в сообщении об одном из двух равновероятных событий.








Формула Хартли — это показательное уравнение. Если i неизвестная величина, то решением данного уравнения будет:

i = log2N

Данные формулы тождественны друг другу.

События равновероятны, если ни одно из них не имеет преимущества перед другими.










Если обозначить буквой i количество информации в сообщении о том, что произошло одно из N равновероятных событий, то величины i и N связаны между собой формулой Хартли:

карт достали даму пик?

Решение: В колоде 32 карты. В перемешанной колоде выпадение любой карты — равновероятные события. Если i — количество информации в сообщении о том, что выпала конкретная карта (например, дама пик), то из уравнения Хартли:

2i = 32 = 25

Ответ: i = 5 бит.

3 на шестигранном игральном кубике?

Решение. Считая выпадение любой грани событием равновероятным, запишем формулу Хартли:

2i = 6.

Ответ: i = log26 = 2,58496 бит.

как 22 < 6 < 23, следовательно,
2 < i < 3.
Затем определяем более точное значение (с точностью до пяти знаков после запятой), что i = 2,58496 бит.

Замечание. При данном подходе к вычислению количества информации ответ будет выражен дробной величиной.

log2(1/p) формула Шеннона

3. Вероятностный подход

Осуществим при неравновероятных событиях.

Неравновероятные события – это события, имеющие разную вероятность реализации.
Если вероятность некоторого события равна p, а i (бит) — это количество информации в сообщении о том, что произошло это событие, то данные величины связаны между собой формулой:

и № 7. Студенту дано задание: определить, сколько информации содержит сообщение о том, что к остановке подошел автобус № 5, и сколько информации в сообщении о том, что подошел автобус № 7.

что к остановке автобусы подходили 100 раз. Из них — 25 раз подходил автобус № 5 и 75 раз подходил автобус № 7. Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса № 5: p5 = 25/100 = 1/4, и вероятность появления автобуса № 7:
p7 = 75/100 = 3/4.
Отсюда, количество информации в сообщении об автобусе № 5 равно: i5 = log24 = 2 бита. Количество информации в сообщении об автобусе № 7 равно:
i7 = log2(4/3) = log24 – log23 =  2 – 1,58496 = 0,41504 бита.

Ответ: i5 = 2 бита; i7 = 0,41504 бита.

автобусы № 5 и № 7. Сообщение о том, что к остановке подошел автобус № 5, несет 4 бита информации. Вероятность появления на остановке автобуса с № 7 в два раза меньше, чем вероятность появления автобуса № 5. Сколько бит информации несет сообщение о появлении на остановке автобуса № 7?

Решение. i5 = 4 бита, p5 = 2 · p7
Вспомним связь между вероятностью и количеством информации: 2i = 1/p
Отсюда: p = 2–i
Подставляя в равенство из условия задачи, получим:

Отсюда:

нем на 1 бит.
Очевидно и обратное правило: увеличение вероятности события в 2 раза уменьшает информативность сообщения о нем на 1 бит. Зная эти правила, предыдущую задачу можно было решить «в уме».