Идея:
количество информации определяется временем ее передачи
количество информации – это длина сообщения, с помощью которого её можно закодировать.
От чего зависит длина сообщения?
от алфавита!
Какой алфавит выбрать?
абвг…эюя?
abcd…xyz?
1 бит – это количество информации, которое можно передать с помощью одного знака в двоичном коде («0» или «1»).
bit = binary digit, двоичная цифра
?
32 варианта – 5 бит
?
64 варианта – 6 бит
?
128 вариантов – 7 бит
?
8 вариантов – 3 бита
210
1 байт = 8 бит
Пример:
В аэропорту стоит 6 самолетов, из них один
летит в Москву. Сколько информации в
сообщении «В Москву летит второй самолет»?
бит
Алфавитный подход
мощность алфавита
информационная емкость символа
Ответ: 10·5 бит = 50 бит
считаем все символы (здесь 10 символов)
мощность алфавита – 32 символа (32=25)
1 символ несет 5 бит информации
Решение:
Вероятностный подход
pi – вероятность выбора i-ого варианта (i=1,…,N)
Формула:
число «нужных» событий
общее число событий
Решение:
караси
пескари
окуни
Если произошло событие i, мы получаем информацию
Клод Шеннон (1916 —2001)
американский математик и электротехник, один из создателей математической теории информации и криптографии.
Формула:
Решение:
карась
пескарь
окунь
Решение:
Событие 1 – идет снег, событие 2 – снег не идет.
Алфавитный подход:
возможны 4 разные оценки: 2, 3, 4 и 5
каждая оценка несет 2 бита информации (все одинаково!)
Ответ: 5·2 бит = 10 бит
бит
бит
бит
< 10 бит
Ответ: информации в сообщении 4 5 5 3 5
p1
p2= 1 – p 1
Информация = снятая неопределенность!
Это сайт презентаций, где можно хранить и обмениваться своими презентациями, докладами, проектами, шаблонами в формате PowerPoint с другими пользователями. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами.
Email: Нажмите что бы посмотреть