Объёмный подход

Więcej takich

ARG

przez imya familya

Концентрированное обучение

przez Алексей Лукашев

Измерение количества информации

przez Юлия Волык

Что такое World Wide Web?

przez Пилюгина Валя

Формула хартли

Количество возможных событий и количество информации

N=2^i

Количество информации, которое несёт каждый символ

i=log2N N - мощность алфавита

Единицы измерения

Килобайт (Кбайт) = 1024 байт Мегабайт (Мбайт) = 1024 Кбайт Гигабайт (Гбайт) = 1024 Мбайт Терабайт (Тбайт) = 1024 Гбайт Петабайт (Пбайт) = 1024 Тбайт Эксабайт (Эбайт) = 1024 Пбайт Зеттабайт (Збайт) = 1024 Эбайт Йоттабайт (Йбайт) = 1024 Збайт

k - символов

V=K⋅i

V=K⋅log2N

Вероятностный подход

Примеры

В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

N1 = 8 черных шаров N2 = 24 белых шаров N = 8 + 24 = 32 шара всего p = 8/32 = 1/4 вероятность того, что достали черный шар I = log 1/(1/4) = 2 бита

Пусть вероятность выпадения осадков в виде дождя равна 0,5, ветра - 0,25, грозы и молнии - 0,125. Какое количество информации получится при реализации одного из событий?

I = - (0.5 log 0.5 + 0.25 log 0.25 + 0.125 log 0.125) = 1.75 бит

Пусть бри бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: p1 = 1/2 p2 = 1/4 p3 = 1/8 p4 = 1/8 Какой количество информации

I = -( 1/2 log 1/2 + 1/4 log 1/4 + 1/8 log 1/8 *2) = 14/8 = 1.75 бит

Формула Шеннона

Формула

Вероятностный подход предполагает, что возможные события имеют различные вероятности реализации.

2^i = 1/p

Вероятность

Вероятностью случайного события (p) называется отношение числа благоприятствующих событию исходов (m) к общему числу исходов (n): p = m/n

случайное событие - событие, которое может произойти или не произойти (например, выигрыш билета в лотерее, извлечение карты определенной масти из колоды карт).

множество исходов испытания - множество всех возможных исходов испытания;

исходы испытаний - результаты испытания (например, при подбрасывании монеты выпал «орел», или из корзины извлекли белый шар);

единичное испытание - испытание, в котором совершается одно действие с одним предметом (например, подбрасывается монетка, или из корзины извлекается шар);

испытание - любой эксперимент;

Содержательный подход

примеры

Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк. Какое количество бит несет сообщение о выборе одного шахматного поля?

Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы: 2^i =64, i=log2 64 = 6. Следовательно, i=6 бит.

загадали некоторое целое число в определённом диапазоне. Угадывая это число, получили 7 бит информации. Сколько чисел содержит диапазон?

i = 7, 2^i = N, N = 2^7 = 128 чисел

в доме 16 этажей, на каждом этаже по 4 квартиры. Какое количество информации несёт сообщение о том, что Игорь живет на 7-ом этаже в квартире №47?

всего в доме 16*4 = 64 квартиры, т.е. N = 64 i = log2N = log 64 = 6 бит

количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку. Если сообщение не информативно, то количество информации с точки зрения человека = 0

Алфавитный подход

Примеры задач

В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?

N = 128 I = log2N = log128 = 7 бит

Информационное сообщение объемом 1,5 Кб содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

I = 1,5 Кб = 1,5*1024 = 1536 байта = 1536*8 = 12288 бит i = I/K = 12288/3072 = 4 бита N = 2^i = 2^4 = 16 символов

Одно племя имеет 32-символьный алфавит, а второе племя – 64-символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 80 символов, а письмо второго племени – 70 символов. Сравните объем информации, содержащийся в письмах.

Первое племя: 2^i = 32, i = 5 бит - количество информации, которое несёт каждый символ, 5*80=400 бит Второе племя: 2^i = 64, i = 6 бит - количество информации, которое несёт каждый символ, 6*70=420 бит Следовательно, письмо второго племени содержит больше информации