Энтропия

Lisää tämän kaltaisia

Логические основы компьютера

luonut Светлана Данилова

Измерение количества информации

luonut Юлия Волык

Как пользователь, я хочу иметь возможность просматривать в web-версии "Яндекс.Такси" историю своих поездок. Это поможет мне сократить время при составлении отчётов о деловых поездках, чтобы оптимизировать своё передвижение в рабочее время, отслеживать оценки своих поездок, а также проверять стоимость своих поездок.

luonut Павел Саенко

CS concepts

luonut Lidia Kobtseva

Энтропия

Численная мера неопределённости наших знаний о состоянии некоторой системы(источника сообщений)

Обозначается H(X)

Задачи

У вас есть 5 стандартных шестигранных кубиков, и вы бросаете их. Какова энтропия системы в случае, если все исходы равновероятны?

Пусть у вас есть последовательность из 1000 нуклеотидов, состоящая из 300 аденинов (A), 250 тиминов (T), 200 цитозинов (C) и 250 гуратов (G). Какова энтропия этой последовательности?

У вас есть 4 типа электронных гизмо: 2 смарт-часа, 1 умный телефон, 3 фитнес-трекера и 4 планшета. Если вы случайно выбираете устройство, какова энтропия выбора?

В классе из 30 учеников 18 правшей и 12 левшей. Если мы случайно выбираем ученика, какова энтропия по отношению к доминирующей руке, используемой для написания?

В коробке находятся 3 обычные монеты и 2 двусторонние с изображением одной и той же стороны. Какова энтропия системы при случайном выборе одной монеты и её броске? (Предположим, что все монеты имеют равные шансы выпасть «орлом» или «решкой».)

Свойства энтропии

Энтропия системы - величина неотрицательная

Неопределённость минимальна, если одна из вероятностей равна единице, а остальные - нулю

Чем больше неопределённость выбора сообщений, тем больше энтропия.

Количество информации (I)

I = log n1 — log n2 = log (n1/n2) Равновероятностные сообщения

I = H1 - H2

Формула Шеннона

Информация — это содержание сообщения, понижающего неопределенность наших знаний о некоторой системе