Как найти количество информации в сообщении формула. Вероятностный подход к определению количества информации "Формула Шеннона

Цели урока: формировать умения и навыки учащихся применять знания по образцу и в изменённой ситуации по изучаемой теме: находить количество информации при решении задач, в условии которых события являются равновероятными и не равновероятными.

Требования к знаниям и умениям:

Учащиеся должны знать:

• как найти вероятность события;
• как найти количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий.

Учащиеся должны уметь:

• различать равновероятные и не равновероятные события;
• находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий.
• находить количество возможных вариантов того или иного события, если известно количество информации в сообщении о том, что событие произошло.

Программно-дидактическое обеспечение:персональный компьютер,проектор, мультимедийная доска SMART-Board, карточки для опроса учащихся.

Ход урока

I. Постановка целей урока

1. “Вы выходите на следующей остановке?” - спросили человека в автобусе. “Нет”, - ответил он. Сколько информации содержит ответ?
2. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?
3. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

II. Проверка домашнего задания

Все ли выполнили домашнее задание? Какие задания вызвали трудности?

1. Начнём проверку домашнего задания со следующего: давайте выясним, чья вероятность вызова к доске для ответа больше.

/ Для этого учитель проецируем общее количество оценок, которое мог бы получить учащийся на данный момент времени, а также количество оценок каждого ученика.

Ученики производят вычисления самостоятельно и называют результаты. Далее выполнение домашнего задания ученики показывают в порядке убывания полученных вероятностей. Решение задач демонстрируется на доске в слайдовой презентации./

2. Выборочно проводится опрос по карточкам, приготовленным заранее.

1) Какие существуют подходы к измерению информации?
2) Какое сообщение называют информативным?
3) Может ли количество информации в сообщении быть равным нулю?

Задание:вставьте пропущенные слова.

– Сообщение называется …, если в нем содержатся новые и понятные сведения.

– События, не имеющие преимущество друг перед другом, называются...

– Чем больше начальное число возможных... событий, тем в большее количество раз уменьшается... и тем большее... будет содержать сообщение о результатах опыта.

– Количество информации, которое находится в сообщении о том, что произошло одно событие из... равновероятных, принято за единицу измерения информации и равно...

– 1 бит - это количество информации, ... неопределенность знаний в два раза.

– I = log 2 N – количество информации в... событии, где N – это..., а I – ...

– I = log 2 (l/p) – количество информации в... событии, где р – это..., а вероятность события выражается в... и вычисляется по формуле:...

Все остальные учащиеся выполняют кроссворд по основным понятиям приложение 1 .

III. Решение задач

1. Решение задач, в условии которых события являются равновероятными

В течении 10 минут ученики выполняют решения задач / задаётся произвольный темп решения, т.о., часть детей решит задач больше, часть меньше в меру своих возможностей

Вопросы к задачам:

• Почему в задаче события равновероятные?
• Что нужно найти в задаче: количество информации или количество вариантов информации?
• Какую формулу нужно использовать в задаче?
• Чему равно N? Как найти I?

Чему равно I? Как найти N?

“Вы выходите на следующей остановке?” – спросили человека в автобусе. “Нет”, - ответил он. Сколько информации содержит ответ?

Решение: человек мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. Значит I = 1 бит (2 = ).

Ответ: 1 бит.

“Петя! Ты пойдешь сегодня в кино?” – спросил я друга. “Да”, – ответил Петя. Сколько информации я получил?

Решение: Петя мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. значит I = 1 бит (2 = 2 1).

Ответ: 1 бит.

Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?

Решение: так как неопределенность знаний уменьшается в 8 раз, следовательно, она было равна 8, т.е. существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них, несет 3 бита информации (8 = 2 3).

Ответ: 3 бита.

Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?

Решение: так как неопределенность знаний уменьшается в 4 раз, следовательно, она было равна 4, т.е. существовало 4 равновероятных событий. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 2 2).

Ответ: 2 бита.

Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

Решение: из двух сигналов (желтого и зеленого) необходимо выбрать один - зеленый. Поэтому N = 2, а I = 1 бит.

Ответ: 1 бит.

Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

Решение: из 4 дорожек необходимо выбрать одну, т.е. N = 4. Значит по формуле I = 2, т.к. 4 = 2 2 .

Пояснение: номер дорожки (3) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.

Ответ: 2 бита.

На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на четвертый путь. Сколько информации вы получили?

Решение: из 8 путей нужно выбрать один. Поэтому N = 8, а I = 3, т.к. 8 = Пояснение: номер пути (4) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.

Ответ: 3 бита.

В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?

Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, I = 4 (16 = 2 4).

Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному.

Ответ: 4 бита.

Была получена телеграмма: “Встречайте, вагон 7”. Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?

Решение: так как из 16 вагонов нужно выбрать один, то N = 16, следовательно, 1 = 4(16 = 2 4).

Ответ: 4 бита.

При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?

Решение: N = 2 9 = 512.

Ответ: диапазон чисел имеет значение от 1 до 512.

При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

Решение: N = 2 8 = 256.

Ответ: 256 чисел.

Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

Решение: N = 2 4 = 16 этажей.

Пояснение: события равновероятны, т.к. номера этажей не повторяются.

Ответ: 16 этажей.

Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

Решение: N = 2 3 = 8 подъездов.

Пояснение: события равновероятны, т.к. номера подъездов не повторяются.

Ответ: 8 подъездов.

В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

Решение: существует 16*8 = 128 вариантов местонахождения книги. Из этого количеств вариантов необходимо выбрать один. Следовательно, N = 128, а I = 7, т.к. 128 = 2 7 .

Ответ: 7 бит.

Загадано слово из 10 букв. Вы просите открыть пятую букву. Вам ее открыли. Сколько информации вы получили?

Решение: N = 10, следовательно, I = log 2 10.

Смотрим по таблице / приложение 2 / и видим, что I = 3,32193 бит.

Ответ: 3,3 бит

В коробке лежат 6 разноцветных фломастеров. Какое количество информации содержит сообщение, что из коробки достали синий фломастер?

Решение: N = 6, следовательно, I = log 2 6. Смотрим по таблице и видим, что I = 2,58496 бит.

Ответ: 2,5 бит.

Какое количество информации несет сообщение: “Встреча назначена на май”?

Решение: так как месяцев в году 12, то из этого количества сообщений нужно выбрать одно. Значит N = 16, а I = log 2 12. Смотрим по таблице и видим, что I = 3,58496 бит.

Ответ: 3,5 бит.

Какое количество информации несет сообщение о том, что встреча назначена на 20 число?

Решение: так как дней в месяце 30 или 31, то из этого количества сообщений нужно выбрать одно. Значит N = 30 или 31, а I = log 2 30 (или 31). Смотрим по таблице и видим, что I = 4,9 бит.

Ответ: 4,9 бит.

2. Решение задач, в условии которых события не равновероятны

Запишите формулу на доске для нахождения количества информации в ситуации с не равновероятными событиями. Что означает каждая буква и как выразить одну величину через другую.

В соответствии с уровнем обучаемости 1 группа детей решают более простые задачи №1 – №5, 2 группа -более сложные – №6 – №9.

Вопрос к задачам:

Почему события в задаче не равновероятные? Сравните вероятности событий между собой.

В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Дано: N, = 8; N 6 = 24.

Найти: I ч = ?

В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

Дано: N = 64; I 6 = 4.

Найти: К = ?

1) I 6 = log 2 (l/p 6); 4 = log2(l/p 6); 1/р б = 16; p 6 = 1/16 – вероятность доставания белого карандаша;

2) р б = ; = ; = = 4 белых карандаша.

Ответ: 4 белых карандаша.

В классе 30 человек. За контрольную работу по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Андреев получил пятерку?

Дано: N = 30; К 5 = 6; К 4 = 15; К 3 = 8; К, = 1.

Найти: I 4 - ?

Решение: 1) р 4 = = - вероятность получения оценки “5”;

2)I 4 = log 2 () = log 2 ()=1бит

Ответ: 1 бит.

Известно, что в ящике лежат 20 шаров. Из них 10 – синих, 5 – зеленых, 4 - желтых и 1 - красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?

Дано: К = 10; К = 5; К ж = 4; К = 1; N = 20.

Найти: I ч, I 6 ,I ж, I к.

6)I 6 = log 2 (l/l/4) = 2 бит;

7)I ж = 1оg 2 (1/1/5) = 2,236 бит;

8) I к = log 2 (1/1/20) – 4,47213 бит.

Ответ: I с = 1 бит, I з = 2 бит, I ж = 2,236 бит, I к = 4,47213 бит.

За четверть ученик получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок ученик получил за четверть?

Дано: N = 100,I 4 = 2 бита.

Найти: К 4 - ?

1) I 4 = log 2 (l/p 4), 2 = log 2 (l/p 4), = 4, р 4 = – вероятность получения “5”;

2) I 4 = К 4 /100, К 4 = 100/4 = 25 – количество “5”.

Ответ: 25 пятерок.

В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько пар белых перчаток было в ящике?

Дано: К ч = 2,1 ч = 4 бита.

Найти: К 6 – ?

Решение:

I ч = log 2 (l/p 4), 4 = log 2 (l/p), 1/р ч = 16, р ч = 1/16 – вероятность доставания черных перчаток;

р = К /N, N = К ч /р ч, N = 2-16 = 32 - всего перчаток в ящике;

3) К 6 = N – К = 32 – 2 = 30 пар белых перчаток.

Ответ: 30 пар белых перчаток.

Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?

Дано: Кб = Кс =8, I 6 = 2 бита.

Найти: К – ?

3) К к = N – К 6 – К с = 32 – 8 – 8 - 16 банок коричневой краски.

Ответ: 16 банок коричневой краски.

В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

Дано: К = 16, I = 2 бита.

Найти: N – ?

1) 1/р 6 = 2 I , 1/р 6 = 2 2 = 4, р 6 = – вероятность доставания белого шара;

2) р б = = , = , К 6 + 18 = 4 , 18 = 3 К 6 ,

К б = 6 – белых шаров;

3) N = К ч +К; = 18 + 6 = 24 шара было в корзине.

Ответ: 24 шара лежало в корзине.

На остановке останавливаются троллейбусы с разными номерами. Сообщение о том, что к остановке подошел троллейбус с номером N1 несет 4 бита информации. Вероятность появления на остановке троллейбуса с номером N2 в два раза меньше, чем вероятность появления троллейбуса с номером N1. Сколько информации несет сообщение о появлении на остановке троллейбуса с номером N2?

Дано: I NI = 4 бита, p N1 = 2p N2

Найти: I N2 - ?

Решение: 1) 1/P N , = 2 1NI =2 4 = 16, p NI = 1/16-вероятность появления троллейбуса N1;

1. p N| = 2-p N2 , p N2 = p N ,/2 = 1/32 – вероятность появления троллейбуса N2;
2. I N2 = log 2 (l/p N2) = log 2 32 = 5 бит - несет сообщение о появлении троллейбуса N2.

Ответ: 5 бит несет сообщение о появлении на остановке троллейбуса №2.

IV. Итоги урока

Оценка работы класса и отдельных учащихся, отличившихся на уроке.

V. Домашнее задание

Уровень знания: Решите задачи:

1. В розыгрыше лотереи участвуют.64 шара. Выпал первый шар. Сколько информации содержит зрительное сообщение об этом?
2. В игре “ лото” используется 50 чисел. Какое количество информации несет выпавшее число?

Уровень понимания:

1. Какое количество информации несет сообщение о том, что встреча назначена на 3 июля в 18.00 часов?
2. Вы угадываете знак зодиака вашего друга. Сколько вопросов вам нужно при этом задать? Какое количество информации вы получите?
3. В ящике лежат фигурки разной формы - треугольные и круглые. Треугольных фигурок в ящике 15. Сообщение о том, что из ящика достали фигуру круглой формы, несет 2 бита информации. Сколько всего фигурок было в ящике?
4. В ведерке у рыбака караси и щуки. Щук в ведерке 3. Зрительное сообщение о том, что из ведра достали карася, несет 1 бит информации. Сколько всего рыб поймал рыбак?

Уровень применения:

Дополнительный материал. 1. Частотный словарь русского языка - словарь вероятностей (частот) появления букв в произвольном тексте – приведен ниже. Определите, какое количество информации несет каждая буква этого словаря.

о	0.090	в	0.035	я	0.018	ж	0.007
е, е	0.072	к	0.028	Ы, 3	0.016	ю, ш	0.006
а, и	0.062	м	0.026	ь, ъ, б	0.014	ц, щ, э	0.003
т, н	0.053	д	0.025	ч	0.013	ф	0.002
с	0.045	п	0.023	й	0.012
р	0.040	У	0.021	X	0.009

2. Используя результат решения предыдущей задачи, определите количество информации в слове “компьютер”.

Используемая литература:

• О.Л. Соколова “ Вероятностный подход к определению количества информации”, Москва, ВАКО, 2006 г.
• журналы “Информатика и образования”, 2007 г.

Количество информации - это числовая характеристика сигнала, отражающая ту степень неопределенности (неполноту знаний), которая исче-зает после получения сообщения в виде данного сигнала.
Эту меру неопределённости в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределённость осталась прежней, значит, информации получено не было (нулевая информация).
Приведённые рассуждения показывают, что между понятиями информация, неопределённость и возможность выбора существует тесная связь. Так, любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.
Рассмотрим пример. Человек бросает монету и наблюдает, какой стороной она упадёт. Обе стороны монеты равноправны, поэтому одинаково вероятно, что выпадет одна или другая сторона. Такой ситуации приписывается начальная неопределённость, характеризуемая двумя возможностями. После того, как монета упадёт, достигается полная ясность, и неопределённость исчезает (становится равной нулю).
Приведённый пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да-нет».
Количество информации, которое можно получить при ответе на вопрос типа «да-нет», называемся битом (англ. bit - сокращённое от binary digit - двоичная единица).
Бит - минимальная единица количества информации, ибо получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.
Рассмотрим систему из двух электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Для такой системы возможны следующие состояния:
Лампа А: 0 0 1 1 ;
Лампа В: 0 1 0 1 .
Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да-нет» по лампочке А и лампочке В, соответственно. В этом случае количество информации, содержащейся в данной системе, определяется уже в 2 бита, a число возможных состояний системы - 4. Если взять три лампочки, то необходимо задать уже три вопроса и получить 3 бита информации. Количество состояний такой системы равно 8 и т. д.
Связь между количеством информации и числом состояний системы устанавливается формулой Хартли.
i= log 2N,
где i - количество информации в битах; N -число возможных состояний. Ту же формулу можно представить иначе:
N=2i.
Группа из 8 битов информации называется байтом.
Если бит - минимальная единица информации, то байт - ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб).
Таким образом, между понятиями «информация», «неопределённость» и «возможность выбора» существует тесная связь. Любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.
Количество информации - это числовая характеристика сигнала, отражающая ту степень неопределённости (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала.

Еще по теме Понятие количества информации:

1. Понятие, виды информации и принципы правового регулирования отношений в сфере информации
2. Журналистика как массово-информационная деятельность. Понятия «информация» и «массовая информация». Массовая информация как продукт массово-информационной деятельности. Массовая информация и социальная информация.

Лабораторная работа № 1

ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ

1 Цель и содержание

Ввести понятие «количество информации»; сформировать у студентов понимание вероятности, равновероятных и неравновероятных событий; научить студентов определять количество информации.

Данное практическое занятие содержит сведения о подходах к определению количества информации в сообщении.

2 Теоретическое обоснование

2.1 Введение понятия «количество информации»

В основе нашего мира лежат три составляющие – вещество, энергия и информация. А как много в мире вещества, энергии и информации? Можно измерить количество вещества, например взвесив его. Можно определить количество тепловой энергии в Джоулях, электроэнергии в киловатт/часах и т. д.

А можно ли измерить количество информации и как это сделать? Оказывается, информацию также можно измерять и находить ее количество. Количество информации в сообщении зависит от его информативности. Если в сообщении содержатся новые и понятные сведения , то такое сообщение называется информативным .

Например, содержит ли информацию учебник информатики для студентов, обучающихся в университете? (Ответ – да). Для кого он будет информативным – для студентов, обучающихся в университете или учеников 1 класса? (Ответ – для студентов, обучающихся в университете он будет информативным, так как в нем содержится новая и понятная ему информация, а для учеников 1 класса он информативным не будет, так как информация для него непонятна).

Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.

Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.

2.2 Вероятностный подход к определению количества информации

Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Например, мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положение «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т. е. ни одно из них не имеет преимущества перед другим.

Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т. е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т. к. мы получает зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т. к. из двух равновероятных событий произошло одно.

Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных . Неопределенность знаний равна шести , т. к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз .

Контрольный пример . На экзамене приготовлено 30 билетов.

1. Чему равно количество событий, которые могут произойти при вытягивании билета? (Ответ – 30).
2. Равновероятны эти события или нет? (Ответ – равновероятны).
3. Чему равна неопределенность знаний студента перед тем как он вытянет билет? (Ответ – 30).
4. Во сколько раз уменьшится неопределенность знаний после того как студент билет вытянул? (Ответ – в 30 раз).
5. Зависит ли этот показатель от номера вытянутого билета? (Ответ – нет, т. к. события равновероятны).

Можно сделать следующий вывод.

Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

Для того, чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту .

Таким образом 1 бит – это количество информации, уменьшающее неопределенность знаний в два раза .

Группа из 8 битов информации называется байтом . Если бит – минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кбт), мегабайт (Мбайт, Мбт) и гигабайт (Гбайт, Гбт).

1 Кбт = 1024 байта = 2 10 (1024) байтов.

1 Мбт = 1024 Кбайта = 2 20 (1024 1024) байтов.

1 Гбт = 1024 Мбайта = 2 30 (1024 1024 1024) байтов.

Существует формула, которая связывает между собой количество возможных событий и количество информации:

N = 2 i ,

где N – количество возможных вариантов;

I – количество информации.

Отсюда можно выразить количество информации в сообщении об одном из N равновероятных событий: I = log 2 N .

Контрольный пример . Пусть имеется колода карт, содержащая 32 различные кары. Мы вытаскиваем одну карту из колоды. Какое количество информации мы получим?

Количество возможных вариантов выбора карты из колоды – 32 (N = 32) и все события равновероятны. Воспользуемся формулой определения количества информации для равновероятных событий I = log 2 N = log 2 32 = 5 (32 = 2 i ; 2 5 = 2 i ; отсюда I = 5 бит).

Если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2 i достаточно легко. Если же количество возможных вариантов не является целой степенью числа 2, то необходимо воспользоваться инженерным калькулятором; формулу I = log 2 N представить как и произвести необходимые вычисления.

Контрольный пример . Какое количество информации можно получить при угадывании числа из интервала от 1 до 11?

В этом примере N = 11. Число 11 не является степенью числа 2, поэтому воспользуемся инженерным калькулятором и произведем вычисления для определения I (количества информации). I = 3,45943 бит.

2.3 Неравновероятные события

Очень часто в жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации. Например:

1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятны летом, а сообщение о снеге – зимой.

2. Если вы – лучший студент в группе, то вероятность сообщения о том, что за контрольную работу вы получите 5, больше, чем вероятность получения двойки.

3. Если в мешке лежит 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.

Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу:

где I – это количество информации;

p – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: где K – величина, показывающая, сколько раз произошло интересующее нас событие; N – общее число возможных исходов какого-то процесса.

Контрольный пример . В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.

1. Найдем вероятность того, что достали белый шар:

2. Найдем вероятность того, что достали красный шар:

3. Найдем количество информации в сообщении о вытаскивании белого шара: бит.

4. Найдем количество информации в сообщении о вытаскивании красного шара: бит.

Количество информации в сообщении о том, что достали белый шар, равно 1, 1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.

При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.

2.4 Алфавитный подход к измерению количества информации

При определения количества информации с помощью вероятностного подхода количество информации зависит от ее содержания, понятности и новизны. Однако любое техническое устройство не воспринимает содержание информации. Поэтому с этой точки зрения используется другой подход к измерению информации – алфавитный.

Предположим, что у нас есть текст, написанный на русском языке. Он состоит из букв русского алфавита, цифр, знаков препинания. Для простоты будем считать, что символы в тексте присутствуют с одинаковой вероятностью.

Множество используемых в тексте символов называется алфавитом. В информатике под алфавитом понимают не только буквы, но и цифры, и знаки препинания, и другие специальные знаки. У алфавита есть размер (полное количество его символов), который называется мощностью алфавита. Обозначим мощность алфавита через N . Тогда воспользуемся формулой для нахождения количества информации из вероятностного подхода: I = log 2 N . Для расчета количества информации по этой формуле нам необходимо найти мощность алфавита N .

Контрольный пример . Найти объем информации, содержащейся в тексте из 3000 символов, и написанном русскими буквами.

1. Найдем мощность алфавита:

N = 33 русских прописных буквы + 33 русских строчных буквы + 21 специальный знак = 87 символов.

2. Подставим в формулу и рассчитаем количество информации:

I = log 2 87 = 6,4 бита.

Такое количество информации – информационный объем – несет один символ в русском тексте. Теперь, чтобы найти количество информации во всем тексте, нужно найти общее количество символов в нем и умножить на информационный объем одного символа. Пусть в тексте 3000 символов.

6,4 3000 = 19140 бит.

Теперь дадим задание переводчику перевести этот текст на немецкий язык. Причем так, чтобы в тексте осталось 3000 символов. Содержание текста при этом осталось точно такое же. Поэтому с точки зрения вероятностного подхода количество информации также не изменится, т. е. новых и понятных знаний не прибавилось и не убавилось.

Контрольный пример . Найти количество информации, содержащейся в немецком тексте с таким же количеством символов.

1. Найдем мощность немецкого алфавита:

N = 26 немецких прописных буквы + 26 немецких строчных букв + 21 специальный знак = 73 символа.

2. Найдем информационный объем одного символа:

I = log 2 73 = 6,1 бит.

3. Найдем объем всего текста:

6,1 3000 = 18300 бит.

Сравнивая объемы информации русского текста и немецкого, мы видим, что на немецком языке информации меньше, чем на русском. Но ведь содержание не изменилось! Следовательно, при алфавитном подходе к измерению информации ее количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте. С точки зрения алфавитного подхода, в толстой книге информации больше, чем в тонкой. При этом содержание книги не учитывается.

Правило для измерения информации с точки зрения алфавитного подхода:

1. Найти мощность алфавита – N.
2. Найти информационный объем одного символа – I = log 2 N .
3. Найти количество символов в сообщении – K .
4. Найти информационный объем всего сообщения – K I ..

Контрольный пример . Найти информационный объем страницы компьютерного текста.

Примечание . В компьютере используется свой алфавит, который содержит 256 символов.

1. Найдем информационный объем одного символа:

I = log 2 N, где N = 256.

I = log 2 256 = 8 бит = 1 байт .

2. Найдем количество символов на странице (примерно, перемножив количество символов в одной строке на количество строк на странице).

40 символов на одной строке 50 строк на странице = 2000 символов.

3. Найдем информационный объем всей страницы:

1 байт 2000 символов = 2000 байт.

Информационный объем одного символа несет как раз 1 байт информации. Поэтому достаточно подсчитать количество символов в тексте, которое и даст объем текста в байтах.

Например, если в тексте 3000 символов, то его информационный объем равен 3000 байтам.

3 Задания

1. Какое количество информации будет получено при отгадывании числа из интервала от 1 до 64; от 1 до 20?

2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле 3 x 3; 4 x 4?

3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации?

4. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

5. В коробке лежат 36 кубиков: красные, зеленые, желтые, синие. Сообщение о том, что достали зеленый кубик, несет 3 бита информации. Сколько зеленых кубиков было в коробке.

6. В группе учатся 12 девочек и 8 мальчиков. Какое количество информации несет сообщение, что к доске вызовут девочку; мальчика?

7. Найти объем текста, записанного на языке, алфавит которого содержит 128 символов и 2000 символов в сообщении.

8. Найти информационный объем книги в 130 страниц.

9. Расположите в порядке возрастания:

1 Мбт, 1010 Кбт, 10 000 бит, 1 Гбт, 512 байт.

10. В пропущенные места поставьте знаки сравнения <, >, =:

1 Гбт … 1024 Кбт … 10 000 бит … 1 Мбт … 1024 байт.

4 Контрольные вопросы

1. Какое сообщение называется информативным?

2. Что значит событие равновероятно; неравновероятно?

3. Что такое 1 бит информации?

4. Как определить количество информации для равновероятных событий?

5. Как определить количество информации для неравновероятных событий?

6. В чем заключается алфавитный подход к измерению количества информации

5 Домашняя работа

1.Установите знаки сравнения (<, > , =):

1байт 32бита 4байта 1Мбайт 1024Кбайт

2.Упорядочите по убыванию:

5байт 25бит 1Кбайт 1010байт

3.Упорядочите по возрастанию:

2Мбайта 13байт 48бит 2083Кбайт

4.Книга содержит 100 страниц; на каждой странице по 35 строк, в каждой строке - 50 символов. Рассчитать объем информации, содержащийся в книге.

5.Имеется следующая черно-белая картинка. Определите информационный объем этой картинки.

6.В языке племени Мумбо-Юмбо всего 129 разных слов. Сколько бит нужно чтобы закодировать любое из этих слов?

8.Дана черно-белая картинка. Определите количество информации, содержащейся в картинке.

9.Информационный объем черно-белой картинки равен 6000бит. Какое количество точек содержит картинка

Количество информации как мера уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Сообщения обычно содержат информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле:

или из показательного уравнения:

Пример 2.1. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегосяA, который выучил лишь половину билетов, и сообщение об оценке учащегосяB, который выучил все билеты.

Опыт показывает, что для учащегося Aвсе четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:

I = log 2 4 = 2 бит

На основании опыта можно также предположить, что для учащегося Bнаиболее вероятной оценкой является «5» (p 1 = 1/2), вероятность оценки «4» в два раза меньше (p 2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p 3 = p 4 = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:

I = -(1/2Elog 2 1/2 + 1/4Elog 2 1/4 + 1/8Elog 2 1/8 + 1/8Elog 2 1/8) бит = 1,75 бит

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.

Пример 2.2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

p б = 0,1; p к = 0,2; p з = 0,3; p с = 0,4

События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:

I = -(0,1·log 2 0,1+ 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) бит

Пример 2.3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое - ответу «Нет».

Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).

По формуле 2.2 и с помощью калькулятора получаем:

I = log 2 12 »3,6 бит

Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.

Единицы измерения количества информации

Единицы измерения количества информации. За единицу количества информации принят 1 бит - количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Принята следующая система единиц измерения количества информации:

1 байт = 8 бит

1 Кбайт = 2 10 байт

1 Мбайт = 2 10 Кбайт = 2 20 байт

1 Гбайт = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт

Определение количества информации, представленной с помощью знаковых систем

Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.

Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.

Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.

Пример 2.5. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.

Перевести информационный объем сообщения в биты:

I = 10 240 бит

Определить количество бит, приходящееся на один символ:

10 240 бит: 2 048 = 5 бит

По формуле 2.3 определить количество символов в алфавите.

По информатике

Количество информации

Введение

2. Неопределенность, количество информации и энтропия

3. Формула Шеннона

4. Формула Хартли

5. Количество информации, получаемой в процессе сообщения

Список использованной литературы

Введение

По определению А.Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

1.Бит

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

1 бит (bit - сокращение от англ. binary digit - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины – информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: «0» или «1».

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации – количество информации, получаемое в результате подбрасывания монеты – “орел” или “решка”.

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.

2.Неопределенность, количество информации и энтропия

Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.

Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p 0 =0, p 1 =1) и (p 0 =1, p 1 =0).

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H t + I t = H.

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

3.Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0 , p 1 , …p N -1 }, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".

В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.

Формула Шеннона имеет следующий вид:

(1)

Рис. 3. Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Напомним, что такое логарифм.

Логарифм по основанию 2 называется двоичным:

log 2 (8)=3 => 2 3 =8

log 2 (10)=3,32 => 2 3,32 =10

Логарифм по основанию 10 –называется десятичным:

log 10 (100)=2 => 10 2 =100

Основные свойства логарифма:

1. log(1)=0, т.к. любое число в нулевой степени дает 1;

2. log(a b)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log(a/b)=log(a)-log(b);

5. log(1/b)=0-log(b)=-log(b).

Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что p i £1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма

, поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы. интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I 0 , I 1, … I N -1 }.