УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

Дисктретные системы передачи информации.

Условной энтропией величины при наблюдении величины называется

Справедливы соотношения:

Взаимной информацией величин и называется

Справедливы следующие соотношения:

Если и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности

3) формула Байеса

Рассмотрим пример.

Пример 1.Дана матрица

, .

Определить:

Решение. По формуле полной вероятности имеем:

Следовательно,

По теореме умножения

Следовательно,

Аналогично

Непрерывные системы передачи информации.

Пусть - реализации непрерывного сообщения на входе какого-либо блока схемы связи, - реализация выходного сообщения (сигнала), - одномерная плотность вероятности ансамбля входных сообщений, - одномерная плотность вероятности ансамбля выходных сообщений, - совместная плотность вероятности, - условная плотность вероятности

при известном Тогда для количества информации справедливы следующие соотношения:

,

Здесь - взаимная информация между каким-либо значением входного и значением выходного сообщений, - средние значения условной информации, - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

Когда и статистически связаны между собой, то

При независимых и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

Пример 1. На вход приемного устройства воздействует колебание где сигнал и помеха - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно и

Определить: 1) количество взаимной информации которое содержится в каком-либо значении принятого колебания о значении сигнала 2) полную среднюю взаимную информацию

Решение.По условию задачи представляет собой сумму независимых колебаний и которые имеют нормальные плотности вероятности. Поэтому

1. Количество информации определяется по формуле:

2. Полная средняя взаимная информация:

где - знак усреднения по множеству.

Таким образом,

дв. ед.

Задачи

3.3.1. Сигнал подается на вход канала с вероятностью и отсутствует с вероятностью Поступивший сигнал воспроизводится на выходе с вероятностью и теряется с вероятностью Найти энтропию выхода, энтропию входа, взаимную информацию входа и выхода ;

3.3.2. Используя исходные данные задачи 1.3.6., определить энтропию входа условную энтропию и взаимную информацию

3.3.3. Для двоичного симметричного канала со стиранием заданы:

- вероятность правильной передачи каждого символа;

- вероятность передачи единицы на входе;

- вероятность стирания каждого символа.

Используя исходные данные определить

3.4. Контрольные вопросы

3.4.1. Дать определение условной энтропии.

3.4.2. Сформулировать закон аддитивности энтропии в общем случае.

3.4.3. Что является единицей измерения энтропии?

3.4.4. Какие формулы используются для расчета условной энтропии?

3.4.5. Какие формулы используются для расчета взаимной информации?

3.4.6. Как определяется полная средняя взаимная информация?

3.4.7. Как определяется условная энтропия в непрерывной системе передачи информации?

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Бауэр Ф., Тод Р. Информатика. - М.: Мир, 1990.

2. Гаценко Б.В. Теория вероятностей. - М.: Наука, 1988.

3. Горяинов В.Т., Журавлев Л.Т., Тихонов В.И. Статистическая радиотехника: Примеры и задачи. - М.: Сов.радио, 1980.

4. Темников Ф.Е., Афонин В.А., Дмитриев В.И. Теоретические основы информационной техники. - М.: Энергия, 1971.

5. Юсупова Н.И., Гузаиров М.Б., Гончар Л.Е., Сметанина О.Н., Хисамутдинов Р.А. Защита информации в вычислительных системах: Учебное пособие / Уфа: УГАТУ, 2000.

6. Гмурман В.Е. Теория вероятностей и математическая статистика. Учебное пособие для вузов. – М.: Высшая школа, 2001.

7. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике: Учебное пособие для вузов. – М.: Высшая школа, 2001.

ЗНАЧЕНИЕ ФУНКЦИИ

	Таблица
0.00	0.0000	0.26	0.5053	0.52	0.4906	0.78	0.2796
0.01	0.0664	0.27	0.5100	0.53	0.4854	0.79	0.2678
0.02	0.1129	0.28	0.5142	0.54	0.4800	0.80	0.2575
0.03	0.1517	0.29	0.5179	0.55	0.4744	0.81	0.2462
0.04	0.1857	0.30	0.5211	0.56	0.4684	0.82	0.2348
0.05	0.2161	0.31	0.5238	0.57	0.4623	0.83	0.2231
0.06	0.2435	0.32	0.5260	0.58	0.4558	0.84	0.2113
0.07	0.2686	0.33	0.5278	0.59	0.4491	0.85	0.1993
0.08	0.2915	0.34	0.5292	0.60	0.4422	0.86	0.1871
0.09	0.3127	0.35	0.5301	0.61	0.4350	0.87	0.1748
0.10	0.3322	0.36	0.5306	0.62	0.4276	0.88	0.1623
0.11	0.3503	0.37	0.5307	0.63	0.4199	0.89	0.1496
0.12	0.3671	0.38	0.5304	0.64	0.4121	0.90	0.1368
0.13	0.3826	0.39	0.5298	0.65	0.4040	0.91	0.1238
0.14	0.3971	0.40	0.5288	0.66	0.3957	0.92	0.1107
0.15	0.4105	0.41	0.5274	0.67	0.3871	0.93	0.0978
0.16	0.4230	0.42	0.5856	0.68	0.3784	0.94	0.0839
0.17	0.4346	0.43	0.5236	0.69	0.3694	0.95	0.0703
0.18	0.4453	0.44	0.5211	0.70	0.3602	0.06	0.0565
0.19	0.4552	0.45	0.5181	0.71	0.3508	0.97	0.0426
0.20	0.4644	0.46	0.5153	0.72	0.3412	0.98	0.0286
0.21	0.4728	0.47	0.5120	0.73	0.3314	0.99	0.0140
0.22	0.4806	0.48	0.5083	0.74	0.3215	1.00	0.0000
0.23	0.4877	0.49	0.5043	0.75	0.3113
0.24	0.4941	0.50	0.5000	0.76	0.3009
0.25	0.500	0.51	0.4954	0.77	0.2903

Указания к решению задач

1. Указания по теме 1:

к задаче 1:

2. Указания по теме 1:

к задаче 2:

.

Не нашли, что искали? Воспользуйтесь поиском по сайту: