Сделай Сам Свою Работу на 5

Совместная и условная энтропия непрерывных сообщений





Непрерывные источники информации

Энтропия непрерывных источников информации

До сих пор нами рассматривались дискретные по уровню случайные процессы и сигналы, у которых множество возможных состояний конечно (или счетное). Обобщим теперь рассмотренный материал на случай, когда множество состояний источника непрерывно. Источники информации, множество возможных состояний которых составляют континуум, называют непрерывными. Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передается и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телеизмерений с частотным разделением сигналов.

Основные информационные характеристики источников непрерывных сообщений следующие:

− энтропия;

− условная энтропия;

− эпсилон-энтропия;

− эпсилон-производительность;

− избыточность;

− объем информации.

Известно, что непрерывное сообщение как случайная величина характеризуется дифференциальным законом распределения вероятностей w(x). Пусть функция распределения плотности вероятности непрерывного сообщения имеет вид (рис. 3.3). Формулу для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы (2.11) для энтропии дискретного источника. Для этого разобьем диапазон изменения непрерывной случайной величины x на конечное число m малых интервалов шириной Δxi (рис. 3.3).



 

 

Рисунок 3.3 – Зависимость плотности распределения вероятностей

случайной величины

 

При реализации любого значения x, принадлежащего интервалу [xi, xi+Δx], будем считать, что реализовалось значение xi дискретной случайной величины X. Так как Δx мало, то вероятность p(xi x≤ Δx) реализации значения x из интервала [xi, xi+Δx] равна

 

. (2.62)

 

Тогда энтропия дискретной случайной величины X может быть записана в виде

 

. (2.63)

 

Если , то

. (2.64)

 

По мере уменьшения Δx вероятность p(xi x≤ Δx) все больше приближается к вероятности p(xi), равной нулю, а свойство дискретной величины X – к свойствам непрерывной случайной величины x. В результате предельного перехода при Δx→0, с учетом получено



 

. (2.65)

 

Первый член выражения (2.65) зависит только от закона распределения непрерывной случайной величины x и имеет такую же структуру как энтропия дискретного источника. Второй член выражения (2.65) при Δx→0 стремится к бесконечности. Следовательно, энтропия непрерывного сообщения должна быть равна бесконечности, что полностью соответствует интуитивному представлению о том, что неопределенность выбора бесконечно большого числа возможных состояний бесконечно велика.

Чтобы избавить теорию от бесконечности, имеется единственная возможность – ввести относительную меру неопределенности исследуемой непрерывной случайной величины x по отношению к заданной x0. В качестве заданной величины x0 возьмем непрерывную случайную величину, равномерно распределенную на интервале с шириной ε=β−α. Тогда ее плотность вероятности w(x0)=1/e, а энтропия

 

.

Положив для простоты записи ε = 1, составим разность

 

, (2.66)

 

которая показывает, насколько неопределенность непрерывной случайной величины x с законом распределением w(x) больше [HΔ(x)>0] или меньше [HΔ(x)<0] неопределенности случайной величины, распределенной равномерно на интервале ε = 1. Поэтому величину

 

(2.67)

называют относительной дифференциальной энтропией или просто дифференциальной энтропией непрерывного источника информации (непрерывного распределения случайной величины x). В отличие от энтропии источников дискретных сообщений дифференциальная энтропия может принимать положительные, отрицательные и нулевые значения и имеет смысл средней неопределенности выбора случайной величины с произвольным законом распределения за вычетом неопределенности случайной величины, равномерно распределенной в единичном интервале.



 

Совместная и условная энтропия непрерывных сообщений

 

Аналогично, используя операцию квантования и предельного перехода, найдем выражение для совместнойэнтропии непрерывных источников сообщений. Если X и Y являются непрерывными случайными величинами, то по аналогии с выражением для безусловной энтропии (2.67) выражение для энтропии объединения сообщений X и Y можно представить в виде

 

.

Произведя интегрирование в перовом слагаемом по Y и учитывая, что получим

(2.68)

где HΔ(X) – дифференциальная энтропия, w(X, Y) – плотность совместного распределения X и Y; w(X) – плотность распределения X; w(X/Y) – условная плотность распределения; HΔ(Y/X) – условная дифференциальная энтропия, которая равна

 

. (2.69)

 

Условная дифференциальная энтропия характеризует среднюю неопределенность выбора непрерывной случайной величины с произвольным законом распределения при условии, что известны результаты реализации другой, статистически связанной с ней непрерывной случайной величины, за вычетом средней неопределенности выбора случайной величины, имеющей равномерное распределение на единичном интервале.

Свойства дифференциальной энтропии:

1. Величина HΔ(x) изменяется при изменении масштаба измерения x. Изменим масштаб случайной величины x в k раз, оставив неизменным масштаб равномерно распределенной в единичном интервале случайной величины x0, принятой за эталон. Если xi = kx, то w(xi) = w(x)/k. Тогда

 

. (2.70)

 

Если одновременно изменить масштаб x0, соотносительная неопределенность также изменится, так как значение эталона будет уже иным. Из относительной дифференциальной энтропии следует, что энтропия может принимать положительные, отрицательные и нулевые значения.

2. Дифференциальная энтропия не зависит от конкретных значений случайной величины x и, в частности, от изменений всех ее значений на постоянное. Действительно, масштаб x при этом не меняется и справедливо равенство

. (2.71)

 

3. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников аналогичны соответствующим формулам для дискретных источников

 

, (2.74)

где .

4. Если статистические связи между X и Y отсутствуют, то

. (2.75)

 








Не нашли, что искали? Воспользуйтесь поиском по сайту:



©2015 - 2024 stydopedia.ru Все материалы защищены законодательством РФ.