Формы и параметры сообщения

Основы теории информации сообщений

Определение информации

Радиотехника, как наука о методах и средствах передачи и приема сообщений на расстояние, тесно связана с теорией информации. Поэтому первый вопрос, который следует внимательно рассмотреть, приступая к изучению радиотехники, состоит в определении понятия «сообщения», вытекающего, в свою очередь, из более обширной категории - «информация». Последний термин происходит от латинского слова «informatio», означающего изложе­ние, разъяснение.

В обыденном смысле под информацией мы обычно понимаем совокупность передаваемых или хранящихся сведений об окружающем нас мире и происходящих в нем явлениях и событиях. Информация может быть представлена в различных формах, например, в виде: устной речи, передаваемой от одного человека слушателям; печатного текста книги, журнала или газеты; фотографии или художественной картины; кинофильма или телевизионного изображения, объединяемых общим понятием «видеоинформация»; совокупности электронных данных, хранящиеся на магнитных носителях или компакт дисках, используемых в компьютерах.

Последний вид информации получил название электронной. Ее роль в повседневной жизни человека и во всех сферах его деятельности - производственной, торговой, финансовой, военной и других - с каждым годом все более возрастает, что позволяет утверждать, что XXI век будет столетием информационных технологий. Internet( (Интернет) - глобальная мировая сеть, объединившая миллионы компьютеров и позволяющая обмениваться электронной информацией миллионам людей, является наглядным тому подтверждением.

Теория информации используется в самых разнообразных науках: связи, радиолокации, телевидении, медицине, биологии, генетике, лингвистике и других областях [29, 30, 36]. Поэтому понятие «информация» требует более точного определения, основанного на количественных критериях. Поскольку сведениям, поступающим с некоторого физического объекта или иного носителя информации, почти всегда присуща некоторая неопределенность, то данные кри­терии вытекают из понятий теории вероятностей. Например, к дис­петчеру на аэродроме поступают данные о высоте, направлении и скорости полета, расходе топлива и другие сведения с самолетов, находящихся в его зоне контроля. При медицинском обследовании человека врач анализирует сведения о температуре тела пациента, кровяном давлении, остроте зрения и слуха и т.д. Однако, какие точно сведения будут получены в каждом конкретном случае, ни диспетчеру, ни врачу неизвестно. Они могут только знать о возмож­ном разбросе значений различных параметров.

В этой связи рассмотрим простой случай. Положим в ящик стола восемь шаров, на которых нанесем цифры 1, 2, 3, 4 ,5, 6, 7, 8. Ве­роятность того, что мы вынем из ящика шар с той или иной цифрой, очевидно, равна 1/8. Такая вероятность, определяемая до прове­дения опыта, называется априорной. Обозначим ее через р₁ . Вы­нув из ящика шар и взглянув на его номер, мы перейдем к апосте­риорной вероятности, которая в рассматриваемом случае равна 1. Обозначим ее через р₂.

Отношение вероятности р₂ (после опыта) к вероятности р₁ (до опыта) и может явиться количественным носителем информации. Однако, поскольку значение этого отношения может быть очень большим, то информация оценивается как логарифм данной вели­чины: I=log_a(p₂/p₁).

Из сказанного следует, что понятие «информация» связано с получением новых сведений. Если заранее со 100%-ной вероятно­стью известно содержание принятого сообщения (р₁ = р₂ = 1) , то никакой новой информации получено не будет и, следовательно, значение I=0. Так, например, сообщение о событии, прослушанное нами по второму каналу телевидения, о котором мы уже узнали из передачи по первому каналу, не принесло нам новой информации и, следовательно, в этом случае значение I=0.

В качестве основания логарифма «а» может использоваться Любое число. Однако в большинстве случаев в технических прило­жениях теории информации принимают а = 2, поскольку передача с Сообщений в технике связи и компьютерах базируется на двоичной системе счисления.

При равной вероятности всех передаваемых М сообщений или событий, происходящих с физическим или иным объектом, и пред­ставлении р₁ в виде p₁ = 1/M = 1/2ⁿ получим из последнего выраже­ния при а = 2 и р₂ = 1.

I = log₂M = log₂(2ⁿ) = n (1.1)

Таким образом, при основании логарифма а = 2. величина I рав­на числу двоичных единиц, называемых битами. В рассмотренном выше примере с восемью шарами (М = 8) значение
n = log₂ (8) = 3 и, следовательно, I = 3 битам. Очевидно, при 16 шарах значение n = I = 4 битам; при 32 шарах значение n = I = 5 битам и т.д.

Рассмотрим теперь случай буквенно-цифрового текста, содер­жащего К знаков - букв, цифр и иных значков, общее число которых равно М. Будем считать появление в тексте любой буквы или циф­ры равновероятным, т.е. примем для априорной вероятности р₁ = 1/М. Следовательно, при хранении этого текста на магнитном диске, записанного с помощью двоичного кода, получим для общего количества информации:

A = K log₂M = K·n , (1.2)

Например, при К = 1000, М = 64 и п = log₂ М = 6 получим для об­щего количества информации, содержащейся в хранимом тексте, А = 6000 бит = 6 kбит.

С учетом разной вероятности появления в тексте той или иной буквы или цифры количество информации будет несколько отли­чаться от значения, полученного согласно (1.2).

Рассмотрим теперь случай, когда возможен прием множества символов х_1,х₂,х₃,х₄,..., х_m с разными априорными вероятностями p_1,p₂,p₃,p₄,..., p_m

Сумма вероятностей

Согласно (1.3) и (1.4) энтропия есть среднее значение бит ин­формации, приходящееся на один символ или одно состояние фи­зического объекта. Следовательно, размерность энтропии есть бит/символ.

Пусть вероятность приема символа х₁ есть р₁ = 0,01, х₂ → р₂ = 0,1, х₃ → р₃ = 0,15, х₄ → р₄ = 0,25 х₅ → р₅ = 0,49. Тогда согласно (1.3) при а = 2 для энтропии получим Н = 1,827 бит/символ.

Можно показать, что значение энтропии максимально при рав­ной вероятности всех символов сообщения или состояний объекта. В рассмотренном примере при равной вероятности всех символов р = 0,2 энтропия Н= 2,322 бит/символ.

Рассмотрим случай объединения двух независимых систем или групп сообщений:

- первая система X имеет М состояний х₁, х₂, х₃, х₄,...,х_м с апри­орными вероятностями р_1Х , р_2Х , р_3Х, р_4Х,…, р_mХ, и энтропией Н(Х);

-вторая система У имеет К состояний у₁ , у₂ , у₃, у₄, ... y_k С априор­ными вероятностями: р_1y , р_2y , р_3y, р_4y,…, р_my, и энтропией Н(Y);

Тогда объединенная или сложная система (X, Y) будет иметь М-К состояний с априорными вероятностями р_ij= р_iр_j и энтропией

Это выражение приводится к виду H(X,Y) = Н(Х) + H(Y) , т.е. при объединении независимых систем или групп символов их энтропии складываются [36]. Такое качество объединенной системы называ­ется свойством аддитивности, вытекающим из логарифмического характера рассматриваемых зависимостей.

Таким образом, два статистических параметра - количество ин­формации и энтропия - характеризуют в первую очередь информа­ционные возможности сообщений или состояний системы.

Формы и параметры сообщения

Информация с момента ее передачи становится сообщением, которое в системах электросвязи на выходе источника может принимать две формы - аналогового или дискретного электрического сигнала. Аналоговый сигнал описывается непрерывной (или кусочно-непрерывной) функцией времени, дискретный - функцией, имеющей конечное число фиксированных значений.

Например, при передаче речи с помощью микрофона на его вы­ходе возникает электрический сигнал, описываемый непрерывной функцией времени (рис. 1.1,а).

В компьютере информация из электронной памяти или путем считывания с компакт-диска поступает в системный блок в дискрет­ной, точнее цифровой форме, представляемой в виде комбинации элементарных посылок 1 и 0 (рис. 1.1,б).

Телевизионное изображение может передаваться как в аналого­вой, так и цифровой форме. Во втором случае телевидение назы­вается цифровым.

Сообщение оценивается с помощью таких параметров как ско­рость передачи, объем, достоверность, степень закрытости. Рас­кроем их содержание.

Скорость передачи сообщения.При передаче цифрового со­общения в виде комбинации 1 и 0 или, иначе говоря, двоичным ко­дом, элементарная посылка называется битом. Так на рис. 1.1,6 сообщение состоит из 9 бит и включает шесть 1 и три 0. Восемь бит называется байтом. Заметим, что слово «бит» происходит от анг­лийского слова «binary digit» -двоичная цифра.

Более крупными единицами измерения информации являются: килобит (кбит), мегабит (Мбит), гигабит (Гбит) или килобайт (кбайт), мегабайт (Мбайт), гигабайт (Гбайт), соответственно равные: 1 кбайт= = 2¹⁰ байт = 1024 байт, 1 Мбайт = 2²⁰ байт = 1024 кбайт, 1 Гбайт = =2³⁰байт= 1024 Мбайт.

Количество бит или байт, передаваемых в секунду, есть ско­рость передачи сообщения, которая определяется, как бит/с или байт/с. При повышенной скорости передачи она измеряется как Кбит/с, Мбит/с, Гбит/с или кбайт/с, Мбайт/с, Гбайт/с.

В случае аналогового сообщения (рис. 1.1,а) скорость его пере­дачи определяется верхней частотой в спектре сигнала. Так на­пример, при передаче речи можно ограничиться верхней частотой в спектре передаваемого сообщения в 3,4 кГц, а цветного телевизи­онного изображения - 6,5 МГц.

Объем передаваемого сообщения. Количество или объем пе­реданного цифрового сообщения двоичным кодом

A = V·t, (1.5)

где V - скорость передачи сообщения, бит/с (или кбит/с, Мбит/с, Гбит/с), t- время передачи сообщения, секунды.

Согласно (1.5) объем передаваемого сообщения в цифровой форме определяется в битах или байтах, килобайтах, мегабайтах и гигабайтах. В тех же единицах измеряется объем хранящейся ин­формации, в том числе на магнитных носителях - дискетах и ком­пакт-дисках - электронной информации для компьютеров. При оп­ределении объема переданного аналогового сообщения последний следует перевести в цифровую форму (см. § 1.3), после чего опре­делить количество информации согласно (1.5).

Для уменьшения объема передаваемой информации осуществ­ляют сжатие сообщения, представленного в цифровой форме. Сущность «сжатия» состоит в том, что согласно определенному алгоритму, учитывающему особенности передаваемой информа­ции, по каналу связи передаются не все биты после первоначаль­ного кодирования, а меньшее их число (см. § 1.3, 1.5). На приемном концерадиолинии, зная правила «сжатия», исходное сообщение восстанавливают в полном объеме. В результате удается, напри­мер,с высоким качеством передать фотографию в относительно узкополосном канале связи. Сжатие цифрового сообщения в опре­деленном смысле подобно стенографии - сокращенному письму С помощью особых кратных знаков, позволяющее превысить по бы­стротеобычное письмо в несколько раз.

Достоверность сообщения. В принятое сообщение могут по разнымпричинам вкрасться ошибки. Одной из причин здесь явля­етсядействие помех на передаваемое сообщение (см. § 13.1). В результате при приеме цифрового сообщения переданный сим­вол 1 может быть воспринят как 0 и наоборот. Сравнив переданное сообщениес принятым, можно определить, сколько ошибок вкралосьв передачу сообщения от ее источника к получателю. Так например,на рис. 1.2 в переданном сообщении из 12 символов два принятос ошибкой.

Достоверность сообщения можно определить через количество неправильно, ошибочно принятых символов X, отнесенных к обще­му числу переданных символов А:

Н = Х/А.

Например, при X = 1 и А = 10000 значение Н = 10 ^-4 , при X = 1 и А = 10 ⁶ значение Н = 10^-6 . Поскольку действие помех во многих случаях носит случайный характер, то параметр Н называют веро­ятностью ошибки принятого символа.

Степень закрытости сообщения.Во многих случаях требуется обеспечить секретность или закрытость переданного сообщения, т.е. его правильное понимание только тем корреспондентом, которому оноадресовано. Такое требование обязательно в военном деле: противник не должен перехватить и рассекретить передаваемую ин­формацию, что может привести к трагическим последствиям. Часто требуется закрывать информацию экономического характера, дабы обезопасить себя от конкурентов. Также при передаче банковской информации требуется обеспечить ее конфиденциальность.

Секретность или закрытость передаваемого кодированного со­общения обеспечивается шифрованием. Кодированием называется правило, согласно которому одни символы сообщения заменяются другими. Например, каждой букве алфавита ставится в соответст­вие определенное число или точки и тире, как в коде Боде. Шифро­вание обеспечивает засекречивание сообщения согласно опреде­ленному алгоритму и «ключу».

Не нашли, что искали? Воспользуйтесь поиском по сайту: