Лекция 6. Передача информации по каналу с шумом. Помехоустойчивое кодирование

СОДЕРЖАНИЕ

дисциплины "Теория кодирования информации"

и примерный список литературы по разделам курса

На 2007-2008уч.г.

Лекция 1. Понятие об информации и ее передаче. Предмет изучения теории информации

1.1. Введение

1.1.1. Понятие информации [1, 4]

1.1.2. Знаки. Знаковые системы. Семиотика [1, 2, 3, 6]

1.2. Предмет изучения теории информации и кодирования [7, 8, 9]

Лекция 2. Понятие о системе связи

2.1. Электрические сигналы и виды каналов электросвязи [46, 16, 18, 48]

2.1.1. Электрические сигналы

2.1.2. Виды каналов

2.2. Методы физического кодирования данных [46, 16, 18, 8]

2.2.1. Асинхронная и синхронная передача

2.2.2. Цифровая и аналоговая модуляция

2.2.2.1. Цифровая (узкополосная) модуляция

2.2.2.2. Аналоговая (полосовая) модуляция

2.3. Характеристики современных каналов связи [18]

2.4. Модели системы связи

2.4.1. Общая модель системы связи по К.Шеннону [13, 14, 47]

2.4.2. Детализированная модель системы связи [15, 16]

2.4.3. Блочная диаграмма реальной системы цифровой связи и основные этапы преобразования информации [16]

2.5. Вероятностная модель дискретного канала связи [29]

Лекция 3. Формирование цифровых сообщений

3.1. Классификация сигналов [9, 13, 16, 17]

3.2. Формирование цифровых сообщений. Аналого-цифровое преобразование

3.2.1. Дискретизация сигналов. Теорема Котельникова [1, 5, 9, 30]

3.2.2.Импульсно-кодовая модуляция [12, 16, 18, 19, 30]

3.2.3. Компандирование. А- и m-законы [18, 12, 16, 30]

3.2.4. Табличная реализация компандирования по А- m-законам [18]

3.1. Алгоритмы импульсно-кодовой модуляции [20]

3.1.1. Модуляция Робертса (псевдошумовое квантование)

3.1.2. Квантование с улучшенной передачей градаций яркости

3.1.3. Квантование с грубой-тонкой шкалой

3.1.4. Квантование изображений с диффузией ошибки по Флойду-Стейнбергу [21]

3.4. Дифференциальная импульсно-кодовая модуляция [12, 16, 20, 23]

3.4.1. Кодирование с предсказанием

3.4.2. Предсказание на основе интерполирующего многочлена

3.5. Адаптивная ДИКМ [22]

3.6. Алгоритм IMA ADPCM [24]

3.7. Дельта-модуляция [25, 26, 27, 28]

3.7.1. Дельта-модуляция первого порядка

3.7.2. Адаптивная ДМ: мгновенное и слоговое компандирование

3.7.3. Дельта-модуляция второго и более высоких порядков

3.5. Понятие векторного квантования [12, 16, 23]

Лекция 4. Количественные информационные характеристики дискретных источников сообщений и каналов

4.1. Классификации подходов к оценке количества информации

4.2. Количество информации в дискретном сообщении. Синтаксические меры информации [1, 5, 6, 7, 12, 31, 32, 33, 34, 35, 47, 48]

4.2.1. Мера неопределенности (комбинаторный подход)

4.2.2. Понятие об энтропии (вероятностный подход)

4.2.3. Алгоритмический подход

4.3. Избыточность источника дискретных сообщений [6, 7, 13, 35]

4.4. Количественные информационные оценки для связанных дискретных источников (с памятью) [6, 9, 33, 35, 47]

4.4.1.Условная и взаимная информация

4.4.2. Совместная и условная энтропия

4.4.3. Средняя взаимная информация и ее свойства

4.4.4. Применение условной энтропии при оценке информативности связанных дискретных источников

4.5. Производительность источника дискретных сообщений [6,9,33,35]

4.6. Пропускная способность дискретного канала [6,9,33,35]

Лекция 5. Эффективное кодирование сообщений

5.1. Общая постановка задачи кодирования источника [13, 9, 12, 41, 6, 35, 47]

5.1.1. Кодовые слова фиксированной длины

5.1.2. Неравномерные коды. Однозначное и мгновенное декодирование. Неравенство Крафта

5.1.3. Обобщенная теорема кодирования источника

5.1.4. Базовые стратегии компрессии данных

5.2. Методы оптимального кодирования дискретных источников без памяти [13, 35, 47, 48]

5.2.1. Метод Шеннона

5.2.2. Метод Фано (Шеннона-Фано)

5.2.3. Построение оптимальных кодов по алгоритму Хаффмана [39, 42, 6, 37, 35]

5.2.4. Арифметическое кодирование [6, 39, 37, 45]

5.2.5. Монотонные коды (унарный код, код Левенштейна)

5.2.6. Кодирование целых чисел с разделением экспонент и мантисс (SEM). Коды Элайеса [36]

5.3. Построение оптимальных кодов для дискретных стационарных источников с памятью [6, 37, 39, 41]

5.3.1. Групповое сжатие (длины серий)

5.3.2. Словарные методы сжатия данных. Метод Лемпеля-Зива и его основные модификации

5.3.2.1. Алгоритм LZ77

5.3.2.2. Алгоритм LZSS

5.3.2.3. Алгоритмы класса LZ78

5.3.2.4. Варианты улучшения сжатия для LZ-методов

5.4. Методы трансформации (преобразования) данных для повышения эффективности сжатия [37, 41, 43]

5.4.1. Кодирование по методу "стопки книг"

5.4.2. Преобразование Барроуза-Уиллера (BWT)

5.5. Методики сравнения алгоритмов компрессии. Наборы тестовых данных [37]

Лекция 6. Передача информации по каналу с шумом. Помехоустойчивое кодирование

6.1. Задача согласования дискретного источника с дискретным каналом с шумом. Теорема Шеннона для дискретного канала с шумом [13, 9]

6.2. Алгебраические основы операций кодирования и декодирования. Поля Галуа [12, 44, 6]

6.3. Методика построения помехоустойчивых кодов [16, 12, 6, 48]

6.3.1. Модели ошибок

6.3.2. Характеристики помехоустойчивых кодов

6.4. Линейные блочные коды. Код Хэмминга [16, 12, 6, 40, 14]

6.4.1. Кодовое пространство

6.4.2. Порождающая и проверочная матрицы

6.4.3. Код Хэмминга

6.4.4. Расширенные коды Хэмминга

6.5. Циклические коды [16, 12, 6, 40, 14]

6.5.1. Порождающая и проверочная матрицы для циклического кода

6.5.2. Систематические циклические коды

6.5.3. Реализация циклического кодирования посредством регистра сдвига

6.5.4. Синдром циклических кодов и контроль ошибки

1. Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов: Учеб. пособие для вузов по спец. "Автоматика и механизация процессов обработки и выдачи информации". – М.:Высшая школа, 1987. – 248с.

2. В.М. Лачинов, А.О.Поляков Информодинамика или Путь к Миру открытых систем http://www.inftech.webservis.ru/it/information/index.html

3. Энциклопедия "Кругосвет" www.krugosvet.ru

4. Инженер Мареев Новая теория информации www.eme.ru

5. Лидовский В.В. Теория информации. Учебное пособие. 2002г.

6. Вернер М. Основы кодирования Учебник для вузов. – М.: Техносфера,2004. – 288с.

7. Котоусов А.С. Теоретические основы радиосистем. Радиосвязь, радиолокация, радионавигация. – М.: Радио и связь, 2002. – 224с.

8. Гаранин М.В., Журавлев В.И., Кунегин С.В. Системы и сети передачи информации: Учеб. пособие для вузов. – М.: Радио и связь, 2001. – 336с.

9. Липкин И.А. Статистическая радиотехника. Теория информации и кодирования. – М.: "Вузовская книга", 2002. – 216с.

10. Быховский М.А. Круги памяти (Очерки истории развития радиосвязи и вещания в XX столетии). Серия изданий "История электросвязи и радиотехники". – М.: МЦНТИ, ООО "Мобильные коммуникации", 2001. – 224с.

11. Рузайкин Г. Теория информации и информационные технологии //Открытые системы, 2001, № 07-08

12. Просиз Дж. Цифровая связь. Пер. с англ. /Под ред. Д.Д.Кловского. – М.: Радио и связь, 2000. – 800с.

13. Султанов Б.В. и др. Электронный учебник по курсу "Теория информации"

14. Шульгин В.И. Основы теории передачи информации. Учебное пособие. Ч.1-2. – Харьков: ХАИ, 2003.

15. Котоусов А.С. Теоретические основы радиосистем. Радиосвязь, радиолокация, радионавигация. – М.: Радио и связь, 2002

16. Скляр Б. Цифровая связь. Теоретические основы и практическое применение, 2-е издание. : Пер. с англ. – М.: Издательский дом "Вильямс", 2003. – 1104с.

17. Трахтман А.М. Введение в обобщенную спектральную теорию сигналов. – М.:Изд-во "Советское радио", 1972. – 352с.

18. Беллами Дж. Цифровая телефония /Пер. с англ. - М.:Радио и связь, 1980.

19. Былянски П., Ингрем Д. Цифровые системы передачи: Пер. с англ./Под ред. А.А.Визеля. – М.:Связь, 1980. – 360с.

20. Прэтт Цифровая обработка изображений в 2-х тт. – М.: Мир, 1980.

21. http://www.visgraf.impa.br/Courses/ip00/proj/Dithering1/algoritmos_desenvolvidos.htm

22. Пилипчук Н.И., Яковлев В.П. Адаптивная импульсно-кодовая модуляция. – М.: Радио и связь, 1986. – 296с.

23. Шелухин О.И., Лукьянцева Н.Ф. Цифровая обработка и передача речи /Под ред. О.И.Шелухина. – М.: Радио и связь, 2000. – 456с.

24. Кинтцель Т. Руководство программиста по работе со звуком /Пер. с анг. – М.: ДМК Пресс, 2000. – 432с.

25. Стил.Р. Принципы дельта-модуляции: Пер. с англ./Под ред. В.В.Маркова. – М.: Связь, 1979.

26. Цифровая сельская связь /И.В.Ситняковский, В.И.Мейкшан, Б.Н.Маглицкий; Под ред. М.Д.Венедиктова. – М.: Радио и связь, 1994. – 248с.

27. Кравченко П.П. Основы теории оптимизированных дельта-преобразований второго порядка. Цифровое управление, сжатие и параллельная обработка информации: Монография. Таганрог: Изд-во ТРТУ, 1997.

28. Хусаинов Н.Ш. Разработка и исследование методов сжатия графической информации с использованием дельта-преобразований второго порядка /Диссертация на соискание ученой степени кандидата технических наук. – Таганрог, ТРТУ, 1998.

29. Самсонов Б.Б., Плохов Е.М., Филоненков А.И., Кречет Т.В. Теория информации и кодирование. – Ростов-на-Дону: "Феникс", 2002, 288с.

30. Ковалгин Ю.А., Вологдин Э.И. Цифровое кодирование звуковых сигналов. – СПб: КОРОНА-принт, 2004. – 240с.

31. Колмогоров А.Н. Три подхода к определению понятия "Количество информации" //Новое в жизни, науке, технике. Сер. "Математика, кибернетика". – 1991, № 1

32. Шеннон К. Работы по теории информации и кибернетике: Пер. с англ./Под ред. Добрушина Р.Л. и Лупанова О.Б. – М.: ИЛ, 1963. – 830с.

33. Вероятность и информация. А.М.Яглом и И.М.Яглом, Главная редакция физ.-мат. литературы изд-ва "Наука", 1973 – 512с.

34. Кузнецов Н.А. Информационное взаимодействие в технических и живых системах //Информационные процессы, т.1, № 1, 2001.

35. Котенко В.В. Теория информации. Часть 1. Кодирование источников информации: Учебное пособие. Таганрог: Изд-во ТРТУ, 2003. 138с.

36. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. – М.:ДИЛОГ-МИФИ, 2002. 384с.

37. Артюшенко В.М., Шелухин О.И., Афонин М.Ю. Цифровое сжатие видеоинформации и звука: Учебное пособие /под ред. В.М.Артюшенко. – М.: Издательско-торговая корпорация "Дашков и К", 2003. 426с.

38. Миано Дж. Форматы и алгоритмы сжатия изображений в действии. Учебное пособие. – М.: Изд-во Триумф, 2003. 336с.

39. Сэломон Дж. Сжатие данных, изображений и звука. – М.: Техносфера, 2004. 368с.

40. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования. Методы, алгоритмы, применение. – М.: Техносфера, 2005. 320с.

41. Кричевский Р.Е. Сжатие и поиск информации. – М.:Радио и связь, 1989. 168с.

42. Мастрюков Д. Алгоритмы сжатия информации. Цикл статей в журнале "Монитор": № 7-8, 1993; № 1, 1994; № 2, 1994

43. Гаджиев Ю.А. Последовательное адаптивное кодирование в параметрически определенной системе счетных двоичных кодов для применения в алгоритмах LZ-компрессии. Диссер. на соиск. уч. степ. к.т.н. – Махачкала, 2001, 192с.

44. Ноден П., Китте К. Алгебраическая алгоритмика (с упражнениями и решениями): Пер. с франц. – М.:Мир, 1999. – 720с.

45. Климов А.С. Форматы графических файлов. – К.: НИПФ "ДиаСофт Лтд.", 1995, 480с.

46. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. – СПб: Изд-во "Питер", 2000. – 672с.

47. Панин В.В. Основы теории информации: учебное пособие для вузов. – М.: БИНОМ. Лаборатория знаний, 2007. – 436с.

48. Костров Б.В. Основы цифровой передачи и кодирования информации – М.: "ТехБук", 2007. – 192с.

Не нашли, что искали? Воспользуйтесь поиском по сайту: