Основы теории информации: вводный курс
Теория информации - фундаментальная наука, лежащая в основе современных информационных технологий. Данная статья - краткий вводный курс, раскрывающий ключевые понятия, историю развития и практическое применение этой увлекательной области знаний.
Основные понятия теории информации
Теория информации оперирует такими ключевыми понятиями как информация, данные, знания, сообщение и др. Рассмотрим их подробнее.
Определение информации и ее свойства
В теории информации выделяют два подхода к определению понятия «информация»: качественный и количественный.
Качественно информация трактуется как некие сведения, данные, знания, которыми может обмениваться система. А количественно информация определяется мерой снятой неопределенности при получении сообщения.
Основные свойства информации:
- дискретность представления
- аддитивность (количество информации складывается)
Для вычисления количества информации (энтропии) сообщения используются различные формулы, в том числе:
- формула Хартли:
H = n * log(S), где S - число символов, n - длина сообщения - формула Шеннона:
H = -sum(p(i) * log(p(i))), где pi - вероятность i-го символа
Модели источников и приемников информации
В теории информации различают такие основные модели генераторов сообщений:
- Марковские источники (со случайным блужданием по состояниям)
- Стационарные эргодические источники (с постоянной энтропией)
Характеристики приемника информации:
- пропускная способность канала
- наличие помех и шумов
Для борьбы с ошибками передачи данных применяется избыточное кодирование. Например, контроль по четности или код Хемминга.
Кодирование и передача информации
Основные принципы кодирования/декодирования данных:
- однозначное соответствие кодовых комбинаций исходным символам (при кодировании)
- обратимость преобразования (при декодировании)
Важнейшие теоретические пределы, установленные в теории информации:
- Теорема Котельникова о предельной скорости передачи данных по каналу
- Теорема Шеннона о пропускной способности канала с шумом
История теории информации
Теория информации как научная дисциплина начала формироваться в первой половине XX века на стыке математики, физики, телекоммуникаций.
Зарождение теории в 1920-1930-х годах
Основы теории заложены в трудах американского инженера Гарри Найквиста и британского ученого Ральфа Хартли:
Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли, - К.Шеннон.
Хартли в 1928 г. ввел понятие информации и предложил ее количественную меру на основе логарифмической функции.
В 1930-х годах существенный вклад в теорию внесли советские ученые В.Котельников (теорема об эквидистантном кодировании) и А.Н.Колмогоров.
Формирование теории информации в 1940-1950-х годах
В 1940-х Клод Шеннон на основе работ предшественников разработал стройную математическую теорию передачи информации по каналам связи. Его двухчастная монография 1948 года "Математическая теория связи" стала фундаментом всей дисциплины.
Параллельно в эти годы интенсивно развивались теория алгоритмов (А.Тьюринг и др.) и кибернетика (Н.Винер).