Содержательный подход к измерению информации: всё, что нужно знать

Перед тем как приступить к измерению информации, давайте введём определение и разберёмся, с чем имеем дело.

Определение

Информация - это сведения, сообщения, данные во всех своих проявлениях, формах независимо от их содержания. Даже полная белиберда, написанная на клочке бумаги может считаться информацией. Однако это определение из российского федерального закона.

Из международных стандартов можно выделить следующие значения:

• знания о предметах, фактах, идеях, значениях, мнениях, которыми обмениваются люди в конкретном контексте;
• знания о фактах, событиях, значениях, вещах, понятиях, которые в конкретном контексте имеют определённый смысл.

Данные - это материализованная форма представления информации, хотя в некоторых текстах эти два понятия могут быть использованы как синонимы.

Способы измерения

Понятие информации определяется по-разному. Измеряется она тоже по-разному. Можно выделить следующие основные подходы к измерению информации:

1. Алфавитный подход.
2. Вероятностный подход.
3. Содержательный подход к измерению информации.

Все они соответствуют различным определениям и имеют различных авторов, мнение которых касательно данных различалось. Вероятностный подход был создан А.Н. Колмогоровым и не учитывал субъект передачи информации, то есть он измеряет ее количество независимо от того, насколько она важна для передающего и принимающего её субъекта. Содержательный подход к измерению информации, созданный К. Шенноном, учитывает больше переменных и является своего рода оценкой важности этих данных для принимающей стороны. Но давайте рассмотрим всё по порядку.

Вероятностный подход

Как было уже сказано, подходы к измерению количества информации очень различаются. Этот подход был разработан Шенноном в 1948 году. Он заключается в том, что количество информации зависит от количества событий и их вероятности. Вычислить количество полученных сведений при этом подходе можно по нижеследующей формуле, в которой I - это искомое количество, N - число событий и p_i - это вероятность каждого конкретного события.

Алфавит

Абсолютно самодостаточный метод вычисления количества информации. Он не учитывает, что именно написано в сообщении, и не связывает количество написанного с содержанием. Для вычисления количества информации нам необходимо знать мощность алфавита и объём текста. По сути, мощность алфавита не ограничена. Однако в компьютерах используется достаточный алфавит мощностью в 256 символов. Таким образом мы можем посчитать, сколько информации несёт в себе один символ печатного текста на компьютере. Поскольку 256=2⁸ , то один символ составляет 8 бит данных.

1 бит - это минимальное, неделимое количество информации. По Шеннону, это такое количество данных, которое снижает неопределённость знаний в два раза.

8бит = 1 байту.

1024 байта = 1 килобайт.

1024 килобайта = 1 мегабайт.

Мысль

Как видите, подходы к измерению информации очень различаются. Существует еще один способ измерить ее количество. Он позволяет оценить не только количество, но и качество. Содержательный подход к измерению информации позволяет учесть полезность данных. Также этот подход означает, что количество сведений, заключенных в сообщении, определено количеством новых знаний, которые получит человек.

Если выражаться математическими формулами, то количество сведений, равное 1биту, должно уменьшать неопределённость знаний человека в 2 раза. Таким образом, воспользуемся следующей формулой для определения количества информации:

Х=log₂Н , где Х - количество получаемых данных, а Н - количество равновероятных исходов. Для примера решим задачку.

Пусть у нас есть трёхгранная пирамидка с четырьмя сторонами. При подбрасывании её вверх есть шанс, что она упадёт на одну из четырёх сторон. Таким образом, Н=4 (количество равновероятностных исходов). Как вы понимаете, шанс, что наш объект упадёт на одну из граней и так останется стоять, меньше, чем если подбрасывать монету и ожидать, что она встанет ребром.

Решение. Х=log₂Н=log₂4=2.

Как видите, результат 2. Но что это за цифра? Как было уже сказано, минимальная неделимая единица измерения - бит. В итоге, после падения мы получили 2 бита информации.

Подходы к измерению информации используют логарифмы для вычислений. Для упрощения этих действий можете воспользоваться калькулятором либо специальной таблицей логарифмов.

Практика

Где вам могут пригодиться знания, полученные в этой статье, особенно данные про содержательный подход к измерению информации? Без сомнения, на экзамене по информатике. Рассмотренный вопрос позволяет лучше ориентироваться в компьютерных технологиях, в частности, в размерах внутренней и внешней памяти. На деле эти знания практической ценности не имеют, разве что в науке. Ни один работодатель не заставит вас вычислять количество информации в напечатанном документе или написанной программе. Разве что в программировании, где вам будет необходимо задать размер памяти, выделяемой под переменную.