Измерение информации

АЛФАВИТНЫЙ ПОДХОД

Такой подход позволяет измерить информационный объем сообщения, представленного на некотором языке не зависимо от его содержания.

Для количественного выражения любой величины необходима единица.

При алфавитном подходе считается, что каждый символ некоторого сообщения имеет определенный информационный вес — несет фиксированное количество информации. Все символы одного алфавита имеют один и тот же вес, зависящий от мощности алфавита.

Информационный вес символа двоичного алфавита принят за минимальную единицу измерения информации и называется 1 бит

ИНФОРМАЦИОННЫЙ ВЕС СИМВОЛА ПРОИЗВОЛЬНОГО АЛФАВИТА

Алфавит любого естественного и формального языка можно заменить двоичным алфавитом. При этом мощность N связана с разрядностью двоичного кода i, требуемой для кодирования всех символов исходного алфавита, соотношением N=2^i.

Разрядность двоичного кода принято считать информационным весом символа алфавита. Информационный вес символа алфавита выражается в битах.

С помощью формулы  N=2^i решите задачу 1.

Задача 1. Алфавит имени Пульти содержит 8 символов. Каков информационный вес символа этого алфавита?

Решение 

Составим краткую запись условия задачи:

N=8;              i-?

Нам известно соотношение, связывающее величины i и N : N=2^i.

С учетом исходных данных:

8=2^i

Отсюда:

i=3

Ответ: 3 бита.