При введении количественной меры информации (Норберт Винер и Клод Шеннон) было принято смысловое содержание сообщений (семантику) не учитывать, а ограничиться только формальными признаками, важными с точки зрения передачи сообщений по каналам связи. В итоге учитываются только число N сообщений, подлежащих передаче, и вероятности р(х_i) поступления их на вход канала. Всю совокупность сообщений представляют в виде некоторой системы Х с состояниями x_i.

$$X=\left(\begin{array}{cc}{x}_1& x_2\mathrm{...}\\ p(x_1)& p(x_2)\mathrm{...}\end{array}\begin{array}{c}{x}_N\\ p(x_N)\end{array}\right),{\displaystyle \; \; \; \sum _{i=1}^{N}p(x_i)}=\mathrm{1,}$$

(3.1)

В результате передачи сообщения x_i по каналу связи будет получено сообщение y_j.Оно может с некоторой вероятностью быть похоже на любое из (x₁, x₂,…x_N) сообщений. В том числе оно может быть похоже на переданное сообщение x_i . Апостериорная  вероятность присутствия x_i в y_j равна p(x_i/y_j).

В основу меры количества информации положены изменения вероятностей появления сообщений от априорного значения p(x_i) на входе канала к апостериорному значению p(x_i/y_j) на выходе канала, связанные с искажениями информации в канале.

Сравнивая вероятности р(x_i) и p (x_i/y_j) можно установить меру количества информации, переданной через данный канал. Удобной мерой оказался логарифм отношения апостериорной вероятности к априорной.

Количество информации, содержащееся в событии y_j относительно события x_i, определяется по формуле

$$I(x_i;y_j)=\log \frac{p(x_i/y_j)}{p(x_i)}$$

(3.2)

Основанием логарифма могут быть: 2, е или 10. В зависимости от основания меняются единицы измерения количества информации (бит – двоичная, нат – натуральная, Хартли – десятичная единица).

Свойства количества информации I(x_i;y_j ).

1.Свойство симметрии. 

Информация,  содержащаяся в y_j относительно x_i, равна информации, содержащейся в x_i относительно y_j. Это становится очевидным, если числитель и знаменатель в (3.2) умножить на p(y_j) и произвести преобразования:

$$I(x_i;y_j)=\log \frac{p(x_i/y_j)p(y_j)}{p(x_i)p(y_j)}=\log \frac{p(x_i,y_j)}{p(x_i)p(y_j)}=I(y_j;x_i),$$

(3.3)

поскольку p(x_i, y_j) = p(y_j) p(x_i/y_j) = p(x_i) p(y_j/x_i) - вероятность совместного появления y_j и x_i.

В результате указанного свойства величину I(x_i;y_j) называют количеством взаимной информации между x_i и y_j.

2. Свойство аддитивности.

Информация, содержащаяся в паре символов y_j, z_k относительно x_i, равна сумме информации, содержащейся в y_j относительно x_i и информации, содержащейся в z_k относительно x_i при условии, что значение y_j известно

$$I(x_i;y_j,z_k)=I(x_i;y_j)+I(x_i;z_k/y_j).$$

(3.4)

Количество собственной информации в x_i определяется из (3.2) при  p(x_i/y_j) = 1,

$$I(x_i;y_j)=-\log p(x_i).$$

(3.5)

Эта величина определяет количество информации, необходимое для однозначного определения x_i на выходе канала.

С учетом введенного понятия (3.5) можно преобразовать выражение (3.2) к виду

$$I(x_i;y_j)=I(x_i)-I(x_i/y_j),$$

(3.6)

где I(x_i/y_j) = – log p(x_i/y_j ) –условная собственная информация. Среднее количество взаимной информации получается путем усреднения (3.2) по всем i и j :

$$I\text{(}X;Y\text{)}={\displaystyle \sum _{i=1}^N{\displaystyle \sum _{j=1}^{M}p\text{(}{x}_i,y_j\text{)}}}\text{ log}\frac{p\text{(}{x}_i/y_j\text{)}}{p\text{(}{x}_i\text{) }}$$

(3.7)