Количество информации

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

Пусть и случайные величины, заданные на соответствующих множествах и . Тогда количество информации относительно есть разность априорной и апостериорной энтропий:

,

где

энтропия, а

— условная энтропия, в теории передачи информации она характеризует шум в канале.

Свойства энтропии

[править | править код]

Для энтропии справедливы свойства:

,

где количество элементов множества .

, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что и .

Максимум значения энтропии достигается, когда все , т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

,

При этом, , если отображение в однозначное, т.е. .

Максимум значения условной энтропии достигается, когда и - независимые случайные величины.

Свойства количества информации

[править | править код]

Для количества информации справедливы свойства:

как следствие теоремы Байеса.
если и – независимые случайные величины.

Последнее свойство показывает, что количество информации совпадает с информационной энтропией, если компонента потери информации (шум) равна нулю.

Литература

[править | править код]
  • Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.