Взаимная информация | это... Что такое Взаимная информация? (original) (raw)

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

$I\left( {X;Y} \right) = H\left( X \right) - H\left( {X|Y} \right) = H\left( X \right) + H\left( Y \right) - H\left( {X,Y} \right)$

Содержание

1 Свойства взаимной информации
2 Условная и безусловная взаимная информация
- 2.1 Свойства
3 Литература

Свойства взаимной информации

Взаимная информация является симметричной функцией случайных величин:

$I\left( {X;Y} \right) = I\left( {Y;X} \right)$

Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

$0 \le I\left( {X;Y} \right) \le \min \left[ H\left( X \right), H\left( Y \right) \right]$

В частности, для независимых случайных величин взаимная информация равна нулю:

$I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - H \left( X \right) = 0$

В случае, когда одна случайная величина (например, ) является детерминированной функцией другой случайной величины (), взаимная информация равна энтропии:

$I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - 0 = H \left( X \right)$

Условная и безусловная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

$I\left( {X;Y|Z = z} \right) = H\left( {X|Z = z} \right) - H\left( {X|Y,Z = z} \right)$

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьй случайной величины:

$I\left( {X;Y|Z} \right) = H\left( {X|Z} \right) - H\left( {X|Y,Z} \right)$

Свойства

Являются симметричными функциями:

$I\left( {X;Y | Z } \right) = I\left( {Y;X | Z } \right)$

$I\left( {X;Y | Z = z} \right) = I\left( {Y;X | Z = z} \right)$

Удовлетворяют неравенствам:

$0 \le I\left( {X;Y | Z } \right) \le \min \left[ H \left( {X | Z } \right), H \left( {Y | Z } \right) \right]$

$0 \le I\left( {X;Y | Z = z} \right) \le \min \left[ H \left( {X | Z = z} \right), H \left( {Y | Z = z} \right) \right]$

Литература

Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3

Методы сжатия
Теория	Информация Собственная · Взаимная · Энтропия · Условная энтропия · Сложность · Избыточность Единицы измерения Бит · Нат · Ниббл · Хартли · Формула Хартли
Без потерь	Энтропийное сжатие Алгоритм Хаффмана · Адаптивный алгоритм Хаффмана · Алгоритм Шеннона — Фано · Арифметическое кодирование (Интервальное) · Коды Голомба · Дельта · Универсальный код (Элиаса · Фибоначчи) Словарные методы RLE · Deflate · LZ (LZ77/LZ78 · LZSS · LZW · LZWL · LZO · LZMA · LZX · LZRW · LZJB · LZT) Прочее RLE · CTW · BWT · MTF · PPM · DMC
Аудио	Теория Свёртка · PCM · Алиасинг · Дискретизация · Теорема Котельникова Методы LPC (LAR · LSP) · WLPC · CELP · ACELP · A-закон · μ-закон · MDCT · Преобразование Фурье · Психоакустическая модель Прочее Компрессор аудиосигнала · Сжатие речи · Полосное кодирование
Изображения	Термины Цветовое пространство · Пиксель · Субдискретизация насыщенности · Артефакты сжатия Методы RLE · DPCM · Фрактальный · Вейвлетный · EZW · SPIHT · LP · ДКП · ПКЛ Прочее Битрейт · Test images · PSNR · Квантование
Видео	Термины Характеристики видео · Кадр · Типы кадров · Качество видео Методы Компенсация движения · ДКП · Квантование · Вейвлетный Прочее Видеокодек · Rate distortion theory (CBR · ABR · VBR)