Собственная информация | это... Что такое Собственная информация? (original) (raw)

Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины , имеющей конечное число значений:

$P_X \left( x_i \right) = p_i, p_i \geq 0, i = 1, 2, ..., n$

$\sum_{i=1}^n p_i = 1$

собственная информация определяется как

$I \left( X \right) = - \log P_X \left( X \right)$

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма	Единица измерения	Количество информациио падении монеты «орлом» вверх
2	бит	бит
e	нат	$- ln ( 1 / 2 ) = ln 2 \approx 0,69$ ната
10	хартли	$- log_{10} ( 1 / 2 ) = log_{10} 2 \approx 0,30$ хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации

Неотрицательность: $I(x) \geq 0$ . при , т.е. предопределенный факт никакой информации не несет.
Монотонность: , если .
Аддитивность: для независимых справедливо

$I(x_1...x_n)=\sum_{i=1}^n I(x_i)$ .

См. также

Литература

Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3

Методы сжатия
Теория	Информация Собственная · Взаимная · Энтропия · Условная энтропия · Сложность · Избыточность Единицы измерения Бит · Нат · Ниббл · Хартли · Формула Хартли
Без потерь	Энтропийное сжатие Алгоритм Хаффмана · Адаптивный алгоритм Хаффмана · Алгоритм Шеннона — Фано · Арифметическое кодирование (Интервальное) · Коды Голомба · Дельта · Универсальный код (Элиаса · Фибоначчи) Словарные методы RLE · Deflate · LZ (LZ77/LZ78 · LZSS · LZW · LZWL · LZO · LZMA · LZX · LZRW · LZJB · LZT) Прочее RLE · CTW · BWT · MTF · PPM · DMC
Аудио	Теория Свёртка · PCM · Алиасинг · Дискретизация · Теорема Котельникова Методы LPC (LAR · LSP) · WLPC · CELP · ACELP · A-закон · μ-закон · MDCT · Преобразование Фурье · Психоакустическая модель Прочее Компрессор аудиосигнала · Сжатие речи · Полосное кодирование
Изображения	Термины Цветовое пространство · Пиксель · Субдискретизация насыщенности · Артефакты сжатия Методы RLE · DPCM · Фрактальный · Вейвлетный · EZW · SPIHT · LP · ДКП · ПКЛ Прочее Битрейт · Test images · PSNR · Квантование
Видео	Термины Характеристики видео · Кадр · Типы кадров · Качество видео Методы Компенсация движения · ДКП · Квантование · Вейвлетный Прочее Видеокодек · Rate distortion theory (CBR · ABR · VBR)