Энтропия Реньи | это... Что такое Энтропия Реньи? (original) (raw)
В теории информации, энтропия Реньи, обобщение энтропии Шеннона, является одним из семейства функционалов для количественного разнообразия неопределенности или случайности системы. Она названа в честь Альфреда Реньи.
Энтропия Реньи порядка α, где α 0, α 1 определяется как
где _p_i - появление вероятностей событий {_x_1, _x_2 ... _x_n} и по основанию 2. Если все вероятности одинаковые, тогда все распределения энтропии Реньи равны, _H_α(X)=log n. В противном случае, энтропии слабо уменьшаются как функция от α.
Более высокие значения α, стремясь к бесконечности, дают энтропию Реньи, которая в большей степени определена через рассмотрение только самых высоких вероятностей событий. Более низкие значения α, стремящиеся к нулю, дают энтропию Реньи, которая в большей степени взвешивает все возможные события более равномерно, независимо от их вероятностей. Промежуточный случай α=1 дает энтропию Шеннона, которая обладает особыми свойствами. При α=0 максимально возможная энтропия Шеннона, log(N).
Энтропии Реньи играют важную роль в экологии и статистике как индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от α. Они также приводят к спектру показателей фрактальной размерности.
Содержание
- 1 H α для некоторых конкретных значений α
- 2 Расходимости Реньи
- 3 Почему α = 1 особенный случай
- 4 Литература
H α для некоторых конкретных значений α
Некоторые частные случаи:
где логарифм мощности множества X, иногда называют энтропией Хартли множества X.
В пределе при стремящимся к 1, можно показать, используя правило Лопиталя, что сходится к
является энтропией Шеннона.
Столкновение энтропии, иногда называют "энтропией Реньи", относится к случаю ,
где Y является случайной величиной и не зависит от X, но одинаковое распределение на множестве X. При , существует предел
и называется Min-энтропия, потому что это наименьшее значение .
Неравенство между различными значениями α
Два последних случая связанны . С другой стороны, энтропия Шеннона может быть сколь угодно высокой для случайной величины X с фиксированной min-энтропией.
потому что .
потому что .
в соответствии с неравенством Иенсена .
Расходимости Реньи
Как и абсолютные энтропии Реньи, Реньи определил спектр мер расхождений, обобщающих расхождения Кульбака-Лейблера. Расхождение Реньи порядка α, где α > 0, из распределения P в распределение Q определяется:
Как расхождение Кульбака-Лейблера, расхождение Реньи не является отрицательным для α>0. Это расхождение также известно как alpha-расхождение (-дивергенция).
Некоторые частные случаи:
: отрицательный логарифм от Q, _p_i>0;
: двойной отрицательный логарифм от коэффициента Бхаттачариа;
: расхождение Кульбака-Лейблера;
: логарифм от ожидаемого отношения вероятностей;
: логарифм от максимального соотношения вероятностей.
Почему α = 1 особенный случай
Значение α = 1, что дает энтропия Шеннона и расхождение Кульбака-Лейблера, является особенным, потому что только тогда, когда α=1 можно выделить переменные A и X из совместного распределения вероятностей, и написать:
для абсолютной энтропии, и
для относительной энтропии.
Последнее означает, что если мы будем искать распределение p(x,a),которое сводит к минимуму расхождения некоторых основополагающих мер m(x,a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p(x|a) остается без изменений m(x|a).
Другие расхождения Реньи удовлетворяют критериям: быть положительными и непрерывными, инварианты относительно один-в-один координировать преобразования и объединение аддитивно, когда A и X независимы, следовательно, если p(A,X) = p(A)p(X), то
и
Наиболее сильные свойства величины α = 1, которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях, или совершенно неважны, в зависимости от требований этих приложений.
Литература
- A. Rényi (1961). "On measures of information and entropy". Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960: 547–561.
- A. O. Hero, O.Michael and J. Gorman (2002). «Alpha-divergences for Classification, Indexing and Retrieval».
- F. Nielsen and S. Boltz (2010). «The Burbea-Rao and Bhattacharyya centroids».
- O.A. Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163–182
- Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, A. R. Its, V. E. Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]