Differential entropy (original) (raw)
L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.
| Property | Value |
|---|---|
| dbo:abstract | Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen. Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes. (de) Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average surprisal of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP). Differential entropy (described here) is commonly encountered in the literature, but it is a limiting case of the LDDP, and one that loses its fundamental association with discrete entropy. In terms of measure theory, the differential entropy of a probability measure is the negative relative entropy from that measure to the Lebesgue measure, where the latter is treated as if it were a probability measure, despite being unnormalized. (en) L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues. (fr) 微分エントロピー（びぶんエントロピー、英: differential entropy）または連続エントロピー（continuous entropy）は情報理論における概念で、シャノン情報量（確率変数が持つ平均的の尺度）を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに （LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。 (ja) Дифференциальная энтропия — функционал, заданный на множестве абсолютно непрерывных распределений вероятностей, формальный аналог понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации функционал был эвристически введён К. Шенноном, однако он не является автором термина «дифференциальная энтропия». Сам термин был введён А. Н. Колмогоровым совместно с И. М. Гельфандом и А. М. Ягломом и подчёркивает то, что данное понятие имеет иной смысл, нежели энтропия дискретных распределений. Ими же получен строгий вывод дифференциальной энтропии как первого члена асимптотического разложения энтропии, в котором проявляется зависимость от распределения случайной величины. Для непрерывной случайной величины , распределённой на, дифференциальная энтропия определяется как , где — плотность распределения случайной величины (или сигнала непрерывного источника как случайной величины). Выбор основания логарифма в этой формуле (оно должно быть больше 1) определяет единицу измерения соответствующего количества информации. Так, в теории информации часто используют двоичный логарифм, что соответствует единице количества информации бит, а функционал интерпретируется как средняя информация непрерывного источника. В математической статистике в определении дифференциальной энтропии по соображениям удобства обычно используют натуральный логарифм (соответствующая единица нат), функционал интерпретируется как мера неопределённости непрерывного распределения. Дифференциальная энтропия неинвариантна по отношению к преобразованиям координат случайной величины и не имеет самостоятельного смысла (имеет неинтерпретируемое числовое значение). Более того, если случайная величина имеет размерность, то функционал дифференциальной энтропии будет некорректен с точки зрения размерности, поскольку под знаком логарифма оказывается размерная величина. Однако разность дифференциальных энтропий двух случайных величин, распределённых на одном множестве, является корректной, причём безразмерной величиной и совпадает с разностью их энтропий. Поскольку энтропия любой непрерывной случайной величины бесконечна, при взятии разности энтропий нужно раскрыть неопределённость, используя асимптотическое разложение. Таким образом, возможность выражать дифференциальную энтропию в битах (или других единицах) довольно условна: ситуация здесь подобна измерению температуры в градусах Цельсия, которые, хотя и совпадают по величине с кельвинами, не являются абсолютной шкалой температуры, а имеют относительно неё некоторый сдвиг (по этой причине дифференциальная энтропия, как и температура по шкале Цельсия, может быть отрицательной). Отличие состоит в том, что в случае с дифференциальной энтропией этот сдвиг является бесконечным по отношению к абсолютной шкале, определяемой значениями энтропии. Т.е. абсолютную шкалу для энтропии непрерывных распределений нельзя выбрать, но с помощью дифференциальной энтропии можно сравнивать энтропии различных распределений. В некоторых источниках дифференциальную энтропию распределения интерпретируют как его энтропию относительно энтропии равномерного распределения на промежутке единичной длины, поскольку последнее имеет равную нулю дифференциальную энтропию. Нужно заметить, что такой подход не вполне корректен, так как энтропия в непрерывном случае зависит от того, каким образом шаг дискретизации при разбиении промежутка стремится к нулю. Лишь в случае, когда рассматривается один и тот же промежуток, можно считать, что при вычислении энтропии используется одинаковая его дискретизация для каждого из распределений, тогда разность энтропий стремится к конечному пределу. В общем случае (при произвольной дискретизации) разность энтропий непрерывных случайных величин не стремится ни к какому пределу. (ru) Диференціальна ентропія (англ. differential entropy, також англ. continuous entropy) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. Шеннон, однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і , він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величини. Для неперервної випадкової величини , розподіленої на, диференціальна ентропія визначається як , де — густина розподілу випадкової величини (або сигналу неперервного джерела як випадкової величини). Вибір основи логарифма в цій формулі (яка має бути більшою від 1) визначає одиницю вимірювання відповідної кількості інформації. Так, у теорії інформації часто використовують двійковий логарифм, що відповідає одиниці кількості інформації біт, а функціонал інтерпретується як середня інформація неперервного джерела. У математичній статистиці у визначенні диференціальної ентропії з міркувань зручності зазвичай використовують натуральний логарифм (відповідна одиниця нат), функціонал інтерпретується як міра невизначеності неперервного розподілу. Диференціальна ентропія не інваріантна відносно перетворень координат випадкової величини і не має самостійного сенсу. Більш того, якщо випадкова величина має розмірність, то функціонал диференціальної ентропії буде некоректним з точки зору розмірності (оскільки під знаком логарифма виявляється розмірна величина). Однак різниця диференціальних ентропій двох випадкових величин, розподілених на одній множині, є коректною, причому безрозмірною величиною і збігається з різницею їхніх ентропій (оскільки ентропія будь-якої неперервної випадкової величини нескінченна, при взятті різниці ентропій потрібно розкрити невизначеність, скориставшись асимптотичним розкладом). Таким чином, можливість виражати диференціальну ентропію в бітах (або інших одиницях) досить умовна: ситуація тут подібна до вимірювання температури в градусах Цельсія, які, хоча й збігаються за величиною з кельвінами, але не є абсолютною шкалою температури, а мають відносно неї деякий зсув (тому диференціальна ентропія, як і температура за шкалою Цельсія, може бути від'ємною). Відмінність полягає в тому, що у випадку з диференціальною ентропією цей зсув є нескінченним відносно абсолютної шкали, яка визначається значеннями ентропії. Тобто, абсолютну шкалу для ентропії неперервних розподілів обрати неможливо, але за допомогою диференціальної ентропії можна порівнювати ентропії різних розподілів. У деяких джерелах диференціальну ентропію розподілу інтерпретують як його ентропію відносно ентропії рівномірного розподілу на проміжку одиничної довжини, оскільки останній має рівну нулю диференціальну ентропію. Потрібно зауважити, що такий підхід не зовсім коректний, оскільки ентропія в неперервному випадку залежить від того, яким чином крок дискретизації при розбитті проміжку прямує до нуля. Лише в разі, коли розглядається один і той самий проміжок, можна вважати, що при обчисленні ентропії використовується однакова його дискретизація для кожного з розподілів, тоді різниця ентропій прямує до скінченної границі. У загальному випадку (за довільної дискретизації) різниця ентропій неперервних випадкових величин не прямує до жодної границі. (uk) 微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 (zh) |
| dbo:wikiPageID | 3504168 (xsd:integer) |
| dbo:wikiPageLength | 22510 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1124214313 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Probability_distribution dbr:Entropy_estimation dbr:Beta_function dbc:Statistical_randomness dbr:Almost_everywhere dbr:Homeomorphisms dbr:Joint_entropy dbr:Beta_distribution dbr:Relative_entropy dbr:Uniform_distribution_(continuous) dbr:Invariant_measure dbr:Limiting_density_of_discrete_points dbr:Quantile_function dbr:Conditional_entropy dbr:Continuous_random_variable dbr:Covariance dbr:Matrix_(mathematics) dbr:Maxwell–Boltzmann_distribution dbr:Chi-squared_distribution dbr:Chi_distribution dbr:Estimator dbr:Claude_Shannon dbr:Edwin_Thompson_Jaynes dbr:Gamma_distribution dbr:Gamma_function dbr:Generalized_Gaussian_distribution dbr:Multivariate_normal_distribution dbr:Mutual_information dbr:Log-normal_distribution dbr:Logarithm dbr:Pareto_distribution dbr:Student's_t-distribution dbr:Cauchy_distribution dbr:Euler-Mascheroni_constant dbr:Laplace_distribution dbr:Logarithmic_units dbr:Logistic_distribution dbc:Information_theory dbc:Entropy_and_information dbr:Erlang_distribution dbr:Exponential_distribution dbr:Normal_distribution dbr:Probability_density_function dbr:Quantization_(signal_processing) dbr:Random_variable dbr:Rayleigh_distribution dbr:Jacobian_matrix_and_determinant dbr:Bit dbr:Support_(mathematics) dbr:Weibull_distribution dbr:Digamma_function dbr:F_distribution dbr:If_and_only_if dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Nat_(unit) dbr:Change_of_variables dbr:Triangular_distribution dbr:Self-information dbr:Variational_calculus dbr:Statistical_independence dbr:Lagrangian_multiplier dbr:Information_entropy dbr:Surprisal |
| dbp:backgroundColour | #F5FFFA (en) |
| dbp:borderColour | #0073CF (en) |
| dbp:cellpadding | 6 (xsd:integer) |
| dbp:id | p/d031890 (en) |
| dbp:title | Differential entropy (en) |
| dbp:urlname | DifferentialEntropy (en) |
| dbp:wikiPageUsesTemplate | dbt:Springer dbt:Equation_box_1 dbt:Not_a_typo dbt:Reflist dbt:Rp dbt:Short_description dbt:Planetmath_reference dbt:Information_theory |
| dct:subject | dbc:Statistical_randomness dbc:Information_theory dbc:Entropy_and_information |
| gold:hypernym | dbr:Concept |
| rdfs:comment | L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues. (fr) 微分エントロピー（びぶんエントロピー、英: differential entropy）または連続エントロピー（continuous entropy）は情報理論における概念で、シャノン情報量（確率変数が持つ平均的の尺度）を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに （LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。 (ja) 微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 (zh) Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen. (de) Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average surprisal of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP). Differential entropy (described here) is commonly encountered in the literature, but it is a limiting case of the LDDP, and one that loses its fundamental association with discrete entropy. (en) Диференціальна ентропія (англ. differential entropy, також англ. continuous entropy) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. Шеннон, однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і , він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величини. Для неперервної випадкової величини , розподіленої на, диференціальна ентропія виз (uk) Дифференциальная энтропия — функционал, заданный на множестве абсолютно непрерывных распределений вероятностей, формальный аналог понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации функционал был эвристически введён К. Шенноном, однако он не является автором термина «дифференциальная энтропия». Сам термин был введён А. Н. Колмогоровым совместно с И. М. Гельфандом и А. М. Ягломом и подчёркивает то, что данное понятие имеет иной смысл, нежели энтропия дискретных распределений. Ими же получен строгий вывод дифференциальной энтропии как первого члена асимптотического разложения энтропии, в котором проявляется зависимость от распределения случайной величины. Для непрерывной случайной величины , распределённой на, дифференциальная энтропия (ru) |
| rdfs:label | Differential entropy (en) Differentielle Entropie (de) Entropie différentielle (fr) 微分エントロピー (ja) Дифференциальная энтропия (ru) Диференціальна ентропія (uk) 微分熵 (zh) |
| owl:sameAs | freebase:Differential entropy wikidata:Differential entropy dbpedia-de:Differential entropy dbpedia-fa:Differential entropy dbpedia-fr:Differential entropy dbpedia-ja:Differential entropy dbpedia-ru:Differential entropy dbpedia-uk:Differential entropy dbpedia-zh:Differential entropy https://global.dbpedia.org/id/2ph8P |
| prov:wasDerivedFrom | wikipedia-en:Differential_entropy?oldid=1124214313&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Differential_entropy |
| is dbo:wikiPageDisambiguates of | dbr:Entropy_(disambiguation) |
| is dbo:wikiPageRedirects of | dbr:Continuous_entropy |
| is dbo:wikiPageWikiLink of | dbr:Bayesian_experimental_design dbr:Entropy_estimation dbr:Entropy_power_inequality dbr:Uncertainty_principle dbr:Independent_component_analysis dbr:Index_of_physics_articles_(D) dbr:Inequalities_in_information_theory dbr:Information_content dbr:Information_dimension dbr:Information_theory_and_measure_theory dbr:Limiting_density_of_discrete_points dbr:List_of_mathematic_operators dbr:Mathematical_analysis dbr:Maximum_entropy_probability_distribution dbr:Chi-squared_distribution dbr:Edwin_Thompson_Jaynes dbr:Entropic_uncertainty dbr:Entropy_(information_theory) dbr:Multivariate_normal_distribution dbr:Optimal_design dbr:Additive_white_Gaussian_noise dbr:Cauchy_distribution dbr:H-theorem dbr:Typical_set dbr:Exponential_distribution dbr:Fourier_transform dbr:Dirichlet_distribution dbr:Entropy_(disambiguation) dbr:Von_Mises–Fisher_distribution dbr:Rayleigh_distribution dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Shannon's_source_coding_theorem dbr:Shannon_(unit) dbr:Maximum_entropy_thermodynamics dbr:Principle_of_maximum_entropy dbr:Negentropy dbr:List_of_statistics_articles dbr:Normality_test dbr:Continuous_entropy |
| is foaf:primaryTopic of | wikipedia-en:Differential_entropy |