F-divergence (original) (raw)
In probability theory, an -divergence is a function that measures the difference between two probability distributions and . Many common divergences, such as KL-divergence, Hellinger distance, and total variation distance, are special cases of -divergence.
| Property | Value |
|---|---|
| dbo:abstract | In probability theory, an -divergence is a function that measures the difference between two probability distributions and . Many common divergences, such as KL-divergence, Hellinger distance, and total variation distance, are special cases of -divergence. (en) f-дивергенцией (f-расхождением) называется класс функционалов , определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей и . Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией , удовлетворяющей определённым условиям. Данный класс дивергенций был введён и изучался независимо друг от друга учёными ), ) и ). Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви. (ru) |
| dbo:thumbnail | wiki-commons:Special:FilePath/Alpha-divergence.svg?width=300 |
| dbo:wikiPageExternalLink | http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf |
| dbo:wikiPageID | 15224289 (xsd:integer) |
| dbo:wikiPageLength | 22448 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1116800040 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Probability_distributions dbr:Total_variation_distance dbr:Rényi_entropy dbr:Convex_conjugate dbr:Convex_function dbr:Hellinger_distance dbr:Markov_kernel dbr:Master_equation dbr:Data_processing_inequality dbc:F-divergences dbr:Lebesgue_measure dbr:Alfréd_Rényi dbr:Bregman_divergence dbr:Probability_density_function dbr:Probability_theory dbr:Cramér–Rao_bound dbr:Absolute_continuity dbr:Effective_domain dbr:Divergence_(statistics) dbr:Markov_process dbr:Kolmogorov_equations_(Markov_jump_process) dbr:Kullback–Leibler_divergence dbr:Lyapunov_function dbr:IEEE_Transactions_on_Information_Theory dbr:Markov_Process dbr:Radon-Nikodym_theorem dbr:Renyi_divergence dbr:Hammersley–Chapman–Robbins_bound dbr:Sufficient_statistic dbr:Jensen-Shannon_Divergence dbr:Jensen’s_inequality dbr:KL-divergence dbr:Singular_measures dbr:File:Alpha-divergence.svg |
| dbp:drop | hidden (en) |
| dbp:mathStatement | If on , then where and , where is the probability density function of with respect to some underlying measure. In the special case of , we have (en) |
| dbp:name | Theorem (en) |
| dbp:proof | If , then by definition. Conversely, if , then let . For any two probability measures on the set , since , we get Since each probability measure has one degree of freedom, we can solve for every choice of . Linear algebra yields , which is a valid probability measure. Then we obtain . Thus for some constants . Plugging the formula into yields . (en) |
| dbp:wikiPageUsesTemplate | dbt:Cite_arXiv dbt:Cite_journal dbt:Harvtxt dbt:More_footnotes dbt:Refbegin dbt:Refend dbt:Reflist dbt:Unordered_list dbt:Math_proof dbt:Math_theorem |
| dct:subject | dbc:F-divergences |
| gold:hypernym | dbr:Df |
| rdfs:comment | In probability theory, an -divergence is a function that measures the difference between two probability distributions and . Many common divergences, such as KL-divergence, Hellinger distance, and total variation distance, are special cases of -divergence. (en) f-дивергенцией (f-расхождением) называется класс функционалов , определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей и . Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией , удовлетворяющей определённым условиям. Данный класс дивергенций был введён и изучался независимо друг от друга учёными ), ) и ). Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви. (ru) |
| rdfs:label | F-divergence (en) F-дивергенция (ru) |
| owl:sameAs | freebase:F-divergence wikidata:F-divergence dbpedia-ru:F-divergence https://global.dbpedia.org/id/4jjco |
| prov:wasDerivedFrom | wikipedia-en:F-divergence?oldid=1116800040&ns=0 |
| foaf:depiction | wiki-commons:Special:FilePath/Alpha-divergence.svg |
| foaf:isPrimaryTopicOf | wikipedia-en:F-divergence |
| is dbo:wikiPageDisambiguates of | dbr:Divergence_(disambiguation) |
| is dbo:wikiPageRedirects of | dbr:Chi-squared_divergence dbr:Ali-Silvey_distances |
| is dbo:wikiPageWikiLink of | dbr:Bhattacharyya_distance dbr:Dénes_Petz dbr:Pinsker's_inequality dbr:Maximum_spacing_estimation dbr:Statistical_distance dbr:Hellinger_distance dbr:Cauchy_distribution dbr:Distance dbr:Bregman_divergence dbr:Divergence_(statistics) dbr:Kullback–Leibler_divergence dbr:Chapman–Robbins_bound dbr:Divergence_(disambiguation) dbr:List_of_statistics_articles dbr:Fisher_information dbr:Wasserstein_GAN dbr:Chi-squared_divergence dbr:Ali-Silvey_distances |
| is foaf:primaryTopic of | wikipedia-en:F-divergence |
