Cross entropy (original) (raw)
Křížová entropie mezi dvěma rozděleními pravděpodobnosti a se stejnou podkladovou množinou událostí míry je v teorii informace průměrný počet bitů potřebných pro identifikaci události vybrané z množiny, jestliže kódovací schéma používané pro množinu je optimalizované pro odhadnuté rozdělení pravděpodobnosti místo skutečného rozdělení .
| Property | Value |
|---|---|
| dbo:abstract | En teoria de la informació, l'entropia creuada entre dues distribucions de probabilitat mesura la mitjana de bits necessaris per identificar un esdeveniment d'un conjunt de possibilitats, si un esquema de codificació està basat en una distribució de probabilitat donada , més que en la veritable distribució . L'entropia creuada per a dues distribucions i sobre el mateix espai de probabilitat es defineix com: on és l'entropia de , i és la divergència de Kullback-Leibler entri i (també coneguda com a entropia relativa). Si i són variables discretes: Per a les distribucions amb variables aleatòries contínues: (ca) Křížová entropie mezi dvěma rozděleními pravděpodobnosti a se stejnou podkladovou množinou událostí míry je v teorii informace průměrný počet bitů potřebných pro identifikaci události vybrané z množiny, jestliže kódovací schéma používané pro množinu je optimalizované pro odhadnuté rozdělení pravděpodobnosti místo skutečného rozdělení . (cs) Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung. Eine Minimierung der Kreuzentropie in Bezug auf die Modellparameter kommt einer Maximierung der Log-Likelihood-Funktion gleich. (de) In information theory, the cross-entropy between two probability distributions and over the same underlying set of events measures the average number of bits needed to identify an event drawn from the set if a coding scheme used for the set is optimized for an estimated probability distribution , rather than the true distribution . (en) En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número medio de bits necesarios para identificar un evento de un conjunto de posibilidades, si un esquema de codificación está basado en una distribución de probabilidad dada , más que en la verdadera distribución . La entropía cruzada para dos distribuciones y sobre el mismo espacio de probabilidad se define como sigue: donde es la entropía de , y es la divergencia de Kullback-Leibler entre y (también conocida como entropía relativa). Si y son variables discretas: Para las distribuciones con variables aleatorias continuas: (es) En théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : , où est l'entropie de , et est la divergence de Kullback-Leibler entre et . Pour et discrets, cela signifie La formule est analogue pour des variables aléatoires continues : NB: La notation est parfois utilisées à la fois pour l'entropie croisée et l'entropie conjointe de et . (fr) 情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。 (ja) 정보 이론에서 교차 엔트로피란, 두 확률 분포 p 와 q를 구분하기 위해 필요한 평균 비트 수를 의미한다. (ko) Nella teoria dell'informazione, l'entropia incrociata (o cross-entropia) fra due distribuzioni di probabilità e , relative allo stesso insieme di eventi, misura il numero medio di bit necessari per identificare un evento estratto dall'insieme nel caso sia utilizzato uno schema ottimizzato per una distribuzione di probabilità piuttosto che per la distribuzione vera . (it) Na teoria da informação, a entropia cruzada se refere à diferença entre duas distribuições de probabilidade (verdadeira) e (estimada) sobre o mesmo conjunto de eventos. Na prática, a entropia cruzada mede o número médio de bits necessários para identificar um evento , se a codificação utilizada for otimizada para a distribuição de probabilidade estimada , em vez de otimizada para a distribuição de probabilidade verdadeira . (pt) В теории информации перекрёстная энтропия между двумя распределениями вероятностей измеряет среднее число бит, необходимых для опознания события из набора возможностей, если используемая схема кодирования базируется на заданном распределении вероятностей , вместо «истинного» распределения . Перекрестная энтропия для двух распределений и над одним и тем же вероятностным пространством определяется следующим образом: , где — энтропия , и — расстояние Кульбака—Лейблера от до (также известная как относительная энтропия). Для дискретного и это означает Ситуация для непрерывного распределения аналогична: Нужно учесть, что, несмотря на формальную аналогию функционалов для непрерывного и дискретного случаев, они обладают разными свойствами и имеют разный смысл. Непрерывный случай имеет ту же специфику, что и понятие дифференциальной энтропии. NB: Запись иногда используется как для перекрёстной энтропии, так и для совместной энтропии и . (ru) У теорії інформації перехресна ентропія між двома розподілами ймовірності та над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей , замість «істинного» розподілу . (uk) 在信息论中，基于相同事件测度的两个概率分布和的交叉熵（英語：Cross entropy）是指，当基于一个“非自然”（相对于“真实”分布而言）的概率分布进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。 给定两个概率分布和，相对于的交叉熵定义为： 其中是的熵，是从与的KL散度(也被称为p相对于q的相对熵)。 对于离散分布和，这意味着： 对于连续分布也是类似的。我们假设和在测度 上是绝对连续的(通常 是Lebesgue measure on a )。设和分别为的在测度 上概率密度函数。则 (zh) |
| dbo:wikiPageExternalLink | http://heliosphan.org/cross-entropy.html |
| dbo:wikiPageID | 1735250 (xsd:integer) |
| dbo:wikiPageLength | 13332 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1121154382 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Probability_distribution dbr:Joint_entropy dbr:Conditional_entropy dbr:Continuous_random_variable dbr:Maximum_likelihood_estimation dbr:Measure_(mathematics) dbr:Gradient_descent dbr:Monte_Carlo_method dbr:Mutual_information dbc:Loss_functions dbr:Cross-entropy_method dbr:Likelihood dbr:Logistic_function dbr:Machine_learning dbr:Sigma-algebra dbr:Language_model dbr:Lebesgue_measure dbr:Linear_regression dbr:Logistic_regression dbc:Entropy_and_information dbr:Expected_value dbr:Absolutely_continuous dbr:Binary_regression dbr:Bit dbr:Borel_set dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Optimization dbr:Support_(measure_theory) dbr:Kraft's_inequality dbr:Discrete_random_variable dbr:Gibbs'_inequality dbr:Conditionally_independent dbr:Information_entropy dbr:Logistic_loss |
| dbp:backgroundColour | #F5FFFA (en) |
| dbp:borderColour | #0073CF (en) |
| dbp:cellpadding | 6 (xsd:integer) |
| dbp:wikiPageUsesTemplate | dbt:Citation_needed dbt:Equation_box_1 dbt:Main dbt:NumBlk dbt:Reflist dbt:EquationRef dbt:Information_theory |
| dct:subject | dbc:Loss_functions dbc:Entropy_and_information |
| rdfs:comment | Křížová entropie mezi dvěma rozděleními pravděpodobnosti a se stejnou podkladovou množinou událostí míry je v teorii informace průměrný počet bitů potřebných pro identifikaci události vybrané z množiny, jestliže kódovací schéma používané pro množinu je optimalizované pro odhadnuté rozdělení pravděpodobnosti místo skutečného rozdělení . (cs) Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung. Eine Minimierung der Kreuzentropie in Bezug auf die Modellparameter kommt einer Maximierung der Log-Likelihood-Funktion gleich. (de) In information theory, the cross-entropy between two probability distributions and over the same underlying set of events measures the average number of bits needed to identify an event drawn from the set if a coding scheme used for the set is optimized for an estimated probability distribution , rather than the true distribution . (en) 情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。 (ja) 정보 이론에서 교차 엔트로피란, 두 확률 분포 p 와 q를 구분하기 위해 필요한 평균 비트 수를 의미한다. (ko) Nella teoria dell'informazione, l'entropia incrociata (o cross-entropia) fra due distribuzioni di probabilità e , relative allo stesso insieme di eventi, misura il numero medio di bit necessari per identificare un evento estratto dall'insieme nel caso sia utilizzato uno schema ottimizzato per una distribuzione di probabilità piuttosto che per la distribuzione vera . (it) Na teoria da informação, a entropia cruzada se refere à diferença entre duas distribuições de probabilidade (verdadeira) e (estimada) sobre o mesmo conjunto de eventos. Na prática, a entropia cruzada mede o número médio de bits necessários para identificar um evento , se a codificação utilizada for otimizada para a distribuição de probabilidade estimada , em vez de otimizada para a distribuição de probabilidade verdadeira . (pt) У теорії інформації перехресна ентропія між двома розподілами ймовірності та над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей , замість «істинного» розподілу . (uk) 在信息论中，基于相同事件测度的两个概率分布和的交叉熵（英語：Cross entropy）是指，当基于一个“非自然”（相对于“真实”分布而言）的概率分布进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。 给定两个概率分布和，相对于的交叉熵定义为： 其中是的熵，是从与的KL散度(也被称为p相对于q的相对熵)。 对于离散分布和，这意味着： 对于连续分布也是类似的。我们假设和在测度 上是绝对连续的(通常 是Lebesgue measure on a )。设和分别为的在测度 上概率密度函数。则 (zh) En teoria de la informació, l'entropia creuada entre dues distribucions de probabilitat mesura la mitjana de bits necessaris per identificar un esdeveniment d'un conjunt de possibilitats, si un esquema de codificació està basat en una distribució de probabilitat donada , més que en la veritable distribució . L'entropia creuada per a dues distribucions i sobre el mateix espai de probabilitat es defineix com: on és l'entropia de , i és la divergència de Kullback-Leibler entri i (també coneguda com a entropia relativa). Si i són variables discretes: (ca) En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número medio de bits necesarios para identificar un evento de un conjunto de posibilidades, si un esquema de codificación está basado en una distribución de probabilidad dada , más que en la verdadera distribución . La entropía cruzada para dos distribuciones y sobre el mismo espacio de probabilidad se define como sigue: donde es la entropía de , y es la divergencia de Kullback-Leibler entre y (también conocida como entropía relativa). Si y son variables discretas: (es) En théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : , où est l'entropie de , et est la divergence de Kullback-Leibler entre et . Pour et discrets, cela signifie (fr) В теории информации перекрёстная энтропия между двумя распределениями вероятностей измеряет среднее число бит, необходимых для опознания события из набора возможностей, если используемая схема кодирования базируется на заданном распределении вероятностей , вместо «истинного» распределения . Перекрестная энтропия для двух распределений и над одним и тем же вероятностным пространством определяется следующим образом: , где — энтропия , и — расстояние Кульбака—Лейблера от до (также известная как относительная энтропия). Для дискретного и это означает (ru) |
| rdfs:label | Entropia creuada (ca) Křížová entropie (cs) Kreuzentropie (de) Entropía cruzada (es) Cross entropy (en) Entropie croisée (fr) Entropia incrociata (it) 교차 엔트로피 (ko) 交差エントロピー (ja) Entropia cruzada (pt) Перекрёстная энтропия (ru) Перехресна ентропія (uk) 交叉熵 (zh) |
| owl:sameAs | freebase:Cross entropy wikidata:Cross entropy dbpedia-ca:Cross entropy dbpedia-cs:Cross entropy dbpedia-de:Cross entropy dbpedia-es:Cross entropy dbpedia-fa:Cross entropy dbpedia-fr:Cross entropy dbpedia-it:Cross entropy dbpedia-ja:Cross entropy dbpedia-ko:Cross entropy dbpedia-pt:Cross entropy dbpedia-ru:Cross entropy dbpedia-uk:Cross entropy dbpedia-zh:Cross entropy https://global.dbpedia.org/id/ea9q |
| prov:wasDerivedFrom | wikipedia-en:Cross_entropy?oldid=1121154382&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Cross_entropy |
| is dbo:wikiPageRedirects of | dbr:Log_loss dbr:XE_loss dbr:Cross-entropy dbr:Minxent dbr:Xentropy |
| is dbo:wikiPageWikiLink of | dbr:Beta_distribution dbr:Index_of_information_theory_articles dbr:Index_of_physics_articles_(C) dbr:List_of_probability_distributions dbr:Neural_architecture_search dbr:Statistical_distance dbr:Entropy_(information_theory) dbr:Continuous_Bernoulli_distribution dbr:Convolutional_neural_network dbr:Cross-entropy_method dbr:Log_loss dbr:Backpropagation dbr:Central_tendency dbr:Wishart_distribution dbr:Logistic_regression dbr:Knowledge_distillation dbr:TensorFlow dbr:Softmax_function dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:XE_loss dbr:Loss_functions_for_classification dbr:Principle_of_maximum_entropy dbr:Gibbs'_inequality dbr:Quantities_of_information dbr:Variational_autoencoder dbr:Cross-entropy dbr:Minxent dbr:Xentropy |
| is rdfs:seeAlso of | dbr:Kullback–Leibler_divergence |
| is foaf:primaryTopic of | wikipedia-en:Cross_entropy |