Information content (original) (raw)
المضمون المعلومي كمية أساسية مشتقة من احتمال وقوع معين بالنظر إلى متغير عشوائي. ويجوز اعتبارها طريقة بديلة للتعبير عن الاحتمال، لكن لها مزايا رياضية معينة في نظرية المعلومات.
| Property | Value |
|---|---|
| dbo:abstract | المضمون المعلومي كمية أساسية مشتقة من احتمال وقوع معين بالنظر إلى متغير عشوائي. ويجوز اعتبارها طريقة بديلة للتعبير عن الاحتمال، لكن لها مزايا رياضية معينة في نظرية المعلومات. (ar) Der Informationsgehalt (oder auch Überraschungswert) einer Nachricht ist eine logarithmische Größe, die angibt, wie viel Information in dieser Nachricht übertragen wurde. Dieser Begriff wurde von Claude Shannon erstmals in seiner Informationstheorie formalisiert: Der Informationsgehalt eines Zeichens ist seine statistische Signifikanz. Er bezeichnet also die minimale Anzahl von Bits, die benötigt werden, um ein Zeichen (also eine Information) darzustellen oder zu übertragen. Wichtig ist dabei, dass dies nicht unbedingt der Anzahl der tatsächlich empfangenen Bits (der Datenmenge) entspricht, da der Informationsgehalt vom semantischen Kontext abhängig ist. (de) Informazio-teorian, informazio kantitatea zorizko aldagai batek lagin batean eman dezakeen informazioa da. Formalki, probabilitate teorian edozein gertaerarako definitutako ausazko aldagaia da informazio kantitatea, ausazko aldagaia neurtua izango den ala ez kontuan hartu gabe. Informazio kantitatea informazio-unitateetan adierazten da. Informazio-teoriaren testuinguruan, informazio kantitatearen itxaropen matematikoa entropia da, eta zera adierazten du: behatzaile batek sistema baten ausazko aldagai baten laginketatik lortzea espero dezaken batezbesteko informazio-kantitatea. (eu) In information theory, the information content, self-information, surprisal, or Shannon information is a basic quantity derived from the probability of a particular event occurring from a random variable. It can be thought of as an alternative way of expressing probability, much like odds or log-odds, but which has particular mathematical advantages in the setting of information theory. The Shannon information can be interpreted as quantifying the level of "surprise" of a particular outcome. As it is such a basic quantity, it also appears in several other settings, such as the length of a message needed to transmit the event given an optimal source coding of the random variable. The Shannon information is closely related to entropy, which is the expected value of the self-information of a random variable, quantifying how surprising the random variable is "on average". This is the average amount of self-information an observer would expect to gain about a random variable when measuring it. The information content can be expressed in various units of information, of which the most common is the "bit" (more correctly called the shannon), as explained below. (en) Zelfinformatie is de hoeveelheid informatie die kennis over (de uitkomst van) een bepaalde gebeurtenis, toevoegt aan iemands kennis. De hoeveelheid zelfinformatie wordt uitgedrukt in de eenheid van informatie, de bit en is nauw verwant met het begrip entropie (gemiddelde hoeveelheid informatie) uit de informatietheorie. De hoeveelheid zelfinformatie is per definitie uitsluitend afhankelijk van de kans op die gebeurtenis. En daarbij geldt: hoe kleiner deze kans, hoe groter de zelfinformatie bij het bekend worden dat die gebeurtenis zich voor heeft gedaan. Verder geldt voor de zelfinformatie per definitie het volgende. Als een gebeurtenis C is samengesteld uit twee van elkaar onafhankelijke gebeurtenissen A en B, dan is de informatie bij bekend worden van C, gelijk aan de som van de informatie bij het bekend worden van gebeurtenis A en gebeurtenis B afzonderlijk. Rekening houdend met deze randvoorwaarden heeft men de zelfinformatie die behoort bij een gebeurtenis A met kans gedefinieerd als: . Door deze definitie, waarin gebruik wordt gemaakt van de logaritmefunctie, is voldaan aan bovengenoemde randvoorwaarden. De definitie is te herschrijven als: (nl) L'autoinformazione di un evento è la quantità d'incertezza associata all'evento, ovvero l'informazione che si ottiene affermando innanzitutto che tale evento si sia realizzato, e rimuovendo quindi l'incertezza associata. Tale concetto viene introdotto nell'ambito della Teoria dell'informazione, ponendone le basi. L'ambiguità esistente tra incertezza ed informazione non deve stupire. Esse si presentano infatti come due facce della stessa medaglia: senza incertezza non c'è informazione, e quanta più incertezza c'è nel segnale aleatorio, tanto più informativo è rivelare qual è la determinazione del segnale. Fatte queste premesse, sarà più facile capire lo stretto legame tra il concetto di "autoinformazione" e quello di "probabilità". (it) Собственная информация — статистическая функция дискретной случайной величины. Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии. Для случайной величины , имеющей конечное число значений: собственная информация определяется как Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли. Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит. (ru) 在信息论中，自信息（英語：self-information），由克勞德·夏農提出，是与概率空间中的單一事件或离散随机变量的值相关的資訊量的量度。它用信息的單位表示，例如 bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵，它反映了随机变量采样时的平均不确定程度。 (zh) В теорії інформації вла́сна інформ́ація (англ. self-information), або несподі́ваність (англ. surprisal), — це міра кількості інформації, пов'язаної з подією в імовірнісному просторі, або зі значенням дискретної випадкової величини. Вона виражається в одиницях інформації, наприклад, в бітах, натах або гартлі, залежно від основи логарифма, який застосовується в обчисленнях. Термін власна інформація іноді використовують як синонім такого пов'язаного поняття теорії інформації, як ентропія. Ці два значення не тотожні, і ця стаття описує лише перший сенс. (uk) |
| dbo:wikiPageExternalLink | http://www.umsl.edu/~fraundor/egsurpri.html http://ilab.usc.edu/surprise/ https://web.archive.org/web/20120717011943/http:/www.lecb.ncifcrf.gov/~toms/glossary.html%23surprisal |
| dbo:wikiPageID | 542447 (xsd:integer) |
| dbo:wikiPageLength | 26861 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1122962463 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Probability_distribution dbr:Probability_space dbr:Sampling_(signal_processing) dbr:Scoring_rule dbr:Multinomial_distribution dbr:Monotonic_function dbr:Total_probability dbr:Joint_probability_distribution dbr:Units_of_information dbr:Variance dbr:Degeneracy_(mathematics) dbr:Deterministic_system dbr:Number dbr:Convolution dbr:Measure_(mathematics) dbr:Odds dbr:Outcome_(probability) dbr:Claude_Shannon dbr:Entropy_(information_theory) dbr:George_Carlin dbr:Mutual_information dbr:Myron_Tribus dbr:Bernoulli_trial dbr:Likelihood dbr:Logarithm dbr:Lottery_mathematics dbr:Sigma_additivity dbr:Combination dbr:Polar_regions_of_Earth dbr:Surprise_(emotion) dbr:Measure_space dbr:Log-likelihood dbr:A_priori_knowledge dbr:Additive_map dbc:Information_theory dbc:Entropy_and_information dbr:Expected_value dbr:Normalization_(statistics) dbr:Cauchy's_functional_equation dbr:Differential_entropy dbr:Discrete_uniform_distribution dbr:Fair_coin dbr:Isomorphism dbr:One_half dbr:Obverse_and_reverse dbr:Probability dbr:Probability_theory dbr:Random_variable dbr:Hartley_(unit) dbr:A_Mathematical_Theory_of_Communication dbr:Bit dbr:Support_(mathematics) dbr:Coin_flipping dbr:Surprisal_analysis dbr:Twelvefold_way dbr:Dirac_measure dbr:Continuous_Random_Variables dbr:Fair_dice dbr:Independence_(probability_theory) dbr:Independent_and_identically_distributed_random_variables dbr:Information_theory dbr:Integer dbr:Nat_(unit) dbr:Natural_logarithm dbr:Categorical_variable dbr:Shannon's_source_coding_theorem dbr:Shannon_(unit) dbr:Lottery dbr:Probability_mass_function dbr:Without_loss_of_generality dbr:Discrete_random_variable dbr:Event_(probability_theory) dbr:Finite_measure dbr:Probability_measure dbr:Shannon_entropy dbr:Random_variate dbr:Mutually_exclusive dbr:Equiprobable dbr:Euler's_number dbr:Statistical_independence dbr:Discrete_Random_Variable dbr:Discrete_convolution dbr:Discrete_uniform_random_variable dbr:Independent_events dbr:Independent_random_variables dbr:Joint_probability_mass_function dbr:Sum_of_independent_random_variables dbr:Constant_random_variable dbr:Log-odds dbr:Winning_the_lottery dbr:Wikt:one_in_a_million |
| dbp:date | June 2017 (en) October 2018 (en) |
| dbp:reason | unclear terminology (en) In what context? (en) |
| dbp:wikiPageUsesTemplate | dbt:Authority_control dbt:Clarify dbt:Cleanup dbt:Expand_section dbt:Reflist dbt:Rp dbt:Section_link dbt:Sfrac dbt:Short_description |
| dct:subject | dbc:Information_theory dbc:Entropy_and_information |
| rdf:type | owl:Thing |
| rdfs:comment | المضمون المعلومي كمية أساسية مشتقة من احتمال وقوع معين بالنظر إلى متغير عشوائي. ويجوز اعتبارها طريقة بديلة للتعبير عن الاحتمال، لكن لها مزايا رياضية معينة في نظرية المعلومات. (ar) Der Informationsgehalt (oder auch Überraschungswert) einer Nachricht ist eine logarithmische Größe, die angibt, wie viel Information in dieser Nachricht übertragen wurde. Dieser Begriff wurde von Claude Shannon erstmals in seiner Informationstheorie formalisiert: Der Informationsgehalt eines Zeichens ist seine statistische Signifikanz. Er bezeichnet also die minimale Anzahl von Bits, die benötigt werden, um ein Zeichen (also eine Information) darzustellen oder zu übertragen. Wichtig ist dabei, dass dies nicht unbedingt der Anzahl der tatsächlich empfangenen Bits (der Datenmenge) entspricht, da der Informationsgehalt vom semantischen Kontext abhängig ist. (de) Informazio-teorian, informazio kantitatea zorizko aldagai batek lagin batean eman dezakeen informazioa da. Formalki, probabilitate teorian edozein gertaerarako definitutako ausazko aldagaia da informazio kantitatea, ausazko aldagaia neurtua izango den ala ez kontuan hartu gabe. Informazio kantitatea informazio-unitateetan adierazten da. Informazio-teoriaren testuinguruan, informazio kantitatearen itxaropen matematikoa entropia da, eta zera adierazten du: behatzaile batek sistema baten ausazko aldagai baten laginketatik lortzea espero dezaken batezbesteko informazio-kantitatea. (eu) 在信息论中，自信息（英語：self-information），由克勞德·夏農提出，是与概率空间中的單一事件或离散随机变量的值相关的資訊量的量度。它用信息的單位表示，例如 bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵，它反映了随机变量采样时的平均不确定程度。 (zh) В теорії інформації вла́сна інформ́ація (англ. self-information), або несподі́ваність (англ. surprisal), — це міра кількості інформації, пов'язаної з подією в імовірнісному просторі, або зі значенням дискретної випадкової величини. Вона виражається в одиницях інформації, наприклад, в бітах, натах або гартлі, залежно від основи логарифма, який застосовується в обчисленнях. Термін власна інформація іноді використовують як синонім такого пов'язаного поняття теорії інформації, як ентропія. Ці два значення не тотожні, і ця стаття описує лише перший сенс. (uk) In information theory, the information content, self-information, surprisal, or Shannon information is a basic quantity derived from the probability of a particular event occurring from a random variable. It can be thought of as an alternative way of expressing probability, much like odds or log-odds, but which has particular mathematical advantages in the setting of information theory. The information content can be expressed in various units of information, of which the most common is the "bit" (more correctly called the shannon), as explained below. (en) L'autoinformazione di un evento è la quantità d'incertezza associata all'evento, ovvero l'informazione che si ottiene affermando innanzitutto che tale evento si sia realizzato, e rimuovendo quindi l'incertezza associata. Tale concetto viene introdotto nell'ambito della Teoria dell'informazione, ponendone le basi. (it) Zelfinformatie is de hoeveelheid informatie die kennis over (de uitkomst van) een bepaalde gebeurtenis, toevoegt aan iemands kennis. De hoeveelheid zelfinformatie wordt uitgedrukt in de eenheid van informatie, de bit en is nauw verwant met het begrip entropie (gemiddelde hoeveelheid informatie) uit de informatietheorie. De hoeveelheid zelfinformatie is per definitie uitsluitend afhankelijk van de kans op die gebeurtenis. En daarbij geldt: hoe kleiner deze kans, hoe groter de zelfinformatie bij het bekend worden dat die gebeurtenis zich voor heeft gedaan. De definitie is te herschrijven als: (nl) Собственная информация — статистическая функция дискретной случайной величины. Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии. Для случайной величины , имеющей конечное число значений: собственная информация определяется как Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли. (ru) |
| rdfs:label | المضمون المعلومي (ar) Informationsgehalt (de) Informazio kantitate (eu) Information content (en) Autoinformazione (it) Zelfinformatie (nl) Собственная информация (ru) Власна інформація (uk) 自信息 (zh) |
| owl:sameAs | http://d-nb.info/gnd/4213883-8 wikidata:Information content dbpedia-ar:Information content dbpedia-da:Information content dbpedia-de:Information content dbpedia-eu:Information content dbpedia-it:Information content dbpedia-nl:Information content dbpedia-ru:Information content dbpedia-uk:Information content dbpedia-zh:Information content https://global.dbpedia.org/id/4uCLe |
| prov:wasDerivedFrom | wikipedia-en:Information_content?oldid=1122962463&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Information_content |
| is dbo:wikiPageRedirects of | dbr:Self-information dbr:Self-entropy dbr:Self-inform dbr:Self-informed dbr:Self-informing dbr:Self-informs dbr:Self_inform dbr:Self_information dbr:Self_informed dbr:Self_informing dbr:Self_informs dbr:Shannon_information dbr:Shannon_information_content dbr:Surprisal dbr:Surprisals |
| is dbo:wikiPageWikiLink of | dbr:Entropy_in_thermodynamics_and_information_theory dbr:Bloom_filter dbr:Decision_tree_learning dbr:Information_fluctuation_complexity dbr:Sequence_alignment dbr:Structural_alignment dbr:Conditional_entropy dbr:Gaussian_adaptation dbr:Entropy_(information_theory) dbr:Mutual_information dbr:Equiprobability dbr:Likelihood_function dbr:Lottery_mathematics dbr:Pervin_Shroff dbr:Position_weight_matrix dbr:Log_probability dbr:Logistic_regression dbr:DiShIn dbr:Biclustering dbr:Holographic_principle dbr:Surprisal_analysis dbr:Free_energy_principle dbr:Independence_(probability_theory) dbr:Information_gain_(decision_tree) dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Shannon_(unit) dbr:Semantic_similarity dbr:Signal dbr:Self-information dbr:Self-entropy dbr:Self-inform dbr:Self-informed dbr:Self-informing dbr:Self-informs dbr:Self_inform dbr:Self_information dbr:Self_informed dbr:Self_informing dbr:Self_informs dbr:Shannon_information dbr:Shannon_information_content dbr:Surprisal dbr:Surprisals |
| is foaf:primaryTopic of | wikipedia-en:Information_content |