Principle of maximum entropy (original) (raw)

About DBpedia

Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“.

Property Value
dbo:abstract Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“. (de) Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : * identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; * choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser. La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne. Le principe d'entropie maximale considère un principe d'équidistribution (principe d'indifférence de Laplace) et d'indépendance entre événements élémentaires ayant donné lieu à la distribution de probabilité. Il s'agit donc d'un a priori extrêmement « neutre », si toutefois l'espace d'hypothèses est bien choisi.Comme la mesure d'entropie de Shannon considère un ensemble d'états équiprobables, il peut être utile d'adapter l'espace d'hypothèses pour rendre les différents états équiprobables ou alors utiliser l'entropie relative pour normaliser l'expression par rapport à leur probabilités respectives a priori. * (en) Edwin Thompson Jaynes, Information Theory and Statistical Mechanics, 1963 (lire en ligne) (fr) En mecánica estadística, el principio de máxima entropía establece que la distribución de probabilidad menos sesgada que se le puede atribuir a un sistema estadístico es aquella en la que dadas unas ciertas condiciones fijas maximiza la entropía, , esto es, aquella en la que la desinformación es máxima. Esto viene a decir que en una situación de desconocimiento de información la distribución estadística menos sesgada será aquella en que menos información extrínseca al problema contenga.El anterior principio implica que dada la entropía como una función de la distribución de probabilidad y las j condiciones intrínsecas al problema, la distribución menos sesgada para los N microestados cumplirá que: con las condiciones Empleando los multiplicadores de Lagrange la función a maximizar es: (es) The principle of maximum entropy states that the probability distribution which best represents the current state of knowledge about a system is the one with largest entropy, in the context of precisely stated prior data (such as a proposition that expresses ). Another way of stating this: Take precisely stated prior data or testable information about a probability distribution function. Consider the set of all trial probability distributions that would encode the prior data. According to this principle, the distribution with maximal information entropy is the best choice. (en) 최대 엔트로피 원리는 시스템에 대한 현재 지식 상태를 가장 잘 나타내는 확률 분포가 가장 큰 엔트로피를 갖는 분포라는 것이다. 이것을 표현하는 또 다른 방법: 확률 분포 함수에 대해 정확하게 언급된 이전 데이터 또는 테스트 가능한 정보를 가져온다. 이전 데이터를 인코딩할 모든 시행 확률 분포 세트를 고려하라는 것이다. 이 원칙에 따르면 정보 엔트로피가 최대인 분포가 최선의 선택이다. 최대 엔트로피 분포는 데이터의 실제 분포에 대해 가장 적은 가정을 하는 분포이므로 최대 엔트로피의 원리는 오컴의 면도날의 적용이라고 볼 수 있다. (ko) 最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。 (ja) O desenvolvimento do método da máxima entropia (ME) ocorreu através de duas linhas de pesquisa: inferência estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon). O objetivo da primeira linha de investigação é a de formular uma teoria/metodologia que permite a compreensão das características gerais (distribuição) de um sistema de informação parcial e incompleto. Na segunda linha de investigação, este mesmo objectivo é expresso na forma de determinar como atribuir valores numéricos (iniciais) das probabilidades quando apenas algumas quantidades globais limitadas (teoricamente) do sistema investigados são conhecidas. O reconhecimento dos objetivos básicos comuns destas duas linhas de pesquisa auxiliou Jaynes (1957) no desenvolvimento do seu trabalho clássico, de formalização da máxima entropia. Isto é, a formalização da ME foi baseada na filosofia da primeira linha de investigação e na matemática da segunda linha de investigação. Jaynes mostrou que maximizar estatisticamente a entropia (mecânica) com a finalidade de revelar o modo como as moléculas de gás estavam distribuídas seria equivalente à simples maximização da entropia (de informação) de Shannon com informação mecânica estatisticamente. O método foi correto para atribuir probabilidades independentemente das especificidades da informação. Esta ideia conduziu a máxima entropia ou à utilização do método da máxima entropia para atribuir probabilidades. Este método tem evoluído para um método mais geral, o método de (MEr), que tem a vantagem de não só atribuir probabilidades, mas atualizá-las quando nova informação é dada sob a forma de restrições sobre os probabilidades. A ME pode ser aplicada para análise de uma grande variedade de problemas na maioria das disciplinas da ciência. por exemplo, trabalhos sobre a reconstrução de imagem e análise espectral em medicina, física, química, biologia, topografia, engenharia, comunicação e informação, investigação de operações, ciência política e economia (tomografia, imagens de satélite, motores de busca, , métodos tipo GMM, modelagem de dados em econometria); a investigação em estimação e inferência estatística (métodos bayesianos e não bayesianos); e inovações em curso no processamento de informação e de TI. (pt) Принцип максимума энтропии утверждает, что наиболее характерными распределениями вероятностей состояний неопределенной среды являются такие распределения, которые максимизируют выбранную меру неопределенности при заданной информации о «поведении» среды. Впервые подобный подход использовал Д.Гиббс для нахождения экстремальных функций распределений физических ансамблей частиц. Впоследствии Э.Джейнсом был предложен формализм восстановления неизвестных законов распределения случайных величин при наличии ограничений из условий максимума энтропии Шеннона. (ru)
dbo:wikiPageExternalLink http://bayes.wustl.edu/etj/node1.html http://przyrbwn.icm.edu.pl/APP/PDF/117/a117z602.pdf http://www.phys.uu.nl/~wwwgrnsl/jos/mepabst/mep.pdf http://bayes.wustl.edu/etj/articles/cmonkeys.pdf https://arxiv.org/abs/0708.1593 https://web.archive.org/web/20060603144738/http:/www.phys.uu.nl/~wwwgrnsl/jos/mepabst/mep.pdf https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf%23page=376%7Caccess-date=2008-08-24 http://repository.upenn.edu/cgi/viewcontent.cgi%3Farticle=1083&context=ircs_reports http://projecteuclid.org/euclid.ba/1340370710 http://cowles.yale.edu/sites/default/files/files/pub/d15/d1569.pdf
dbo:wikiPageID 201718 (xsd:integer)
dbo:wikiPageLength 31022 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID 1123453486 (xsd:integer)
dbo:wikiPageWikiLink dbr:Cambridge_University_Press dbr:Bayesian_inference dbr:Bayesian_probability dbr:Probability_distribution dbr:Multinomial_distribution dbr:Natural_language_processing dbr:Principle_of_maximum_caliber dbr:Principle_of_transformation_groups dbr:Bayes'_theorem dbr:Relative_entropy dbr:Inference dbr:Info-metrics dbr:Limiting_density_of_discrete_points dbr:Richard_Jeffrey dbc:Statistical_principles dbr:Convex_optimization dbr:Cross_entropy dbr:Maximum_entropy_probability_distribution dbr:Radical_probabilism dbr:Entropy dbr:Entropy_(information_theory) dbr:Gibbs_measure dbr:Molecular_chaos dbr:Probability_kinematics dbr:Symmetries dbr:Statistical_thermodynamics dbr:Stirling's_approximation dbr:Density_estimation dbr:Empirical_likelihood dbr:Partition_function_(mathematics) dbr:Proposition dbr:Sufficiency_(statistics) dbr:Symmetry_group dbc:Mathematical_principles dbr:Dissipation dbr:Logistic_regression dbr:Akaike_information_criterion dbc:Entropy_and_information dbr:Ergodic dbr:Expected_value dbr:Numerical_analysis dbr:Differential_entropy dbr:Channel_coding dbr:Prior_probability dbr:Quadratic_programming dbr:H._K._Kesavan dbr:Interval_(mathematics) dbr:Thermodynamic_equilibrium dbr:Statistical_mechanics dbc:Bayesian_statistics dbc:Probability_assessment dbr:Kinetic_theory_of_gases dbr:Lagrange_multiplier dbr:Support_vector_machine dbr:Conserved_quantities dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Real_numbers dbr:Principle_of_indifference dbr:Maximum_entropy_classifier dbr:Maximum_entropy_spectral_estimation dbr:Maximum_entropy_thermodynamics dbr:Maxwell–Boltzmann_statistics dbr:Uniform_distribution_(discrete) dbr:Mutually_exclusive dbr:Gibbs_distribution dbr:Statistical_ensemble dbr:Continuous_distribution dbr:Pitman–Koopman_theorem dbr:E._T._Jaynes dbr:Information_entropy dbr:Closed_form_solution dbr:Bounded_interval dbr:Logical_inference dbr:Marginalization_(probability) dbr:Exponentially_tilted_empirical_likelihood dbr:Graham_Wallis
dbp:wikiPageUsesTemplate dbt:Statistical_mechanics_topics dbt:Authority_control dbt:Cite_book dbt:Cite_journal dbt:Colend dbt:ISBN dbt:Main dbt:Math dbt:More_footnotes dbt:Other_uses_of dbt:Reflist dbt:Short_description dbt:Cols dbt:Bayesian_statistics
dct:subject dbc:Statistical_principles dbc:Mathematical_principles dbc:Entropy_and_information dbc:Bayesian_statistics dbc:Probability_assessment
rdf:type owl:Thing yago:WikicatMathematicalPrinciples yago:WikicatStatisticalPrinciples yago:Abstraction100002137 yago:Cognition100023271 yago:Content105809192 yago:Generalization105913275 yago:Idea105833840 yago:Principle105913538 yago:PsychologicalFeature100023100
rdfs:comment Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“. (de) The principle of maximum entropy states that the probability distribution which best represents the current state of knowledge about a system is the one with largest entropy, in the context of precisely stated prior data (such as a proposition that expresses ). Another way of stating this: Take precisely stated prior data or testable information about a probability distribution function. Consider the set of all trial probability distributions that would encode the prior data. According to this principle, the distribution with maximal information entropy is the best choice. (en) 最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。 (ja) Принцип максимума энтропии утверждает, что наиболее характерными распределениями вероятностей состояний неопределенной среды являются такие распределения, которые максимизируют выбранную меру неопределенности при заданной информации о «поведении» среды. Впервые подобный подход использовал Д.Гиббс для нахождения экстремальных функций распределений физических ансамблей частиц. Впоследствии Э.Джейнсом был предложен формализм восстановления неизвестных законов распределения случайных величин при наличии ограничений из условий максимума энтропии Шеннона. (ru) En mecánica estadística, el principio de máxima entropía establece que la distribución de probabilidad menos sesgada que se le puede atribuir a un sistema estadístico es aquella en la que dadas unas ciertas condiciones fijas maximiza la entropía, , esto es, aquella en la que la desinformación es máxima. Esto viene a decir que en una situación de desconocimiento de información la distribución estadística menos sesgada será aquella en que menos información extrínseca al problema contenga.El anterior principio implica que dada la entropía como una función de la distribución de probabilidad y las j condiciones intrínsecas al problema, la distribución menos sesgada para los N microestados cumplirá que: (es) Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : * identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; * choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne. * (en) Edwin Thompson Jaynes, Information Theory and Statistical Mechanics, 1963 (lire en ligne) (fr) O desenvolvimento do método da máxima entropia (ME) ocorreu através de duas linhas de pesquisa: inferência estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon). (pt)
rdfs:label Maximum-Entropie-Methode (de) Principio de máxima entropía (es) Principe d'entropie maximale (fr) 最大エントロピー原理 (ja) 최대 엔트로피 원리 (ko) Principle of maximum entropy (en) Máxima entropia (pt) Принцип максимума энтропии (ru)
owl:sameAs freebase:Principle of maximum entropy yago-res:Principle of maximum entropy wikidata:Principle of maximum entropy dbpedia-de:Principle of maximum entropy dbpedia-es:Principle of maximum entropy dbpedia-fa:Principle of maximum entropy dbpedia-fr:Principle of maximum entropy dbpedia-ja:Principle of maximum entropy dbpedia-ko:Principle of maximum entropy dbpedia-pt:Principle of maximum entropy dbpedia-ru:Principle of maximum entropy https://global.dbpedia.org/id/RUPD
prov:wasDerivedFrom wikipedia-en:Principle_of_maximum_entropy?oldid=1123453486&ns=0
foaf:isPrimaryTopicOf wikipedia-en:Principle_of_maximum_entropy
is dbo:wikiPageDisambiguates of dbr:Maximum_entropy
is dbo:wikiPageRedirects of dbr:Principle_of_Maximum_Entropy dbr:Entropy_maximization dbr:MaxEnt dbr:Maximum_Entropy dbr:Maximum_entropy_method dbr:Maximum_entropy_model dbr:Maximum_entropy_principle dbr:Entropy_maximization_principle dbr:Testable_information dbr:Jaynes'_principle dbr:MAXENT dbr:All-poles_model
is dbo:wikiPageWikiLink of dbr:Bayesian_probability dbr:Principle_of_Maximum_Entropy dbr:Entropy_in_thermodynamics_and_information_theory dbr:Principle_of_maximum_caliber dbr:Bayesian_network dbr:Algebraic_statistics dbr:Approximate_Bayesian_computation dbr:Doppler_imaging dbr:Independent_component_analysis dbr:Index_of_information_theory_articles dbr:Index_of_physics_articles_(P) dbr:Info-metrics dbr:Information_extraction dbr:List_of_probability_topics dbr:Cost–benefit_analysis dbr:Maximum_entropy_probability_distribution dbr:Maximum_likelihood_estimation dbr:Generalized_Lotka–Volterra_equation dbr:Pipe_network_analysis dbr:Quantum_Bayesianism dbr:Edwin_Thompson_Jaynes dbr:Energy dbr:Ensemble_(mathematical_physics) dbr:Entropy dbr:Entropy_(information_theory) dbr:Molecular_chaos dbr:Transportation_forecasting dbr:Anderson_localization dbr:Likelihood_function dbr:Transferable_belief_model dbr:Maximal_entropy_random_walk dbr:Maximum-entropy_random_graph_model dbr:Dissipation dbr:Land_use_regression_model dbr:Language_model dbr:Action_(physics) dbr:Akaike_information_criterion dbr:Aleksandr_Gorban dbr:Dynamic_light_scattering dbr:Exponential_family dbr:Normal_distribution dbr:Direct_coupling_analysis dbr:History_of_statistics dbr:Ising_model dbr:Entropy_maximization dbr:Tsallis_entropy dbr:Prior_probability dbr:Soft_configuration_model dbr:Athanasios_Papoulis dbr:Lagrange_multiplier dbr:Divergence_(statistics) dbr:Automated_reasoning dbr:Boltzmann_distribution dbr:Boosting_(machine_learning) dbr:MaxEnt dbr:Maximum_Entropy dbr:Maximum_entropy_method dbr:Maximum_entropy_model dbr:Maximum_entropy_principle dbr:Narendra_Kumar_(physicist) dbr:Nassim_Nicholas_Taleb dbr:Catalog_of_articles_in_probability_theory dbr:Principle_of_indifference dbr:Maximum_entropy dbr:Maximum_entropy_spectral_estimation dbr:Maximum_entropy_thermodynamics dbr:Minimum_Fisher_information dbr:List_of_statistics_articles dbr:Gibbs_algorithm dbr:Named-entity_recognition dbr:Multidimensional_spectral_estimation dbr:Robust_Bayesian_analysis dbr:Outline_of_natural_language_processing dbr:Zeeman–Doppler_imaging dbr:Species_distribution_modelling dbr:Entropy_maximization_principle dbr:Testable_information dbr:Jaynes'_principle dbr:MAXENT dbr:All-poles_model
is foaf:primaryTopic of wikipedia-en:Principle_of_maximum_entropy