Minimum message length (original) (raw)
Сообщение минимальной длины — это формальное переопределение принципа бритвы Оккама на языке теории информации: даже если модели не эквивалентны в точности, та из них, которая порождена наикратчайшим сообщением, является наиболее корректной. Понятие было введено Крисом Уоллесом. Имеет значение не только в качестве теоретической конструкции, но и как практическая техника. Существует также сообщение максимальной ёмкости — из нескольких моделей или выражений наиболее ёмким является то, которое порождает наибольшее количество информации.
| Property | Value |
|---|---|
| dbo:abstract | Minimum message length (MML) is a Bayesian information-theoretic method for statistical model comparison and selection. It provides a formal information theory restatement of Occam's Razor: even when models are equal in their measure of fit-accuracy to the observed data, the one generating the most concise explanation of data is more likely to be correct (where the explanation consists of the statement of the model, followed by the lossless encoding of the data using the stated model). MML was invented by Chris Wallace, first appearing in the seminal paper "An information measure for classification". MML is intended not just as a theoretical construct, but as a technique that may be deployed in practice. It differs from the related concept of Kolmogorov complexity in that it does not require use of a Turing-complete language to model data. (en) Сообщение минимальной длины — это формальное переопределение принципа бритвы Оккама на языке теории информации: даже если модели не эквивалентны в точности, та из них, которая порождена наикратчайшим сообщением, является наиболее корректной. Понятие было введено Крисом Уоллесом. Имеет значение не только в качестве теоретической конструкции, но и как практическая техника. Существует также сообщение максимальной ёмкости — из нескольких моделей или выражений наиболее ёмким является то, которое порождает наибольшее количество информации. (ru) Мініма́льна довжина́ повідо́млення (МДП, англ. minimum message length, MML) — формальне перевизначення Леза Оккама в теорії інформації: навіть якщо моделі не є рівними в точності допасованості до спостережених даних, та з них, що породжує найкоротше сукупне повідомлення, правдоподібніше є правильною (де повідомлення складається з вираження моделі, за яким слідує вираження даних, стисло закодованих із застосуванням цієї моделі). МДП було винайдено , з першою появою в основоположній праці «An information measure for classification» . МДП передбачено не просто як теоретичну побудову, а як методику, яку може бути розгорнуто на практиці. Вона відрізняється від пов'язаного поняття колмогоровської складності тим, що не вимагає використання для моделювання даних мови, повної за Тюрінгом. Відношення між строгою МДП (СМДП, англ. Strict MML, SMML) та колмогоровською складностю окреслено в праці . Крім того, можна використовувати ряд математичних наближень «строгої» МДП — див., наприклад, глави 4 і 5 книги . (uk) |
| dbo:wikiPageExternalLink | http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html%23ComleyDowe2005 http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html%23ComleyDowe2003 http://www.csse.monash.edu.au/~dld/MML.html http://www.allisons.org/ll/Images/People/Wallace/ http://www.csse.monash.edu.au/~dld/CSWallacePublications/ http://ai.ato.ms/MITECS/Entry/wallace https://www.cantab.net/users/mmlist/MML/A/ http://comjnl.oxfordjournals.org/content/42/4.toc%7Ctitle=Special http://www.allisons.org/ll/MML/ http://www.allisons.org/ll/MML/20031120e/ http://www.allisons.org/ll/Publications/200309/READ-ME.shtml http://www.csse.monash.edu.au/mml/%7Ctitle=Another http://www.csse.monash.edu.au/~dld/CSWallacePublications/WallaceBoultonAnInformationMeasureForClassification_ComputerJournal1968_pp185-194.txt%7Ctitle=An http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html%23ComleyDowe2003%7Clast1=Comley%7Cfirst1=Joshua http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html%23ComleyDowe2005%7Cchapter=Chapter http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html%23DoweGardnerOppy2007 http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html%23DoweWallace1997 http://www.csse.monash.edu.au/~dld/Publications/2001/Needham+Dowe2001_Ockham.pdf%7Cpages=253%E2%80%93260 http://www.csse.monash.edu.au/~dld/Publications/2003/Comley+Dowe03_HICS2003_GeneralBayesianNetworksAsymmetricLanguages.pdf http://www.csse.monash.edu.au/~dld/Publications/2010/Dowe2010_MML_HandbookPhilSci_Vol7_HandbookPhilStat_MML+hybridBayesianNetworkGraphicalModels+StatisticalConsistency+InvarianceAndUniqueness_pp901-982.pdf%7Cchapter=MML, http://www.csse.monash.edu.au/~dld/Snob.html http://www.csse.monash.edu.au/~lloyd/tildeMML/ https://link.springer.com/book/10.1007/0-387-27656-4 https://web.archive.org/web/20170412041031/http:/www.csse.monash.edu.au/mml/%7Carchive-date=12 https://web.archive.org/web/20170706095733/https:/www.cs.helsinki.fi/u/floreen/sem/mikko.ps http://mitpress.mit.edu/catalog/item/default.asp%3Fsid=4C100C6F-2255-40FF-A2ED-02FC49FEBE7C&ttype=2&tid=10478%7Ctitle=Advances http://www.ai.mit.edu/conferences/aistats2001%7Cconference=Proc. |
| dbo:wikiPageID | 302210 (xsd:integer) |
| dbo:wikiPageLength | 12617 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1086623117 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Bayesian_network dbr:Algorithmic_information_theory dbr:Algorithmic_probability dbc:Algorithmic_information_theory dbr:Inductive_probability dbr:Conditional_probability dbr:Mixture_model dbr:Grammar_induction dbr:Model_selection dbr:Occam's_Razor dbr:Lossless_compression dbr:Akaike_information_criterion dbr:Kolmogorov_complexity dbr:Posterior_probability dbr:A_Mathematical_Theory_of_Communication dbr:Information_theory dbr:Minimum_description_length dbr:Chris_Wallace_(computer_scientist) dbr:Turing_machine dbr:Occam's_razor dbr:Fisher_information dbr:Turing_completeness dbr:Statistical_consistency dbr:Bayes's_theorem dbr:Bayesian_model_comparison dbr:Claude_E._Shannon dbr:Inductive_inference |
| dbp:bot | medic (en) |
| dbp:date | May 2021 (en) |
| dbp:wikiPageUsesTemplate | dbt:Cbignore dbt:Cite_book dbt:Cite_conference dbt:Cite_journal dbt:Cite_web dbt:Dead_link dbt:Reflist dbt:Short_description dbt:Harvid dbt:Least_Squares_and_Regression_Analysis dbt:Statistics |
| dct:subject | dbc:Algorithmic_information_theory |
| gold:hypernym | dbr:Restatement |
| rdfs:comment | Сообщение минимальной длины — это формальное переопределение принципа бритвы Оккама на языке теории информации: даже если модели не эквивалентны в точности, та из них, которая порождена наикратчайшим сообщением, является наиболее корректной. Понятие было введено Крисом Уоллесом. Имеет значение не только в качестве теоретической конструкции, но и как практическая техника. Существует также сообщение максимальной ёмкости — из нескольких моделей или выражений наиболее ёмким является то, которое порождает наибольшее количество информации. (ru) Minimum message length (MML) is a Bayesian information-theoretic method for statistical model comparison and selection. It provides a formal information theory restatement of Occam's Razor: even when models are equal in their measure of fit-accuracy to the observed data, the one generating the most concise explanation of data is more likely to be correct (where the explanation consists of the statement of the model, followed by the lossless encoding of the data using the stated model). MML was invented by Chris Wallace, first appearing in the seminal paper "An information measure for classification". MML is intended not just as a theoretical construct, but as a technique that may be deployed in practice. It differs from the related concept of Kolmogorov complexity in that it does not requi (en) Мініма́льна довжина́ повідо́млення (МДП, англ. minimum message length, MML) — формальне перевизначення Леза Оккама в теорії інформації: навіть якщо моделі не є рівними в точності допасованості до спостережених даних, та з них, що породжує найкоротше сукупне повідомлення, правдоподібніше є правильною (де повідомлення складається з вираження моделі, за яким слідує вираження даних, стисло закодованих із застосуванням цієї моделі). МДП було винайдено , з першою появою в основоположній праці «An information measure for classification» . (uk) |
| rdfs:label | Minimum message length (en) Сообщение минимальной длины (ru) Мінімальна довжина повідомлення (uk) |
| owl:sameAs | freebase:Minimum message length wikidata:Minimum message length dbpedia-ru:Minimum message length dbpedia-uk:Minimum message length https://global.dbpedia.org/id/46qfU |
| prov:wasDerivedFrom | wikipedia-en:Minimum_message_length?oldid=1086623117&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Minimum_message_length |
| is dbo:wikiPageRedirects of | dbr:Minimum_Message_Length |
| is dbo:wikiPageWikiLink of | dbr:Bayes_factor dbr:Bayesian_information_criterion dbr:Protein_secondary_structure dbr:Bayesian_network dbr:Algorithmic_information_theory dbr:Universality_probability dbr:Decision_tree_learning dbr:Inductive_probability dbr:Mixture_model dbr:Grammar_induction dbr:Model_selection dbr:Complexity dbr:Computer_stereo_vision dbr:Speed_prior dbr:Solomonoff's_theory_of_inductive_inference dbr:Inductive_reasoning dbr:Information_theory dbr:Minimum_Message_Length dbr:Minimum_description_length dbr:Nat_(unit) dbr:Chris_Wallace_(computer_scientist) dbr:Occam's_razor dbr:Outline_of_machine_learning dbr:Supervised_learning |
| is foaf:primaryTopic of | wikipedia-en:Minimum_message_length |