| dbo:abstract |
في نظرية المعلومات والتعلم الآلي، يعبر اكتساب المعلومات عن مقدار المعلومات المكتسبة حول متغير عشوائي أو إشارة معينة من وجهة نظر متغير عشوائي آخر. ويستخدم اكتساب المعلومات مع أشجار القرار في بعض الأحيان بشكل مترادف مع المعلومات المتبادلة. (ar) In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one. The information gain of a random variable X obtained from an observation of a random variable A taking value is defined the Kullback–Leibler divergence of the prior distribution for x from the posterior distribution for x given a. The expected value of the information gain is the mutual information of X and A – i.e. the reduction in the entropy of X achieved by learning the state of the random variable A. In machine learning, this concept can be used to define a preferred sequence of attributes to investigate to most rapidly narrow down the state of X. Such a sequence (which depends on the outcome of the investigation of previous attributes at each stage) is called a decision tree and applied in the area of machine learning known as decision tree learning. Usually an attribute with high mutual information should be preferred to other attributes. (en) 정보 이론과 머신 러닝에서 정보 이득은 쿨백-라이블러 발산(Kullback Leibler Divergence,KLD)의 동의어이다. 그러나 의사 결정 나무의 맥락에서 이 용어는 때때로 상호 정보와 동의어로 사용되기도 하는데, 이것은 상호의존정보와 동의어로 사용되기도 한다. 이 정보는 한 변수의 조건부 분포에서 다른 한 변수의 단일 변수 확률 분포에 대한 쿨백-라이블러 발산의 기댓값이다. 특히, 확률 변수 A가 값 A = a를 취하는 관찰로부터 얻어진 확률 변수 X의 정보 이득은 쿨백-라이블러 발산 으로 a가 주어진 x에 대한 로부터의 x에 대한 사전 확률 로 표현된다. 정보 이득의 기댓값은 X와 A의 상호의존정보 I(X; A)이다. 즉 무작위 변수 A의 상태를 관찰함으로써 얻어지는 X의 엔트로피 감소이다. 머신 러닝에서 이 개념은 X의 상태를 가장 빠르게 좁히기 위해 조사할 속성의 기본 시퀀스를 정의하는 데 사용할 수 있다. 이러한 시퀀스 (각 단계에서 이전 속성 조사의 결과에 따라 다름)를 의사 결정 트리 라고한다. 일반적으로 상호 정보가 높은 속성은 다른 속성보다 선호되어야 한다. (ko) |
| dbo:thumbnail |
wiki-commons:Special:FilePath/Entropy-illustration.png?width=300 |
| dbo:wikiPageExternalLink |
https://crpit.scem.westernsydney.edu.au/confpapers/CRPITV121Shouman.pdf%7Cjournal=Proceedings https://www.cs.cmu.edu/~tom/mlbook.html%7Cisbn=978-0070428072 |
| dbo:wikiPageID |
2507412 (xsd:integer) |
| dbo:wikiPageLength |
21043 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID |
1111084103 (xsd:integer) |
| dbo:wikiPageWikiLink |
dbr:Probability_distribution dbr:Mutation dbr:Relevance dbr:Decision_tree dbr:Decision_tree_learning dbr:Information_content dbr:Ross_Quinlan dbc:Classification_algorithms dbr:Conditional_entropy dbr:Conditional_probability dbr:Analogy dbr:Optimal dbr:Entropy_(information_theory) dbr:Mutual_information dbr:Conditional_expectation dbr:Conditional_probability_distribution dbr:Continuous_or_discrete_variable dbr:Machine_learning dbr:Feature_(machine_learning) dbr:Training,_validation,_and_test_sets dbr:Training_set dbr:Disjoint_sets dbr:Feature_vector dbc:Decision_trees dbr:Expected_value dbr:Partition_of_a_set dbr:Random_variable dbr:Hereditary_set dbr:Surprisal_analysis dbr:C4.5_algorithm dbr:Information_gain_ratio dbr:Information_theory dbr:Kullback–Leibler_divergence dbr:Categorical_distribution dbr:Set_(mathematics) dbr:Signal dbr:Statistical_classification dbr:ID3_algorithm dbr:Overfitting dbr:Subset dbr:Shannon_entropy dbr:Prior_distribution dbr:Information_entropy dbr:Information_gain dbr:Posterior_distribution dbr:Expectation_value dbr:File:A_simple_Decision_Tree.png dbr:File:Entropy-illustration.png dbr:File:Info_Gain_Root_Split_Example.png dbr:File:Info_Gain_Splitting_the_Child_Node(s)_Example.png dbr:File:Testing_Info_Gain_Tree_Example.png |
| dbp:wikiPageUsesTemplate |
dbt:Cite_arXiv dbt:Cite_book dbt:Cite_journal dbt:More_citations_needed dbt:Mvar dbt:NumBlk dbt:Reflist dbt:Tmath dbt:Why? dbt:EquationRef dbt:Times |
| dct:subject |
dbc:Classification_algorithms dbc:Decision_trees |
| rdfs:comment |
في نظرية المعلومات والتعلم الآلي، يعبر اكتساب المعلومات عن مقدار المعلومات المكتسبة حول متغير عشوائي أو إشارة معينة من وجهة نظر متغير عشوائي آخر. ويستخدم اكتساب المعلومات مع أشجار القرار في بعض الأحيان بشكل مترادف مع المعلومات المتبادلة. (ar) 정보 이론과 머신 러닝에서 정보 이득은 쿨백-라이블러 발산(Kullback Leibler Divergence,KLD)의 동의어이다. 그러나 의사 결정 나무의 맥락에서 이 용어는 때때로 상호 정보와 동의어로 사용되기도 하는데, 이것은 상호의존정보와 동의어로 사용되기도 한다. 이 정보는 한 변수의 조건부 분포에서 다른 한 변수의 단일 변수 확률 분포에 대한 쿨백-라이블러 발산의 기댓값이다. 특히, 확률 변수 A가 값 A = a를 취하는 관찰로부터 얻어진 확률 변수 X의 정보 이득은 쿨백-라이블러 발산 으로 a가 주어진 x에 대한 로부터의 x에 대한 사전 확률 로 표현된다. 정보 이득의 기댓값은 X와 A의 상호의존정보 I(X; A)이다. 즉 무작위 변수 A의 상태를 관찰함으로써 얻어지는 X의 엔트로피 감소이다. 머신 러닝에서 이 개념은 X의 상태를 가장 빠르게 좁히기 위해 조사할 속성의 기본 시퀀스를 정의하는 데 사용할 수 있다. 이러한 시퀀스 (각 단계에서 이전 속성 조사의 결과에 따라 다름)를 의사 결정 트리 라고한다. 일반적으로 상호 정보가 높은 속성은 다른 속성보다 선호되어야 한다. (ko) In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one. (en) |
| rdfs:label |
اكتساب المعلومات (شجرة القرار) (ar) Information gain (decision tree) (en) 정보 이득 (ko) |
| owl:sameAs |
wikidata:Information gain (decision tree) dbpedia-ar:Information gain (decision tree) dbpedia-fa:Information gain (decision tree) dbpedia-ko:Information gain (decision tree) dbpedia-simple:Information gain (decision tree) https://global.dbpedia.org/id/fSck |
| prov:wasDerivedFrom |
wikipedia-en:Information_gain_(decision_tree)?oldid=1111084103&ns=0 |
| foaf:depiction |
wiki-commons:Special:FilePath/A_simple_Decision_Tree.png wiki-commons:Special:FilePath/Entropy-illustration.png wiki-commons:Special:FilePath/Info_Gain_Root_Split_Example.png wiki-commons:Special:FilePath/Info_Gain_Splitting_the_Child_Node(s)_Example.png wiki-commons:Special:FilePath/Testing_Info_Gain_Tree_Example.png |
| foaf:isPrimaryTopicOf |
wikipedia-en:Information_gain_(decision_tree) |
| is dbo:wikiPageRedirects of |
dbr:Information_gain_in_decision_trees |
| is dbo:wikiPageWikiLink of |
dbr:Information_gain_in_decision_trees |
| is foaf:primaryTopic of |
wikipedia-en:Information_gain_(decision_tree) |
