Multiple comparisons problem (original) (raw)
Die Alphafehler-Kumulierung, häufig auch α-Fehler-Inflation genannt, bezeichnet in der Statistik die globale Erhöhung der Alpha-Fehler-Wahrscheinlichkeit (Fehler 1. Art) durch multiples Testen in derselben Stichprobe. Anschaulich formuliert: Je mehr Hypothesen man auf einem Datensatz testet, desto höher wird die Wahrscheinlichkeit, dass eine davon (fehlerhaft) als zutreffend angenommen wird.
| Property | Value |
|---|---|
| dbo:abstract | Die Alphafehler-Kumulierung, häufig auch α-Fehler-Inflation genannt, bezeichnet in der Statistik die globale Erhöhung der Alpha-Fehler-Wahrscheinlichkeit (Fehler 1. Art) durch multiples Testen in derselben Stichprobe. Anschaulich formuliert: Je mehr Hypothesen man auf einem Datensatz testet, desto höher wird die Wahrscheinlichkeit, dass eine davon (fehlerhaft) als zutreffend angenommen wird. (de) In statistics, the multiple comparisons, multiplicity or multiple testing problem occurs when one considers a set of statistical inferences simultaneously or infers a subset of parameters selected based on the observed values. The more inferences are made, the more likely erroneous inferences become. Several statistical techniques have been developed to address that problem, typically by requiring a stricter significance threshold for individual comparisons, so as to compensate for the number of inferences being made. (en) 다중 비교(multiple comparisons) 또는 다중비교문제(multiple comparisons problem)는 사후 분석(Post-hoc analysis) 또는 사전검증 또는 기술통계와 같은 실험 조건의 평균등의 여러 대상 및 분석기법을 적용하여 동시에 또는 연결 분석으로 여러 번 비교를 수행하는 것을 가리킨다. 전반적 가설 검증(hypothesis test)에서 귀무가설이 기각되는 경우 어떤 실험조건들이 서로 통계적으로 유의미한 평균 차이를 가지는지, 또는 평균들 사이에 특정한 양상이 있는지를 알고자 할 때처럼 데이터 분석을 동시에 또는 연결해서 여러 번 다중 비교가 가능하도록 일반적인 통계프로그램들은 기본적으로 이러한 기능들을 제공하고있다. 다중비교를 통해서 가설검증의 중간결과에서 이를 수행하여 가설검증의 신뢰도와 타당도를 확보할 수 있을뿐만아니라 가설검증의 중간결과의 신뢰도 채택이 가능하더라도 이와 상관없이 보다 더 유용하고 유효한 결과를 얻거나 추후 재설계를 위해 사용할 수 있다. (ko) Kanskapitalisatie is een statistisch verschijnsel dat zich voordoet wanneer een onderzoeker een reeks inferentiële toetsen uitvoert op basis van hetzelfde waarnemingsmateriaal. Het probleem bij kanskapitalisatie is dat het significantieniveau α (alfa) stijgt bij het uitvoeren van een reeks toetsen op dezelfde waarnemingen, en hoe waarschijnlijker het wordt dat een van de toetsen foutief een significant resultaat geeft. (nl) Problem porównań wielokrotnych – w statystyce zjawisko występujące przy dokonywaniu estymacji lub weryfikacji hipotez statystycznych polegające na zwiększonym ponad nominalny poziom istotności ryzyku omyłkowego przyjęcia fałszywej hipotezy alternatywnej (popełnienia błędu I rodzaju) przy wykonywaniu wielu porównań tej samej grupy (rodziny) hipotez jednocześnie. Przynajmniej jeden z testów może przypadkiem, dzięki losowej zmienności prób, przekroczyć próg istotności z prawdopodobieństwem równym: Przy konwencjonalnym poziomie grupowe ryzyko popełnienia przynajmniej jednego błędu I rodzaju przekracza 50% już przy liczbie porównań wielokrotnych Przykładowo, choć w rzeczywistości w populacji badane zjawisko nie występuje w żadnym stopniu, badacz, który wykona kilkaset porównań bez odpowiedniej poprawki w podgrupach według płci, wieku, wykształcenia, klasy socjoekonomicznej, miejsca zamieszkania – np. w modelu 2 płcie × 5 grup wiekowych × 5 grup wykształcenia × 3 klasy socjoekonomiczne × 3 typy miejsca zamieszkania, co daje 450 porównań – znajdzie praktycznie na pewno bardzo wiele przypadkowo istotnych statystycznie różnic. Nawet jeśli badane zjawisko rzeczywiście istnieje, zaburzona kontrola błędu I rodzaju powoduje przeszacowywanie jego wielkości efektu. Andrew Gelman zwraca uwagę, że w wielu przypadkach nadmierna troska o błędy I rodzaju może być szkodliwa: badacz, który poprawnie przestrzega zasad wnioskowania częstościowego, powinien rozstrzygać o wartości odkrycia na podstawie mocy testu i wielkości efektu, a nie samej istotności statystycznej. Z drugiej strony, jeśli w danym obszarze badawczym błąd jest kosztowny (np. w medycynie), istnieje wiele sposobów opisu problemu i odpowiednich metod zaradczych. Problem porównań wielokrotnych spotyka się również w badaniach eksploracyjnych, oraz w komputerowej eksploracji danych (data miningu), jednak w zastosowaniach eksploracyjnych może być traktowany inaczej i rozwiązywany np. przez zaplanowanie w dalszych krokach , czy stosowanie sprawdzianu krzyżowego (kroswalidacji) oraz metod samowspornych (bootstrap). Problem w mniejszym stopniu dotyczy również metod strukturalnych i hierarchicznych technik bayesowskich. (pl) Bonferroni-Holms metod är en metod för att anpassa den totala signifikansnivån i ett sekventiellt multipelt test. Metoden är namngiven efter och . Antag att k nollhypoteser ska testas med en total signifikansnivå på α. Sortera alla tester med avseende på fallande och testa det minsta p-värdet mot α/k. Om p-värdet understiger α/k förkastas denna hypotes. Därefter testas det näst minsta p-värdet mot α/(k-1). Proceduren fortsätter till dess att den aktuella hypotesen inte kan förkastas, varvid alla kvarvarande hypoteser kommer att accepteras. (sv) 多重比較謬誤（Multiple Comparisons Fallacy），是一種機率謬誤，係指廣泛比較二個不同群體的所有差異，從中找出具有差異的特徵，然後宣稱它就是造成二個群體不同的原因。 (zh) Поправка на мно́жественную проверку гипотез (англ. multiple comparisons, multiplicity, multiple testing problem) — способ устранения эффекта множественных сравнений, возникающего при необходимости построения семейства статистических выводов. Во время проверки статистических гипотез при отвержении основной гипотезы (H0) возможна ошибка (ложное отклонение гипотезы, ошибка первого рода). Вероятность такого события ограничивается неким малым предварительно выбранным значением — уровнем значимости (обычно ). Тогда при построении выводов верхняя оценка вероятности того, что хотя бы один из них будет неверным, равна , что достаточно велико уже при небольших (например, при , она равна ). Для устранения этого эффекта было разработано несколько подходов. (ru) |
| dbo:thumbnail | wiki-commons:Special:FilePath/Spurious_correlations_-_spelling_bee_spiders.svg?width=300 |
| dbo:wikiPageExternalLink | http://www.tylervigen.com/spurious-correlations |
| dbo:wikiPageID | 9444220 (xsd:integer) |
| dbo:wikiPageLength | 19221 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1117553448 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Q-value_(statistics) dbr:Sandrine_Dudoit dbr:Testing_hypotheses_suggested_by_the_data dbc:Statistical_hypothesis_testing dbr:Pharmacology dbr:DNA_microarray dbr:Duncan's_new_multiple_range_test dbr:Interval_estimation dbr:Analysis_of_variance dbr:Measurement dbr:Genetic_association dbr:Genomics dbr:Model_selection dbr:Statistical_inference dbr:Standard_score dbr:Statistics dbr:Closed_testing_procedure dbr:Harmonic_mean_p-value dbr:Type_I_error dbr:Data_dredging dbr:Sampling_error dbr:False_positive dbr:Family-wise_error_rate dbr:Familywise_error_rate dbr:False_coverage_rate dbr:False_discovery_rate dbr:False_positive_rate dbr:Statistical_dispersion dbr:Israel dbr:Coverage_probability dbr:Holm–Bonferroni_method dbr:Tukey dbr:Bonferroni_correction dbr:Boole's_inequality dbc:Multiple_comparisons dbr:Poisson_distribution dbr:Scheffé dbr:Information_technology dbr:Q–Q_plot dbr:Look-elsewhere_effect dbr:Test_statistic dbr:Exploratory_data_analysis dbr:Confidence_intervals dbr:Statistical_hypothesis_testing dbr:Texas_sharpshooter_fallacy dbr:Šidák_correction dbr:Post-hoc_analysis dbr:Bonferroni_bound dbr:Baysian_statistics dbr:Benjamini–Hochberg_procedure dbr:Expected_number dbr:Experimentwise_error_rate dbr:File:Spurious_correlations_-_spelling_bee_spiders.svg dbr:File:Quantile_meta_test.svg |
| dbp:wikiPageUsesTemplate | dbt:Anchor dbt:Citation_needed dbt:Cite_journal dbt:Further dbt:Reflist dbt:See_also dbt:Short_description dbt:Experimental_design dbt:Classification_of_multiple_hypothesis_tests dbt:Cleanup_merge dbt:Statistics |
| dct:subject | dbc:Statistical_hypothesis_testing dbc:Multiple_comparisons |
| rdf:type | owl:Thing yago:WikicatMultipleComparisons yago:Abstraction100002137 yago:Act100030358 yago:Activity100407535 yago:Comparison100142665 yago:Event100029378 yago:Examination100635850 yago:Investigation100633864 yago:PsychologicalFeature100023100 yago:Work100575741 yago:YagoPermanentlyLocatedEntity |
| rdfs:comment | Die Alphafehler-Kumulierung, häufig auch α-Fehler-Inflation genannt, bezeichnet in der Statistik die globale Erhöhung der Alpha-Fehler-Wahrscheinlichkeit (Fehler 1. Art) durch multiples Testen in derselben Stichprobe. Anschaulich formuliert: Je mehr Hypothesen man auf einem Datensatz testet, desto höher wird die Wahrscheinlichkeit, dass eine davon (fehlerhaft) als zutreffend angenommen wird. (de) In statistics, the multiple comparisons, multiplicity or multiple testing problem occurs when one considers a set of statistical inferences simultaneously or infers a subset of parameters selected based on the observed values. The more inferences are made, the more likely erroneous inferences become. Several statistical techniques have been developed to address that problem, typically by requiring a stricter significance threshold for individual comparisons, so as to compensate for the number of inferences being made. (en) 다중 비교(multiple comparisons) 또는 다중비교문제(multiple comparisons problem)는 사후 분석(Post-hoc analysis) 또는 사전검증 또는 기술통계와 같은 실험 조건의 평균등의 여러 대상 및 분석기법을 적용하여 동시에 또는 연결 분석으로 여러 번 비교를 수행하는 것을 가리킨다. 전반적 가설 검증(hypothesis test)에서 귀무가설이 기각되는 경우 어떤 실험조건들이 서로 통계적으로 유의미한 평균 차이를 가지는지, 또는 평균들 사이에 특정한 양상이 있는지를 알고자 할 때처럼 데이터 분석을 동시에 또는 연결해서 여러 번 다중 비교가 가능하도록 일반적인 통계프로그램들은 기본적으로 이러한 기능들을 제공하고있다. 다중비교를 통해서 가설검증의 중간결과에서 이를 수행하여 가설검증의 신뢰도와 타당도를 확보할 수 있을뿐만아니라 가설검증의 중간결과의 신뢰도 채택이 가능하더라도 이와 상관없이 보다 더 유용하고 유효한 결과를 얻거나 추후 재설계를 위해 사용할 수 있다. (ko) Kanskapitalisatie is een statistisch verschijnsel dat zich voordoet wanneer een onderzoeker een reeks inferentiële toetsen uitvoert op basis van hetzelfde waarnemingsmateriaal. Het probleem bij kanskapitalisatie is dat het significantieniveau α (alfa) stijgt bij het uitvoeren van een reeks toetsen op dezelfde waarnemingen, en hoe waarschijnlijker het wordt dat een van de toetsen foutief een significant resultaat geeft. (nl) Bonferroni-Holms metod är en metod för att anpassa den totala signifikansnivån i ett sekventiellt multipelt test. Metoden är namngiven efter och . Antag att k nollhypoteser ska testas med en total signifikansnivå på α. Sortera alla tester med avseende på fallande och testa det minsta p-värdet mot α/k. Om p-värdet understiger α/k förkastas denna hypotes. Därefter testas det näst minsta p-värdet mot α/(k-1). Proceduren fortsätter till dess att den aktuella hypotesen inte kan förkastas, varvid alla kvarvarande hypoteser kommer att accepteras. (sv) 多重比較謬誤（Multiple Comparisons Fallacy），是一種機率謬誤，係指廣泛比較二個不同群體的所有差異，從中找出具有差異的特徵，然後宣稱它就是造成二個群體不同的原因。 (zh) Поправка на мно́жественную проверку гипотез (англ. multiple comparisons, multiplicity, multiple testing problem) — способ устранения эффекта множественных сравнений, возникающего при необходимости построения семейства статистических выводов. Во время проверки статистических гипотез при отвержении основной гипотезы (H0) возможна ошибка (ложное отклонение гипотезы, ошибка первого рода). Вероятность такого события ограничивается неким малым предварительно выбранным значением — уровнем значимости (обычно ). Тогда при построении выводов верхняя оценка вероятности того, что хотя бы один из них будет неверным, равна , что достаточно велико уже при небольших (например, при , она равна ). Для устранения этого эффекта было разработано несколько подходов. (ru) Problem porównań wielokrotnych – w statystyce zjawisko występujące przy dokonywaniu estymacji lub weryfikacji hipotez statystycznych polegające na zwiększonym ponad nominalny poziom istotności ryzyku omyłkowego przyjęcia fałszywej hipotezy alternatywnej (popełnienia błędu I rodzaju) przy wykonywaniu wielu porównań tej samej grupy (rodziny) hipotez jednocześnie. Przynajmniej jeden z testów może przypadkiem, dzięki losowej zmienności prób, przekroczyć próg istotności z prawdopodobieństwem równym: (pl) |
| rdfs:label | Alphafehler-Kumulierung (de) 다중 비교 (ko) Multiple comparisons problem (en) Kanskapitalisatie (nl) Problem porównań wielokrotnych (pl) Поправка на множественную проверку гипотез (ru) Bonferroni-Holms metod (sv) 多重比較謬誤 (zh) |
| rdfs:seeAlso | dbr:False_coverage_rate |
| owl:sameAs | freebase:Multiple comparisons problem yago-res:Multiple comparisons problem wikidata:Multiple comparisons problem dbpedia-de:Multiple comparisons problem dbpedia-fa:Multiple comparisons problem dbpedia-he:Multiple comparisons problem dbpedia-ko:Multiple comparisons problem dbpedia-nl:Multiple comparisons problem dbpedia-pl:Multiple comparisons problem dbpedia-ru:Multiple comparisons problem dbpedia-sv:Multiple comparisons problem dbpedia-zh:Multiple comparisons problem https://global.dbpedia.org/id/7FEq |
| prov:wasDerivedFrom | wikipedia-en:Multiple_comparisons_problem?oldid=1117553448&ns=0 |
| foaf:depiction | wiki-commons:Special:FilePath/Spurious_correlations_-_spelling_bee_spiders.svg wiki-commons:Special:FilePath/Quantile_meta_test.svg |
| foaf:isPrimaryTopicOf | wikipedia-en:Multiple_comparisons_problem |
| is dbo:wikiPageRedirects of | dbr:Multiple_comparisons dbr:Classification_of_multiple_hypothesis_tests dbr:Multiple_Testing_Correction dbr:Multiple_testing_correction dbr:Critical_difference dbr:Problem_of_multiple_comparisons dbr:Simultaneous_inference dbr:Multiple_comparison dbr:Multiple_correction dbr:Multiple_testing dbr:Multiple_testing_problem |
| is dbo:wikiPageWikiLink of | dbr:Q-value_(statistics) dbr:Environment-wide_association_study dbr:Metabolomics dbr:John_Tukey dbr:Juliet_Popper_Shaffer dbr:Preregistration_(science) dbr:Analysis_of_variance dbr:Functional_magnetic_resonance_imaging dbr:Multiple_comparisons dbr:Statistical_significance dbr:Harmonic_mean_p-value dbr:Kruskal–Wallis_one-way_analysis_of_variance dbr:Market_anomaly dbr:P-value dbr:Observational_study dbr:Studentized_range dbr:Microbiome-wide_association_study dbr:CONN_(functional_connectivity_toolbox) dbr:Data_dredging dbr:Classification_of_multiple_hypothesis_tests dbr:RNA-Seq dbr:Random_field dbr:Digit_ratio dbr:Failure_bias dbr:Glia dbr:Nairanjana_Dasgupta dbr:Technical_analysis dbr:Jiayang_Sun dbr:Big_data dbr:Binomial_sum_variance_inequality dbr:Bonferroni_correction dbr:Michael_Wolf_(statistician) dbr:Look-elsewhere_effect dbr:Matched_filter dbr:Multiple_Testing_Correction dbr:Multiple_testing_correction dbr:Multivitamin dbr:Texas_sharpshooter_fallacy dbr:Survivorship_bias dbr:Critical_difference dbr:Problem_of_multiple_comparisons dbr:Simultaneous_inference dbr:Multiple_comparison dbr:Multiple_correction dbr:Multiple_testing dbr:Multiple_testing_problem |
| is foaf:primaryTopic of | wikipedia-en:Multiple_comparisons_problem |
