Scoring rule (original) (raw)
In der Entscheidungstheorie ist eine score function oder scoring rule, zu deutsch eine Bewertungs-Regel, ein Maß für die Performanz eines Individuums, wenn mit Unsicherheit behaftete Entscheidungen getroffen werden. Als Beispiel kann die Wettervorhersage herangezogen werden. Dabei wird eine Regenwahrscheinlichkeit für jeden Tag erzeugt. Durch eine Statistik der Vorhersagen kann die tatsächliche Regenhäufigkeit mit der Vorhersage abgeglichen werden. Ist die Vorhersage oft falsch, so wird sie genannt. Kann der Vorhersagende motiviert werden, seine Leistung zu verbessern, dann kann eine Funktion verwendet werden, bei der das die Vorhersage ist und , wenn es regnet, und , wenn nicht. Will der Vorhersagende nun seine Leistung mit dieser Funktion optimieren, dann wird über folgende Funktion m
| Property | Value |
|---|---|
| dbo:abstract | In der Entscheidungstheorie ist eine score function oder scoring rule, zu deutsch eine Bewertungs-Regel, ein Maß für die Performanz eines Individuums, wenn mit Unsicherheit behaftete Entscheidungen getroffen werden. Als Beispiel kann die Wettervorhersage herangezogen werden. Dabei wird eine Regenwahrscheinlichkeit für jeden Tag erzeugt. Durch eine Statistik der Vorhersagen kann die tatsächliche Regenhäufigkeit mit der Vorhersage abgeglichen werden. Ist die Vorhersage oft falsch, so wird sie genannt. Kann der Vorhersagende motiviert werden, seine Leistung zu verbessern, dann kann eine Funktion verwendet werden, bei der das die Vorhersage ist und , wenn es regnet, und , wenn nicht. Will der Vorhersagende nun seine Leistung mit dieser Funktion optimieren, dann wird über folgende Funktion maximiert; wobei p die persönliche Wahrscheinlichkeit des Vorhersagenden ist, dass es regnen wird. (de) In decision theory, a scoring rule provides a summary measure for the evaluation of probabilistic predictions or forecasts. It is applicable to tasks in which predictions assign probabilities to events, i.e. one issues a probability distribution as prediction. This includes probabilistic classification of a set of mutually exclusive outcomes or classes. On the other side, a scoring function provides a summary measure for the evaluation of point predictions, i.e. one predicts a property or functional , like the expectation or the median. Scoring rules and scoring functions can be thought of as "cost function" or "loss function". They are evaluated as empirical mean of a given sample, simply called score. Scores of different predictions or models can then be compared to conclude which model is best. If a cost is levied in proportion to a proper scoring rule, the minimal expected cost corresponds to reporting the true set of probabilities. Proper scoring rules are used in meteorology, finance, and pattern classification where a forecaster or algorithm will attempt to minimize the average score to yield refined, calibrated probabilities (i.e. accurate probabilities). (en) |
| dbo:thumbnail | wiki-commons:Special:FilePath/Scoring_functions.gif?width=300 |
| dbo:wikiPageExternalLink | http://faculty.engr.utexas.edu/bickel/Papers/Scoring_Rules_Education.pdf http://www.stat.washington.edu/research/reports/2004/tr463.pdf http://www.decisionsciencenews.com/%3Fp=963 https://www.stat.washington.edu/research/reports/2009/tr551.pdf https://www.jstor.org/discover/10.2307/1402448%3Fuid=16779064&uid=3737864&uid=2129&uid=2&uid=70&uid=16734048&uid=3&uid=67&uid=62&sid=21101527707467 |
| dbo:wikiPageID | 4079010 (xsd:integer) |
| dbo:wikiPageLength | 22480 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1122207559 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Bayesian_inference dbr:Probabilistic_classification dbr:Probabilistic_forecasting dbr:Decision_rule dbr:Decision_theory dbr:Σ-algebra dbr:Median dbr:Calibrated_probability_assessment dbr:Affine_transformation dbr:Expected_value dbr:Brier_score dbr:False_positives_and_false_negatives dbr:Weather_forecasting dbr:Probability_vector dbr:Sample_space dbc:Decision_theory dbc:Probability_assessment dbr:Accuracy_and_precision dbr:Binary_decision dbr:Information_theory dbr:Loss_function dbr:Self-information dbr:Personal_Probability dbr:Wikt:bonus dbr:File:ExpectedLog.png dbr:File:LogScore.png dbr:File:NormalizedScore.png dbr:File:RawScore.png dbr:File:Scoring_functions.gif |
| dbp:wikiPageUsesTemplate | dbt:= dbt:Anchor dbt:Distinguish dbt:Math dbt:Reflist |
| dct:subject | dbc:Decision_theory dbc:Probability_assessment |
| rdf:type | owl:Thing |
| rdfs:comment | In der Entscheidungstheorie ist eine score function oder scoring rule, zu deutsch eine Bewertungs-Regel, ein Maß für die Performanz eines Individuums, wenn mit Unsicherheit behaftete Entscheidungen getroffen werden. Als Beispiel kann die Wettervorhersage herangezogen werden. Dabei wird eine Regenwahrscheinlichkeit für jeden Tag erzeugt. Durch eine Statistik der Vorhersagen kann die tatsächliche Regenhäufigkeit mit der Vorhersage abgeglichen werden. Ist die Vorhersage oft falsch, so wird sie genannt. Kann der Vorhersagende motiviert werden, seine Leistung zu verbessern, dann kann eine Funktion verwendet werden, bei der das die Vorhersage ist und , wenn es regnet, und , wenn nicht. Will der Vorhersagende nun seine Leistung mit dieser Funktion optimieren, dann wird über folgende Funktion m (de) In decision theory, a scoring rule provides a summary measure for the evaluation of probabilistic predictions or forecasts. It is applicable to tasks in which predictions assign probabilities to events, i.e. one issues a probability distribution as prediction. This includes probabilistic classification of a set of mutually exclusive outcomes or classes. On the other side, a scoring function provides a summary measure for the evaluation of point predictions, i.e. one predicts a property or functional , like the expectation or the median. (en) |
| rdfs:label | Scoring rule (de) Scoring rule (en) |
| owl:differentFrom | dbr:Score_voting |
| owl:sameAs | freebase:Scoring rule wikidata:Scoring rule dbpedia-de:Scoring rule https://global.dbpedia.org/id/28Ue3 |
| prov:wasDerivedFrom | wikipedia-en:Scoring_rule?oldid=1122207559&ns=0 |
| foaf:depiction | wiki-commons:Special:FilePath/ExpectedLog.png wiki-commons:Special:FilePath/LogScore.png wiki-commons:Special:FilePath/NormalizedScore.png wiki-commons:Special:FilePath/RawScore.png wiki-commons:Special:FilePath/Scoring_functions.gif |
| foaf:isPrimaryTopicOf | wikipedia-en:Scoring_rule |
| is dbo:wikiPageRedirects of | dbr:Proper_score_function dbr:Scoring_function dbr:Scoring_model dbr:Scoring_rules dbr:Scoring_system dbr:Proper_scoring dbr:Proper_scoring_rule dbr:Log_scoring_rule |
| is dbo:wikiPageWikiLink of | dbr:Probabilistic_classification dbr:Robin_Hanson dbr:Energy_distance dbr:Probabilistic_forecasting dbr:Decision_rule dbr:Information_content dbr:Proper_score_function dbr:Slrn dbr:Brier_score dbr:Scoring_function dbr:Scoring_model dbr:Scoring_rules dbr:Scoring_system dbr:Metaculus dbr:Loss_function dbr:Score dbr:The_Good_Judgment_Project dbr:List_of_statistics_articles dbr:Luria–Delbrück_experiment dbr:Evaluation_of_binary_classifiers dbr:Statistical_potential dbr:Nonhomogeneous_Gaussian_regression dbr:Proper_scoring dbr:Proper_scoring_rule dbr:Score_function dbr:Log_scoring_rule |
| is foaf:primaryTopic of | wikipedia-en:Scoring_rule |
