Rprop (original) (raw)
Resilient Backpropagation (Rprop) bzw. elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter wird die Schrittweite bestimmt.Die Gewichtsänderung wird in zwei Schritten durchgeführt.Erster Schritt: Für jedes Gewicht wird der Änderungsparameter für die k-te Iteration wie folgt bestimmt:
| Property | Value |
|---|---|
| dbo:abstract | Resilient Backpropagation (Rprop) bzw. elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter wird die Schrittweite bestimmt.Die Gewichtsänderung wird in zwei Schritten durchgeführt.Erster Schritt: Für jedes Gewicht wird der Änderungsparameter für die k-te Iteration wie folgt bestimmt: mit Schrittweite und maximale Schrittweite für einen Vorwärtsschritt bzw. einen Rückwärtsschritt werden mit den Parametern festgelegt. Gute Werte für die Parameter sind: Im zweiten Schritt wird die Änderung der Gewichte der k-ten Iteration bestimmt: mit Dabei ist das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler. Der Rprop-Algorithmus konvergiert im Allgemeinen schneller als die Fehlerrückführung (engl. backpropagation), jedoch kann es aufgrund der Unstetigkeitsstelle am Minimum der lokalen Approximation zum Überspringen des Extremums kommen. Der Rprop-Algorithmus wurde erstmals 1992 von Martin Riedmiller und Heinrich Braun in ihrer Arbeit „Rprop - A Fast Adaptive Learning Algorithm“ vorgestellt. Christian Igel und Michael Hüsken (2003) haben eine leichte Modifikation des Algorithmus vorgeschlagen, dieseine Stabilität und Geschwindigkeit erhöht. Durch die vonAristoklis D. Anastasiadis et al. (2005) beschriebenen Veränderungen kann globale Konvergenz des Verfahrensbewiesen werden. (de) Rprop, short for resilient backpropagation, is a learning heuristic for supervised learning in feedforward artificial neural networks. This is a first-order optimization algorithm. This algorithm was created by Martin Riedmiller and Heinrich Braun in 1992. Similarly to the , Rprop takes into account only the sign of the partial derivative over all patterns (not the magnitude), and acts independently on each "weight". For each weight, if there was a sign change of the partial derivative of the total error function compared to the last iteration, the update value for that weight is multiplied by a factor η−, where η− < 1. If the last iteration produced the same sign, the update value is multiplied by a factor of η+, where η+ > 1. The update values are calculated for each weight in the above manner, and finally each weight is changed by its own update value, in the opposite direction of that weight's partial derivative, so as to minimise the total error function. η+ is empirically set to 1.2 and η− to 0.5. RPROP is a . Next to the and the Levenberg–Marquardt algorithm, Rprop is one of the fastest weight update mechanisms. (en) |
| dbo:wikiPageExternalLink | http://www.ias.informatik.tu-darmstadt.de/Research/RpropToolbox http://citeseerx.ist.psu.edu/viewdoc/summary%3Fdoi=10.1.1.17.1332 http://citeseerx.ist.psu.edu/viewdoc/summary%3Fdoi=10.1.1.21.1417 http://citeseerx.ist.psu.edu/viewdoc/summary%3Fdoi=10.1.1.21.3428 http://citeseerx.ist.psu.edu/viewdoc/summary%3Fdoi=10.1.1.27.7876 http://www.mathworks.com/matlabcentral/fileexchange/32445-rprop |
| dbo:wikiPageID | 7950358 (xsd:integer) |
| dbo:wikiPageLength | 4467 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1101638747 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Algorithm dbr:Levenberg–Marquardt_algorithm dbr:Optimization_(mathematics) dbr:Sign_(mathematics) dbr:Feedforward_neural_network dbr:Partial_derivative dbr:Backpropagation dbc:Machine_learning_algorithms dbr:First-order_approximation dbr:Heuristics dbr:Artificial_neural_network dbc:Artificial_neural_networks dbr:Supervised_learning dbr:Cascade_correlation_algorithm dbr:Batch_update_algorithm dbr:Manhattan_update_rule |
| dbp:wikiPageUsesTemplate | dbt:Cn dbt:Reflist dbt:Not_to_be_confused_with |
| dct:subject | dbc:Machine_learning_algorithms dbc:Artificial_neural_networks |
| rdf:type | owl:Thing yago:WikicatArtificialNeuralNetworks yago:Abstraction100002137 yago:Act100030358 yago:Activity100407535 yago:Algorithm105847438 yago:Communication100033020 yago:ComputerArchitecture106725249 yago:Description106724763 yago:Event100029378 yago:Message106598915 yago:NeuralNetwork106725467 yago:Procedure101023820 yago:PsychologicalFeature100023100 yago:YagoPermanentlyLocatedEntity yago:Rule105846932 yago:Specification106725067 yago:Statement106722453 yago:WikicatAlgorithms |
| rdfs:comment | Resilient Backpropagation (Rprop) bzw. elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter wird die Schrittweite bestimmt.Die Gewichtsänderung wird in zwei Schritten durchgeführt.Erster Schritt: Für jedes Gewicht wird der Änderungsparameter für die k-te Iteration wie folgt bestimmt: (de) Rprop, short for resilient backpropagation, is a learning heuristic for supervised learning in feedforward artificial neural networks. This is a first-order optimization algorithm. This algorithm was created by Martin Riedmiller and Heinrich Braun in 1992. RPROP is a . Next to the and the Levenberg–Marquardt algorithm, Rprop is one of the fastest weight update mechanisms. (en) |
| rdfs:label | Resilient Propagation (de) Rprop (en) |
| owl:differentFrom | dbr:Stochastic_gradient_descent |
| owl:sameAs | freebase:Rprop yago-res:Rprop wikidata:Rprop dbpedia-de:Rprop https://global.dbpedia.org/id/Layz |
| prov:wasDerivedFrom | wikipedia-en:Rprop?oldid=1101638747&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Rprop |
| is dbo:wikiPageRedirects of | dbr:Resilient_backpropagation dbr:Resilient_propagation |
| is dbo:wikiPageWikiLink of | dbr:Vanishing_gradient_problem dbr:Encog dbr:Gradient_descent dbr:Feedforward_neural_network dbr:Mathematics_of_artificial_neural_networks dbr:History_of_artificial_neural_networks dbr:Stochastic_gradient_descent dbr:Outline_of_machine_learning dbr:Resilient_backpropagation dbr:Resilient_propagation |
| is foaf:primaryTopic of | wikipedia-en:Rprop |