Quickprop (original) (raw)
Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel.Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll.
| Property | Value |
|---|---|
| dbo:abstract | Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel.Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll. Der k-te Approximationsschritt ist dabei gegeben durch: Dabei ist das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler. Der Quickprop-Algorithmus konvergiert im Allgemeinen schneller als Fehlerrückführung (engl. backpropagation), jedoch kann sich das Netzwerk in der Lernphase aufgrund zu großer Schrittweiten chaotisch verhalten. (de) Quickprop is an iterative method for determining the minimum of the loss function of an artificial neural network, following an algorithm inspired by the Newton's method. Sometimes, the algorithm is classified to the group of the second order learning methods. It follows a quadratic approximation of the previous gradient step and the current gradient, which is expected to be close to the minimum of the loss function, under the assumption that the loss function is locally approximately square, trying to describe it by means of an upwardly open parabola. The minimum is sought in the vertex of the parabola. The procedure requires only local information of the artificial neuron to which it is applied.The -th approximation step is given by: Being the neuron weight of its input and is the loss function. The Quickprop algorithm is an implementation of the error backpropagation algorithm, but the network can behave chaotically during the learning phase due to large step sizes. (en) |
| dbo:wikiPageExternalLink | https://www.cs.cmu.edu/afs/cs.cmu.edu/user/sef/www/publications/qp-tr.ps |
| dbo:wikiPageID | 41575347 (xsd:integer) |
| dbo:wikiPageLength | 1821 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1000317609 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Gradient dbr:Backpropagation dbc:Computational_neuroscience dbc:Machine_learning_algorithms dbr:Parabola dbr:Artificial_neural_network dbc:Artificial_neural_networks dbr:Artificial_neuron dbr:Newton's_method dbr:Loss_function |
| dbp:wikiPageUsesTemplate | dbt:Reflist dbt:Short_description |
| dcterms:subject | dbc:Computational_neuroscience dbc:Machine_learning_algorithms dbc:Artificial_neural_networks |
| rdf:type | yago:WikicatArtificialNeuralNetworks yago:Abstraction100002137 yago:Communication100033020 yago:ComputerArchitecture106725249 yago:Description106724763 yago:Message106598915 yago:NeuralNetwork106725467 yago:Specification106725067 yago:Statement106722453 |
| rdfs:comment | Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel.Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll. (de) Quickprop is an iterative method for determining the minimum of the loss function of an artificial neural network, following an algorithm inspired by the Newton's method. Sometimes, the algorithm is classified to the group of the second order learning methods. It follows a quadratic approximation of the previous gradient step and the current gradient, which is expected to be close to the minimum of the loss function, under the assumption that the loss function is locally approximately square, trying to describe it by means of an upwardly open parabola. The minimum is sought in the vertex of the parabola. The procedure requires only local information of the artificial neuron to which it is applied.The -th approximation step is given by: (en) |
| rdfs:label | Quickprop (de) Quickprop (en) |
| owl:sameAs | freebase:Quickprop yago-res:Quickprop wikidata:Quickprop dbpedia-de:Quickprop dbpedia-fa:Quickprop https://global.dbpedia.org/id/MVJ4 |
| prov:wasDerivedFrom | wikipedia-en:Quickprop?oldid=1000317609&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Quickprop |
| is dbo:wikiPageWikiLink of | dbr:Artificial_neural_network dbr:Outline_of_machine_learning |
| is foaf:primaryTopic of | wikipedia-en:Quickprop |