Stochastic gradient descent (original) (raw)

About DBpedia

L'algorisme del gradient estocàstic (amb acrònim anglès SGD), també conegut per gradient descendent incremental, és un mètode iteractiu per a optimitzar una funció objectiu derivable. S'anomena estocàstic perque les mostres se seleccionen aleatòriament en comptes d'un ordre predeterminat. Va ser desenvolupat per Herbert Robbins i Sutton Monro l'any 1951.

thumbnail

Property Value
dbo:abstract L'algorisme del gradient estocàstic (amb acrònim anglès SGD), també conegut per gradient descendent incremental, és un mètode iteractiu per a optimitzar una funció objectiu derivable. S'anomena estocàstic perque les mostres se seleccionen aleatòriament en comptes d'un ordre predeterminat. Va ser desenvolupat per Herbert Robbins i Sutton Monro l'any 1951. (ca) L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. (fr) Stochastic gradient descent (often abbreviated SGD) is an iterative method for optimizing an objective function with suitable smoothness properties (e.g. differentiable or subdifferentiable). It can be regarded as a stochastic approximation of gradient descent optimization, since it replaces the actual gradient (calculated from the entire data set) by an estimate thereof (calculated from a randomly selected subset of the data). Especially in high-dimensional optimization problems this reduces the very high computational burden, achieving faster iterations in trade for a lower convergence rate. While the basic idea behind stochastic approximation can be traced back to the Robbins–Monro algorithm of the 1950s, stochastic gradient descent has become an important optimization method in machine learning. (en) 確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）は、連続最適化問題に対する勾配法の乱択アルゴリズム。バッチ学習である最急降下法をオンライン学習に改良したアルゴリズムである。目的関数が微分可能な和の形であることを必要とする。 (ja) La discesa stocastica del gradiente (in lingua inglese stochastic gradient descent, SGD) è un metodo iterativo per l'ottimizzazione di funzioni differenziabili, del metodo di discesa del gradiente (GD) quando la funzione costo ha la forma di una somma. SGD opera similmente a GD ma, ad ogni iterazione, sostituisce il valore esatto del gradiente della funzione costo con una stima ottenuta valutando il gradiente solo su un sottinsieme degli addendi. È ampiamente usato per l'allenamento di una varietà di modelli probabilistici e modelli di apprendimento automatico, come macchine a vettori di supporto, regressione logistica e . In combinazione con il metodo di retropropagazione dell'errore, è lo standard de facto per l'allenamento delle reti neurali artificiali. (it) Стохастичний градієнтний спуск (англ. stochastic gradient descent, incremental gradient descent) — ітеративний метод оптимізації градієнтного спуску за допомогою . Використовується для прискорення пошуку цільової функції шляхом використання обмеженого за розміром тренувального набору, який вибирається випадково при кожній ітерації. Недавня стаття недвозначно приписує розробку метода Герберту Роббінсу та Саттону Монро (англ. Sutton Monro), які описали його у статті 1951 року «Метод стохастичного наближення» (англ. A Stochastic Approximation Method). (uk) Стохастический градиентный спуск (англ. Stochastic gradient descent, SGD) — итерационный метод для оптимизации целевой функции с подходящими свойствами гладкости (например, дифференцируемость или субдифференцируемость). Его можно расценивать как стохастическую аппроксимацию оптимизации методом градиентного спуска, поскольку он заменяет реальный градиент, вычисленный из полного набора данных, оценкой, вычисленной из случайно выбранного подмножества данных. Это сокращает задействованные вычислительные ресурсы и помогает достичь более высокой скорости итераций в обмен на более низкую скорость сходимости. Особенно большой эффект достигается в приложениях, связанных с обработкой больших данных. Хотя базовая идея стохастической аппроксимации восходит к алгоритму Роббинса-Монро 1950-х годов, стохастический градиентный спуск стал важным оптимизационным методом в машинном обучении. (ru)
dbo:thumbnail wiki-commons:Special:FilePath/Stogra.png?width=300
dbo:wikiPageExternalLink http://studyofai.com/machine-learning-algorithms/ https://distill.pub/2017/momentum/ http://codingplayground.blogspot.it/2013/05/stocastic-gradient-descent.html http://leon.bottou.org/papers/bottou-mlss-2004 https://ghostarchive.org/varchive/youtube/20211222/IHZwWFHWa-w https://www.google.com/books/edition/Fundamentals_of_Deep_Learning/80glDwAAQBAJ%3Fhl=en&gbpv=1&pg=PA63 https://www.google.com/books/edition/Neural_Networks_Tricks_of_the_Trade/VCKqCAAAQBAJ%3Fhl=en&gbpv=1&pg=PA9 https://www.youtube.com/watch%3Fv=IHZwWFHWa-w&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=2
dbo:wikiPageID 1180641 (xsd:integer)
dbo:wikiPageLength 37114 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID 1123041873 (xsd:integer)
dbo:wikiPageWikiLink dbc:M-estimators dbr:M-estimator dbr:Bisection_method dbr:David_Rumelhart dbr:Almost_surely dbc:Computational_statistics dbr:Vectorization_(mathematics) dbr:Vowpal_Wabbit dbr:Limited-memory_BFGS dbr:John_Wiley_&_Sons dbr:Convex_optimization dbr:Coordinate_descent dbr:Mathematical_optimization dbr:Estimating_equations dbr:Estimator dbr:Generalized_linear_model dbr:Norm_(mathematics) dbr:Online_machine_learning dbr:Poisson_regression dbr:Geoffrey_Hinton dbr:Geophysics dbr:Gradient_descent dbr:Momentum dbr:Convex_function dbr:Objective_function dbr:Likelihood_function dbr:Logistic_function dbr:Machine_learning dbr:Artificial_neural_networks dbr:Simulated_annealing dbr:Statistics dbr:Computational_complexity dbr:Empirical_risk_minimization dbr:Parametric_statistics dbr:Stationary_point dbr:Pseudoconvex_function dbr:Backpropagation dbc:Statistical_approximations dbc:Machine_learning_algorithms dbr:Data_set dbr:Distill_(journal) dbr:Hadamard_product_(matrices) dbr:K-means_clustering dbr:Langevin_dynamics dbr:Learning_rate dbr:Least_mean_squares_filter dbr:Least_squares dbr:Linear_classifier dbr:Linear_combination dbr:Linear_regression dbr:Logistic_regression dbr:Smoothness dbr:Force dbc:Convex_optimization dbr:Graphical_model dbr:Backtracking_line_search dbc:Stochastic_optimization dbr:Artificial_neural_network dbr:ADALINE dbc:Gradient_methods dbr:Support_vector_machine dbr:Hessian_matrix dbr:Differentiable_function dbr:YouTube dbr:Loss_function dbr:Sampling_(statistics) dbr:Score_(statistics) dbr:Stochastic_approximation dbr:Outer_product dbr:Subgradient_method dbr:Ronald_J._Williams dbr:Rprop dbr:Stochastic_hill_climbing dbr:Maximum-likelihood_estimation dbr:Proximal_gradient_method dbr:Stochastic_variance_reduction dbr:Observation_(statistics) dbr:High-dimensional dbr:Adaptive_learning_rate dbr:M-estimation dbr:Exponential_families dbr:Robbins–Monro_algorithm dbr:File:Stogra.png dbr:Robbins–Siegmund_theorem
dbp:wikiPageUsesTemplate dbt:Cbignore dbt:Citation dbt:Citation_needed dbt:Cite_journal dbt:Cite_web dbt:Efn dbt:Main dbt:Math dbt:Mvar dbt:Notelist dbt:R dbt:Reflist dbt:See_also dbt:Short_description dbt:Machine_learning dbt:Differentiable_computing dbt:Frame-footer dbt:Framebox
dct:subject dbc:M-estimators dbc:Computational_statistics dbc:Statistical_approximations dbc:Machine_learning_algorithms dbc:Convex_optimization dbc:Stochastic_optimization dbc:Gradient_methods
gold:hypernym dbr:Method
rdf:type owl:Thing dbo:Software
rdfs:comment L'algorisme del gradient estocàstic (amb acrònim anglès SGD), també conegut per gradient descendent incremental, és un mètode iteractiu per a optimitzar una funció objectiu derivable. S'anomena estocàstic perque les mostres se seleccionen aleatòriament en comptes d'un ordre predeterminat. Va ser desenvolupat per Herbert Robbins i Sutton Monro l'any 1951. (ca) L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. (fr) 確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）は、連続最適化問題に対する勾配法の乱択アルゴリズム。バッチ学習である最急降下法をオンライン学習に改良したアルゴリズムである。目的関数が微分可能な和の形であることを必要とする。 (ja) La discesa stocastica del gradiente (in lingua inglese stochastic gradient descent, SGD) è un metodo iterativo per l'ottimizzazione di funzioni differenziabili, del metodo di discesa del gradiente (GD) quando la funzione costo ha la forma di una somma. SGD opera similmente a GD ma, ad ogni iterazione, sostituisce il valore esatto del gradiente della funzione costo con una stima ottenuta valutando il gradiente solo su un sottinsieme degli addendi. È ampiamente usato per l'allenamento di una varietà di modelli probabilistici e modelli di apprendimento automatico, come macchine a vettori di supporto, regressione logistica e . In combinazione con il metodo di retropropagazione dell'errore, è lo standard de facto per l'allenamento delle reti neurali artificiali. (it) Стохастичний градієнтний спуск (англ. stochastic gradient descent, incremental gradient descent) — ітеративний метод оптимізації градієнтного спуску за допомогою . Використовується для прискорення пошуку цільової функції шляхом використання обмеженого за розміром тренувального набору, який вибирається випадково при кожній ітерації. Недавня стаття недвозначно приписує розробку метода Герберту Роббінсу та Саттону Монро (англ. Sutton Monro), які описали його у статті 1951 року «Метод стохастичного наближення» (англ. A Stochastic Approximation Method). (uk) Stochastic gradient descent (often abbreviated SGD) is an iterative method for optimizing an objective function with suitable smoothness properties (e.g. differentiable or subdifferentiable). It can be regarded as a stochastic approximation of gradient descent optimization, since it replaces the actual gradient (calculated from the entire data set) by an estimate thereof (calculated from a randomly selected subset of the data). Especially in high-dimensional optimization problems this reduces the very high computational burden, achieving faster iterations in trade for a lower convergence rate. (en) Стохастический градиентный спуск (англ. Stochastic gradient descent, SGD) — итерационный метод для оптимизации целевой функции с подходящими свойствами гладкости (например, дифференцируемость или субдифференцируемость). Его можно расценивать как стохастическую аппроксимацию оптимизации методом градиентного спуска, поскольку он заменяет реальный градиент, вычисленный из полного набора данных, оценкой, вычисленной из случайно выбранного подмножества данных. Это сокращает задействованные вычислительные ресурсы и помогает достичь более высокой скорости итераций в обмен на более низкую скорость сходимости. Особенно большой эффект достигается в приложениях, связанных с обработкой больших данных. (ru)
rdfs:label Algorisme del gradient estocàstic (ca) Algorithme du gradient stochastique (fr) Discesa stocastica del gradiente (it) 確率的勾配降下法 (ja) Stochastic gradient descent (en) Стохастический градиентный спуск (ru) Стохастичний градієнтний спуск (uk)
rdfs:seeAlso dbr:Estimating_equation
owl:sameAs freebase:Stochastic gradient descent yago-res:Stochastic gradient descent wikidata:Stochastic gradient descent dbpedia-ca:Stochastic gradient descent dbpedia-fa:Stochastic gradient descent dbpedia-fr:Stochastic gradient descent dbpedia-it:Stochastic gradient descent dbpedia-ja:Stochastic gradient descent dbpedia-ru:Stochastic gradient descent dbpedia-uk:Stochastic gradient descent https://global.dbpedia.org/id/4vPge
prov:wasDerivedFrom wikipedia-en:Stochastic_gradient_descent?oldid=1123041873&ns=0
foaf:depiction wiki-commons:Special:FilePath/Stogra.png
foaf:isPrimaryTopicOf wikipedia-en:Stochastic_gradient_descent
is dbo:wikiPageDisambiguates of dbr:Gradient_(disambiguation) dbr:SGD_(disambiguation)
is dbo:wikiPageRedirects of dbr:Applications_of_stochastic_gradient_descent dbr:Stochastic_Gradient_Descent dbr:Adagrad dbr:AdaGrad dbr:Adam_(optimization_algorithm) dbr:SGD_optimizer dbr:Gradient_descent_in_machine_learning dbr:Incremental_gradient_descent dbr:RMSProp dbr:Momentum_(machine_learning)
is dbo:wikiPageWikiLink of dbr:Elad_Hazan dbr:Momentum_(disambiguation) dbr:Neighbourhood_components_analysis dbr:Neural_Turing_machine dbr:Delta_rule dbr:Vanishing_gradient_problem dbr:Vowpal_Wabbit dbr:Limited-memory_BFGS dbr:List_of_numerical_analysis_topics dbr:Preconditioner dbr:Coordinate_descent dbr:Massive_Online_Analysis dbr:Online_machine_learning dbr:Energy_based_model dbr:GPT-2 dbr:Gradient_descent dbr:Multi-task_learning dbr:Ant_colony_optimization_algorithms dbr:Apache_Spark dbr:Applications_of_stochastic_gradient_descent dbr:Léon_Bottou dbr:Stochastic_Gradient_Descent dbr:Computer_chess dbr:Feature_learning dbr:Feature_scaling dbr:Federated_learning dbr:Mathematics_of_artificial_neural_networks dbr:Backpropagation dbr:Adagrad dbr:Adaptive_algorithm dbr:Adaptive_equalizer dbr:Torch_(machine_learning) dbr:Language_model dbr:Lasso_(statistics) dbr:Learning_rate dbr:Learning_to_rank dbr:Least_mean_squares_filter dbr:Linear_classifier dbr:Darkforest dbr:Eta dbr:Fast.ai dbr:Caustic_(optics) dbr:Gradient_method dbr:Gradient_(disambiguation) dbr:Recursive_neural_network dbr:AdaGrad dbr:Adam_(optimization_algorithm) dbr:Backtracking_line_search dbr:TensorFlow dbr:Artificial_neural_network dbr:ADALINE dbr:Kaczmarz_method dbr:Support_vector_machine dbr:DoD_NDSEG_Fellowship dbr:Song-Chun_Zhu dbr:Minimum_mean_square_error dbr:Oja's_rule dbr:Orange_(software) dbr:Loss_functions_for_classification dbr:SGD_(disambiguation) dbr:Simultaneous_perturbation_stochastic_approximation dbr:Neural_network_quantum_states dbr:Stochastic_approximation dbr:List_of_statistics_articles dbr:Streaming_algorithm dbr:Training,_validation,_and_test_data_sets dbr:Visual_temporal_attention dbr:Stochastic_hill_climbing dbr:Wasserstein_GAN dbr:Stochastic_optimization dbr:Outline_of_machine_learning dbr:Paraphrasing_(computational_linguistics) dbr:Peter_Richtarik dbr:Stochastic_gradient_Langevin_dynamics dbr:Stochastic_variance_reduction dbr:Variational_autoencoder dbr:SGD_optimizer dbr:Gradient_descent_in_machine_learning dbr:Incremental_gradient_descent dbr:RMSProp dbr:Momentum_(machine_learning)
is owl:differentFrom of dbr:Rprop
is foaf:primaryTopic of wikipedia-en:Stochastic_gradient_descent