Regularization (mathematics) (original) (raw)

dbo:abstract

التنظيم هي عملية إضافة معلومات من أجل حل مشكلة خاطئة أو لمنع حدوث الاحكام المفرط (Overfitting) في معضلات كالتصنيف، والعملية شائعة في الرياضيات والإحصاء وعلوم الكمبيوتر ، لا سيما في التعلم الآلي. (ar)
La regularización, en matemáticas y estadística y particularmente en los campos de aprendizaje automático y problemas inversos, se refiere a un proceso de introducir información adicional para solucionar un problema mal definido o para impedir el sobreajuste. * Datos: Q2061913 (es)
Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage. Cette information prend généralement la forme d'une pénalité envers la complexité du modèle. On peut relier cette méthode au principe du rasoir d'Occam. D'un point de vue bayésien, l'utilisation de la régularisation revient à imposer une distribution a priori sur les paramètres du modèle. Une méthode généralement utilisée est de pénaliser les valeurs extrêmes des paramètres, qui correspondent souvent à un surapprentissage. Pour cela, on va utiliser une norme sur ces paramètres, que l'on va ajouter à la fonction qu'on cherche à minimiser. Les normes les plus couramment employées pour cela sont L₁ et L₂ . L₁ offre l'avantage de revenir à faire une sélection de paramètres, mais elle n'est pas différentiable, ce qui peut être un inconvénient pour les algorithmes utilisant un calcul de gradient pour l'optimisation. (fr)
In mathematics, statistics, finance, computer science, particularly in machine learning and inverse problems, regularization is a process that changes the result answer to be "simpler". It is often used to obtain results for ill-posed problems or to prevent overfitting. Although regularization procedures can be divided in many ways, following delineation is particularly helpful: * Explicit regularization is regularization whenever one explicitly adds a term to the optimization problem. These terms could be priors, penalties, or constraints. Explicit regularization is commonly employed with ill-posed optimization problems. The regularization term, or penalty, imposes a cost on the optimization function to make the optimal solution unique. * Implicit regularization is all other forms of regularization. This includes, for example, early stopping, using a robust loss function, and discarding outliers. Implicit regularization is essentially ubiquitous in modern machine learning approaches, including stochastic gradient descent for training deep neural networks, and ensemble methods (such as random forests and gradient boosted trees). In explicit regularization, independent of the problem or model, there is always a data term, that corresponds to a likelihood of the measurement and a regularization term that corresponds to a prior. By combining both using Bayesian statistics, one can compute a posterior, that includes both information sources and therefore stabilizes the estimation process. By trading off both objectives, one chooses to be more addictive to the data or to enforce generalization (to prevent overfitting). There is a whole research branch dealing with all possible regularizations. The work flow usually is, that one tries a specific regularization and then figures out the probability density that corresponds to that regularization to justify the choice. It can also be physically motivated by common sense or intuition. In machine learning, the data term corresponds to the training data and the regularization is either the choice of the model or modifications to the algorithm. It is always intended to reduce the generalization error, i.e. the error score with the trained model on the evaluation set and not the training data. One of the earliest uses of regularization is Tikhonov regularization, related to the method of least squares. (en)
数学・統計学・計算機科学において、特に機械学習と逆問題において、正則化（せいそくか、英: regularization）とは、不良設定問題を解いたり過学習を防いだりするために、情報を追加する手法である。モデルの複雑さに罰則を科すために導入され、なめらかでないことに罰則をかけたり、パラメータのノルムの大きさに罰則をかけたりする。正則化の理論的正当化はオッカムの剃刀にある。ベイジアンの観点では、多くの正則化の手法は、モデルのパラメータの事前情報にあたる。 (ja)
( 다른 뜻에 대해서는 조절 (물리학) 문서를 참고하십시오.) 정칙화(正則化, regularization)는 역문제를 해결할때나 기계 학습에서 ill-posed 문제를 풀거나 과적합을 방지하는 기법으로 티호노프 정칙화 등이 있다. (ko)
In matematica e statistica, particolarmente nei campi dell'apprendimento automatico e dei problemi inversi, la regolarizzazione implica l'introduzione di ulteriore informazione allo scopo di risolvere un problema mal condizionato o per prevenire l'eccessivo adattamento. Tale informazione è solitamente nella forma di una penalità per complessità, tale come una restrizione su una funzione liscia o una limitazione sulla norma di uno spazio vettoriale. Una giustificazione teorica per la regolarizzazione è quella per cui essa costituisce un tentativo di imporre il rasoio di Occam alla soluzione. Da un punto di vista bayesiano, molte tecniche di regolarizzazione corrispondono a imporre certe distribuzioni di probabilità a priori dei parametri del modello. La medesima idea sorge in molti campi della scienza. Per esempio, il metodo dei minimi quadrati può essere visto come una forma veramente semplice di regolarizzazione. Una semplice forma di regolarizzazione applicata alle equazioni integrali, generalmente detta regolarizzazione di Tichonov dal nome di Andrey Nikolayevich Tikhonov, è costituita essenzialmente da un bilanciamento tra la regressione dei dati e una norma dipendente dalla soluzione. Più recentemente, sono divenuti diffusi metodi di regolarizzazione non lineare, inclusa la regolarizzazione a variazione totale (total variation regularization). (it)
Regularyzacja – wprowadzenie dodatkowej informacji do rozwiązywanego zagadnienia źle postawionego w celu polepszenia jakości rozwiązania. Regularyzacja jest często wykorzystywana przy rozwiązywaniu problemów odwrotnych. Spośród opracowanych metod regularyzacji można wyliczyć: * regularyzację Tichonowa * regularyzację poprzez rozkład według wartości osobliwych * iteracyjne metody regularyzacji * regularyzację poprzez dyskretyzację * regularyzację poprzez filtrowanie (pl)
Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства. С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели. Некоторые виды регуляризации: * (англ. lasso regression), или регуляризация через манхэттенское расстояние:. * - регуляризация, или регуляризация Тихонова (в англоязычной литературе — ridge regression или Tikhonov regularization), для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:. Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициенты. Нет решения относительно многокритериальной оптимизации или оптимизации, в которой область значения целевой функции есть пространство, на котором нет линейного порядка, или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето, используют скаляризацию. В оптимизации регуляризация — это общий метод скаляризации для задачи двухкритериальной оптимизации. Варьируя параметр лямбда — элемент, который должен быть больше нуля в дуальном конусе относительно которого определён порядок — можно получить разные точки на кривой Парето. (ru)
在数学与计算机科学中，尤其是在机器学习和逆问题领域中，正则化（英语：regularization）是指为解决适定性问题或过拟合而加入额外信息的过程。在机器学习和逆问题的优化过程中，正则项往往被加在目标函数当中。 (zh)
Регуляризація, в математиці і статистиці, а також в задачах машинного навчання і , означає додавання деякої додаткової інформації, щоб знайти рішення некоректно поставленої задачі, або щоб уникнути перенавчання. (uk)

dbo:wikiPageWikiLink

dbp:reason

What is structure in the learning process? (en)

rdfs:comment

التنظيم هي عملية إضافة معلومات من أجل حل مشكلة خاطئة أو لمنع حدوث الاحكام المفرط (Overfitting) في معضلات كالتصنيف، والعملية شائعة في الرياضيات والإحصاء وعلوم الكمبيوتر ، لا سيما في التعلم الآلي. (ar)
La regularización, en matemáticas y estadística y particularmente en los campos de aprendizaje automático y problemas inversos, se refiere a un proceso de introducir información adicional para solucionar un problema mal definido o para impedir el sobreajuste. * Datos: Q2061913 (es)
数学・統計学・計算機科学において、特に機械学習と逆問題において、正則化（せいそくか、英: regularization）とは、不良設定問題を解いたり過学習を防いだりするために、情報を追加する手法である。モデルの複雑さに罰則を科すために導入され、なめらかでないことに罰則をかけたり、パラメータのノルムの大きさに罰則をかけたりする。正則化の理論的正当化はオッカムの剃刀にある。ベイジアンの観点では、多くの正則化の手法は、モデルのパラメータの事前情報にあたる。 (ja)
( 다른 뜻에 대해서는 조절 (물리학) 문서를 참고하십시오.) 정칙화(正則化, regularization)는 역문제를 해결할때나 기계 학습에서 ill-posed 문제를 풀거나 과적합을 방지하는 기법으로 티호노프 정칙화 등이 있다. (ko)
Regularyzacja – wprowadzenie dodatkowej informacji do rozwiązywanego zagadnienia źle postawionego w celu polepszenia jakości rozwiązania. Regularyzacja jest często wykorzystywana przy rozwiązywaniu problemów odwrotnych. Spośród opracowanych metod regularyzacji można wyliczyć: * regularyzację Tichonowa * regularyzację poprzez rozkład według wartości osobliwych * iteracyjne metody regularyzacji * regularyzację poprzez dyskretyzację * regularyzację poprzez filtrowanie (pl)
在数学与计算机科学中，尤其是在机器学习和逆问题领域中，正则化（英语：regularization）是指为解决适定性问题或过拟合而加入额外信息的过程。在机器学习和逆问题的优化过程中，正则项往往被加在目标函数当中。 (zh)
Регуляризація, в математиці і статистиці, а також в задачах машинного навчання і , означає додавання деякої додаткової інформації, щоб знайти рішення некоректно поставленої задачі, або щоб уникнути перенавчання. (uk)
Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage. Cette information prend généralement la forme d'une pénalité envers la complexité du modèle. On peut relier cette méthode au principe du rasoir d'Occam. D'un point de vue bayésien, l'utilisation de la régularisation revient à imposer une distribution a priori sur les paramètres du modèle. (fr)
In mathematics, statistics, finance, computer science, particularly in machine learning and inverse problems, regularization is a process that changes the result answer to be "simpler". It is often used to obtain results for ill-posed problems or to prevent overfitting. Although regularization procedures can be divided in many ways, following delineation is particularly helpful: One of the earliest uses of regularization is Tikhonov regularization, related to the method of least squares. (en)
In matematica e statistica, particolarmente nei campi dell'apprendimento automatico e dei problemi inversi, la regolarizzazione implica l'introduzione di ulteriore informazione allo scopo di risolvere un problema mal condizionato o per prevenire l'eccessivo adattamento. Tale informazione è solitamente nella forma di una penalità per complessità, tale come una restrizione su una funzione liscia o una limitazione sulla norma di uno spazio vettoriale. (it)
Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства. С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели. Некоторые виды регуляризации: (ru)

owl:sameAs

foaf:depiction

is dbo:wikiPageWikiLink of