Universal approximation theorem (original) (raw)
Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn.
| Property | Value |
|---|---|
| dbo:abstract | في النظرية الرياضية الخاصة بالشبكات العصبونية، تنص مبرهنة التقريب العام على أن شبكة التغذية الأمامية متعددة الطبقات القياسية ذات طبقة واحدة مخفية، التي تشتمل على عدد لانهائي من العصبونات المخفية، هي مقراب عام بين الدوال المستمرة في المجموعات الفرعية المتراصة في Rn، وذلك تحت الفرضيات المتوسطة حول دالة التنشيط. ولقد تم إثبات الصياغات الأولى لتلك المبرهنة على يد جورج سيبينكو عام 1989 بالنسبة لدوال التنشيط الإسية. ولقد أثبت كورت هورنيك عام 1991 أنه ليس الاختيار الخاص بدالة التنشيط، بل هي بنية التغذية الأمامية متعددة الطبقات نفسها التي تمنح الشبكات العصبونية إمكانية أن تكون مقرابات عامة. ويفترض أن الوحدات الخارجة تكون دائما خطية. ومن أجل تبسيط الفكرة سنقوم باستنباط النتائج بوضوح حيث يكون هناك وحدة خارجة فقط. (يمكن بسهولة استخراج الحالة العامة من الحالة البسيطة.) المبرهنة في الصيغة الرياضية: (ar) Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn. (fr) In the mathematical theory of artificial neural networks, universal approximation theorems are results that establish the density of an algorithmically generated class of functions within a given function space of interest. Typically, these results concern the approximation capabilities of the feedforward architecture on the space of continuous functions between two Euclidean spaces, and the approximation is with respect to the compact convergence topology. However, there are also a variety of results between non-Euclidean spaces and other commonly used architectures and, more generally, algorithmically generated sets of functions, such as the convolutional neural network (CNN) architecture, radial basis-functions, or neural networks with specific properties. Most universal approximation theorems can be parsed into two classes. The first quantifies the approximation capabilities of neural networks with an arbitrary number of artificial neurons ("arbitrary width" case) and the second focuses on the case with an arbitrary number of hidden layers, each containing a limited number of artificial neurons ("arbitrary depth" case). In addition to these two classes, there are also universal approximation theorems for neural networks with bounded number of hidden layers and a limited number of neurons in each layer ("bounded depth and bounded width" case). Universal approximation theorems imply that neural networks can represent a wide variety of interesting functions when given appropriate weights. On the other hand, they typically do not provide a construction for the weights, but merely state that such a construction is possible. (en) 1989년 (Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다. 를 형식의 연속 함수라 하자(예, ). 또는 의 부분집합에서 실수의 연속 함수 와 가 주어지면,다음을 만족하는 벡터 , 와매개 함수 이 존재한다. for all 이때, 이고, 이다. 이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다.단, 와 를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다. (ko) Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор и , где — веса между входными нейронами и нейронами скрытого слоя, — веса между связями от нейронов скрытого слоя и выходным нейроном, — смещения для нейронов входного слоя. (ru) Na teoria matemática de redes neurais artificiais, o teorema da aproximação universal declara que uma rede neural pré-alimentada com uma única camada oculta que contém um número finito de neurônios (i.é., um conjunto multicamada de perceptron) pode aproximar funções contínuas em subconjuntos compactos de Rn, com pressupostos mínimos de função de ativação. O teorema afirma que redes neurais simples podem representar uma grande variedade de funções interessantes quando há os parâmetros adequados; no entanto, ele não desenvolve a apreensibilidade algorítmica desses parâmetros. Uma das primeiras versões do teorema foi provado por George Cybenko, em 1989, para funções de ativação sigmóide. Pode também se aplicar em funções de torre em redes neurais para reconhecimento visual. (pt) Теорема Цибенка, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенком (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (англ. feed-forward; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір і , де * — ваги між вхідними нейронами і нейронами прихованого шару * — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном * — коефцієнт «упередженості» для нейронів прихованого шару. (uk) 在人工神经网络的数学理论中， 通用近似定理（或稱萬能近似定理）指出人工神經網路近似任意函數的能力。 通常此定理所指的神經網路爲前饋神經網路，並且被近似的目標函數通常爲輸入輸出都在歐幾里得空間的連續函數。但亦有研究將此定理擴展至其他類型的神經網路，如卷積神經網路、放射狀基底函數網路、或其他特殊神經網路。 此定理意味着神經網路可以用來近似任意的復雜函數，並且可以達到任意近似精準度。但它並沒有說明要如何選擇神經網絡參數（權重、神經元數量、神經層層數等等）來達到想近似的目標函數。 (zh) |
| dbo:wikiPageID | 18543448 (xsd:integer) |
| dbo:wikiPageLength | 27308 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1122741589 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Derivative dbr:Deep_learning dbc:Network_architecture dbr:Continuous_function dbr:Continuous_functions dbr:Mathematics dbr:George_Cybenko dbr:Fully_connected_network dbr:Convolutional_neural_network dbr:Representer_theorem dbr:Bochner_integral dbr:Artificial_neural_networks dbr:Stone–Weierstrass_theorem dbr:Compact_convergence dbr:Dense_set dbr:Feedforward_neural_network dbr:Affine_transformation dbr:Euclidean_space dbr:Fourier_series dbr:No_free_lunch_theorem dbr:Graph_isomorphism dbr:Kolmogorov–Arnold_representation_theorem dbr:Uniform_convergence dbr:Rectifier_(neural_networks) dbr:Riemannian_manifold dbr:Halbert_White dbc:Artificial_neural_networks dbc:Theorems_in_analysis dbc:Networks dbr:Lebesgue_integration dbr:Differentiable_function dbr:Polynomial dbr:Identity_function dbr:If_and_only_if dbr:Sigmoid_function dbr:L1_distance dbr:Quantum_computers dbr:ReLU dbr:Compact_set dbr:Compact_subspace dbr:Kurt_Hornik |
| dbp:wikiPageUsesTemplate | dbt:Reflist dbt:Short_description dbt:Differentiable_computing |
| dcterms:subject | dbc:Network_architecture dbc:Artificial_neural_networks dbc:Theorems_in_analysis dbc:Networks |
| rdf:type | yago:WikicatArtificialNeuralNetworks yago:WikicatNetworks yago:WikicatNeuralNetworks yago:WikicatTheoremsInDiscreteMathematics yago:Abstraction100002137 yago:Communication100033020 yago:ComputerArchitecture106725249 yago:Description106724763 yago:Group100031264 yago:Message106598915 yago:Network108434259 yago:NeuralNetwork106725467 yago:Proposition106750804 yago:Specification106725067 yago:Statement106722453 yago:System108435388 yago:Theorem106752293 |
| rdfs:comment | Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn. (fr) 1989년 (Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다. 를 형식의 연속 함수라 하자(예, ). 또는 의 부분집합에서 실수의 연속 함수 와 가 주어지면,다음을 만족하는 벡터 , 와매개 함수 이 존재한다. for all 이때, 이고, 이다. 이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다.단, 와 를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다. (ko) Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор и , где — веса между входными нейронами и нейронами скрытого слоя, — веса между связями от нейронов скрытого слоя и выходным нейроном, — смещения для нейронов входного слоя. (ru) 在人工神经网络的数学理论中， 通用近似定理（或稱萬能近似定理）指出人工神經網路近似任意函數的能力。 通常此定理所指的神經網路爲前饋神經網路，並且被近似的目標函數通常爲輸入輸出都在歐幾里得空間的連續函數。但亦有研究將此定理擴展至其他類型的神經網路，如卷積神經網路、放射狀基底函數網路、或其他特殊神經網路。 此定理意味着神經網路可以用來近似任意的復雜函數，並且可以達到任意近似精準度。但它並沒有說明要如何選擇神經網絡參數（權重、神經元數量、神經層層數等等）來達到想近似的目標函數。 (zh) في النظرية الرياضية الخاصة بالشبكات العصبونية، تنص مبرهنة التقريب العام على أن شبكة التغذية الأمامية متعددة الطبقات القياسية ذات طبقة واحدة مخفية، التي تشتمل على عدد لانهائي من العصبونات المخفية، هي مقراب عام بين الدوال المستمرة في المجموعات الفرعية المتراصة في Rn، وذلك تحت الفرضيات المتوسطة حول دالة التنشيط. ولقد تم إثبات الصياغات الأولى لتلك المبرهنة على يد جورج سيبينكو عام 1989 بالنسبة لدوال التنشيط الإسية. المبرهنة في الصيغة الرياضية: (ar) In the mathematical theory of artificial neural networks, universal approximation theorems are results that establish the density of an algorithmically generated class of functions within a given function space of interest. Typically, these results concern the approximation capabilities of the feedforward architecture on the space of continuous functions between two Euclidean spaces, and the approximation is with respect to the compact convergence topology. (en) Na teoria matemática de redes neurais artificiais, o teorema da aproximação universal declara que uma rede neural pré-alimentada com uma única camada oculta que contém um número finito de neurônios (i.é., um conjunto multicamada de perceptron) pode aproximar funções contínuas em subconjuntos compactos de Rn, com pressupostos mínimos de função de ativação. O teorema afirma que redes neurais simples podem representar uma grande variedade de funções interessantes quando há os parâmetros adequados; no entanto, ele não desenvolve a apreensibilidade algorítmica desses parâmetros. (pt) Теорема Цибенка, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенком (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (англ. feed-forward; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір і , де (uk) |
| rdfs:label | مبرهنة التقريب العام (ar) Théorème d'approximation universelle (fr) 시벤코 정리 (ko) Teorema da aproximação universal (pt) Universal approximation theorem (en) Теорема Цыбенко (ru) 通用近似定理 (zh) Теорема Цибенка (uk) |
| owl:sameAs | freebase:Universal approximation theorem yago-res:Universal approximation theorem wikidata:Universal approximation theorem dbpedia-ar:Universal approximation theorem dbpedia-fr:Universal approximation theorem dbpedia-ko:Universal approximation theorem dbpedia-pt:Universal approximation theorem dbpedia-ru:Universal approximation theorem dbpedia-uk:Universal approximation theorem dbpedia-zh:Universal approximation theorem https://global.dbpedia.org/id/4wUwX |
| prov:wasDerivedFrom | wikipedia-en:Universal_approximation_theorem?oldid=1122741589&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Universal_approximation_theorem |
| is dbo:wikiPageRedirects of | dbr:Cybenko_Theorem dbr:Universal_approximator dbr:Universal_approximators dbr:Cybenko_theorem |
| is dbo:wikiPageWikiLink of | dbr:History_of_artificial_intelligence dbr:Decision_boundary dbr:Deep_learning dbr:Intelligent_control dbr:Generative_adversarial_network dbr:George_Cybenko dbr:Glossary_of_artificial_intelligence dbr:Feedforward_neural_network dbr:Activation_function dbr:Cybenko_Theorem dbr:Flow-based_generative_model dbr:Kolmogorov–Arnold_representation_theorem dbr:Terry_Lyons_(mathematician) dbr:Artificial_neural_network dbr:List_of_theorems dbr:OpenNN dbr:Multilayer_perceptron dbr:Types_of_artificial_neural_networks dbr:Universal_approximator dbr:Universal_approximators dbr:Cybenko_theorem |
| is rdfs:seeAlso of | dbr:Representation_theorem |
| is foaf:primaryTopic of | wikipedia-en:Universal_approximation_theorem |