Restricted Boltzmann machine (original) (raw)
Una màquina de Boltzmann restrictiva (en anglès RBM, Restricted Boltzmann machine) és una xarxa neuronal artificial estocàstica i que pot aprendre distribucions de probabilitat de les seves entrades. Les RBMs van ser inventades per Paul Smolensky el 1986 i millorades amb algorismes ràpids d'aprenentatge a inicis del segle XXI per Geoffrey Hinton.
| Property | Value |
|---|---|
| dbo:abstract | Una màquina de Boltzmann restrictiva (en anglès RBM, Restricted Boltzmann machine) és una xarxa neuronal artificial estocàstica i que pot aprendre distribucions de probabilitat de les seves entrades. Les RBMs van ser inventades per Paul Smolensky el 1986 i millorades amb algorismes ràpids d'aprenentatge a inicis del segle XXI per Geoffrey Hinton. (ca) En apprentissage automatique, la machine de Boltzmann restreinte est un type de réseau de neurones artificiels pour l'apprentissage non supervisé. Elle est couramment utilisée pour avoir une estimation de la distribution probabiliste d'un jeu de données. Elle a initialement été inventée sous le nom de Harmonium en 1986 par Paul Smolenski. (fr) A restricted Boltzmann machine (RBM) is a generative stochastic artificial neural network that can learn a probability distribution over its set of inputs. RBMs were initially invented under the name Harmonium by Paul Smolensky in 1986,and rose to prominence after Geoffrey Hinton and collaborators invented fast learning algorithms for them in the mid-2000. RBMs have found applications in dimensionality reduction,classification,collaborative filtering, feature learning,topic modellingand even many body quantum mechanics. They can be trained in either supervised or unsupervised ways, depending on the task. As their name implies, RBMs are a variant of Boltzmann machines, with the restriction that their neurons must form a bipartite graph: a pair of nodes from each of the two groups of units (commonly referred to as the "visible" and "hidden" units respectively) may have a symmetric connection between them; and there are no connections between nodes within a group. By contrast, "unrestricted" Boltzmann machines may have connections between hidden units. This restriction allows for more efficient training algorithms than are available for the general class of Boltzmann machines, in particular the gradient-based contrastive divergence algorithm. Restricted Boltzmann machines can also be used in deep learning networks. In particular, deep belief networks can be formed by "stacking" RBMs and optionally fine-tuning the resulting deep network with gradient descent and backpropagation. (en) 受限玻尔兹曼机（英語：restricted Boltzmann machine, RBM）是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM最初由发明者于1986年命名为簧风琴（Harmonium），但直到杰弗里·辛顿及其合作者在2000年代中叶发明快速学习算法后，受限玻兹曼机才变得知名。受限玻兹曼机在降维、分类、协同过滤、特征学习和中得到了应用。根据任务的不同，受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。 正如名字所提示的那样，受限玻兹曼机是一种玻兹曼机的变体，但限定模型必须为二分图。模型中包含对应输入参数的输入（可见）单元和对应训练结果的隐单元，图中的每条边必须连接一个可见单元和一个隐单元。（与此相对，“无限制”玻兹曼机包含隐单元间的边，使之成为循环神经网络。）这一限定使得相比一般玻兹曼机更高效的训练算法成为可能，特别是基于梯度的对比分歧（contrastive divergence）算法。 受限玻兹曼机也可被用于深度学习网络。具体地，可使用多个RBM堆叠而成，并可使用梯度下降法和反向传播算法进行调优。 (zh) Ограниченная машина Больцмана (англ. restricted Boltzmann machine), сокращённо RBM — вид генеративной стохастической нейронной сети, которая определяет распределение вероятности на входных образцах данных. Первая ограниченная машина Больцмана была построена в 1986 году Полом Смоленски под названием Harmonium, но приобрела популярность только после изобретения Хинтоном быстрых алгоритмов обучения в середине 2000-х годов. Такое название машина приобрела как модификация обычной машины Больцмана, в которой нейроны разделили на видимые и скрытые, а связи допустимы только между нейронами разного типа, таким способом ограничив связи. Значительно позже, в 2000-х годах, ограниченные машины Больцмана приобрели большую популярность и стали рассматриваться уже не как вариации машины Больцмана, а как особые компоненты в архитектуре сетей глубинного обучения. Объединение нескольких каскадов ограниченных машин Больцмана формирует глубокую сеть доверия, особый вид многослойных нейронных сетей, которые могут самообучаться без учителя при помощи алгоритма обратного распространения ошибки. Особенностью ограниченных машин Больцмана является возможность проходить обучение без учителя, но в определённых приложениях ограниченные машины Больцмана обучаются с учителем. Скрытый слой машины представляет собой глубокие признаки в данных, которые выявляются в процессе обучения (см. также Data mining). Ограниченные машины Больцмана имеют широкий спектр применений — это задачи снижения размерности данных, задачи классификации,коллаборативная фильтрация, выделение признаков (англ. feature learning)и тематическое моделирование. В ограниченной машине Больцмана нейроны образуют двудольный граф, с одной стороны графа находятся видимые нейроны (вход), а с другой стороны — скрытые, причём перекрёстные связи устанавливаются между каждым видимым и каждым скрытым нейроном. Такая система связей позволяет применить при обучении сети метод градиентного спуска с контрастивной дивергенцией. (ru) Обме́жена маши́на Бо́льцмана (ОМБ, англ. restricted Boltzmann machine, RBM) — це породжувальна штучна нейронна мережа, здатна навчатися розподілу ймовірностей над набором її входів. ОМБ було спочатку винайдено під назвою Гармоніум (англ. Harmonium — фісгармонія) 1986 року, а популярності вони набули після винайдення Джефрі Хінтоном зі співавторами у середині 2000-х років алгоритмів швидкого навчання для них. ОМБ знайшли застосування у зниженні розмірності, класифікації, колаборативній фільтрації, навчанні ознак та тематичному моделюванні. Їх можна тренувати як керованим, так і спонтанним чином, в залежності від завдання. Як випливає з їхньої назви, ОМБ є варіантом машин Больцмана, з тим обмеженням, що їхні нейрони мусять формувати двочастковий граф: пара вузлів з кожної з двох груп вузлів (що, як правило, називають «видимим» та «прихованим» вузлами відповідно) можуть мати симетричне з'єднання між ними, але з'єднань між вузлами в межах групи не існує. На противагу, «необмежені» машини Больцмана можуть мати з'єднання між прихованими вузлами. Це обмеження уможливлює ефективніші алгоритми тренування, ніж доступні для загального класу машин Больцмана, зокрема, алгоритм порівня́льної розбі́жності (англ. contrastive divergence) на основі градієнтного спуску. Обмежені машини Больцмана можуть також застосовуватися в мережах глибинного навчання. Зокрема, глибинні мережі переконань можуть утворюватися «складанням» ОМБ та, можливо, тонким налаштуванням отримуваної глибинної мережі за допомогою градієнтного спуску та зворотного поширення. (uk) |
| dbo:thumbnail | wiki-commons:Special:FilePath/Restricted_Boltzmann_machine.svg?width=300 |
| dbo:wikiPageExternalLink | http://blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/ https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/decomposition_models/rbm_demo.ipynb https://github.com/AmazaspShumik/sklearn-bayes/blob/master/skbayes/decomposition_models/rbm.py https://github.com/cossio/RestrictedBoltzmannMachines.jl https://github.com/swirepe/SimpleRBM http://deeplearning4j.org/understandingRBMs.html https://deeplearning4j.org/restrictedboltzmannmachine.html http://dx.doi.org/10.1007/978-3-642-33275-3_2%7Cwork=Progress https://web.archive.org/web/20160920122139/http:/deeplearning4j.org/understandingRBMs.html https://web.archive.org/web/20170211042953/https:/deeplearning4j.org/restrictedboltzmannmachine.html |
| dbo:wikiPageID | 33742232 (xsd:integer) |
| dbo:wikiPageLength | 17541 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1115200685 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Probability_distribution dbr:Multinomial_distribution dbr:Bernoulli_distribution dbr:Deeplearning4j dbr:Hopfield_network dbr:Joint_probability_distribution dbr:Paul_Smolensky dbr:Deep_belief_network dbr:Deep_learning dbr:Conditional_independence dbr:Conditional_probability dbr:Matrix_(mathematics) dbr:Generative_model dbr:Geoffrey_Hinton dbr:Gradient_descent dbr:Logistic_function dbr:Feature_learning dbr:Helmholtz_machine dbr:Partition_function_(mathematics) dbr:Product_of_experts dbr:Many-body_problem dbr:Backpropagation dbr:Log_probability dbr:Expected_value dbr:Factor_analysis dbr:Normalizing_constant dbr:Dimensionality_reduction dbr:Graphical_model dbr:Artificial_neural_network dbc:Stochastic_models dbr:Bipartite_graph dbr:Collaborative_filtering dbc:Supervised_learning dbr:Autoencoder dbc:Neural_network_architectures dbc:Unsupervised_learning dbr:Marginal_distribution dbr:Boltzmann_machine dbr:Boolean_algebra dbr:Softmax_function dbr:Algorithms dbr:Recommender_system dbr:Markov_random_field dbr:Statistical_classification dbr:Unsupervised_learning dbr:Outer_product dbr:Gibbs_sampling dbr:Stochastic_neural_network dbr:Topic_model dbr:Supervised_learning dbr:File:Restricted_Boltzmann_machine.svg |
| dbp:date | April 2021 (en) |
| dbp:reason | What is meant by Bernoulli in this context? (en) |
| dbp:wikiPageUsesTemplate | dbt:Citation dbt:Cite_web dbt:Clarify dbt:Math dbt:Mvar dbt:Reflist dbt:Short_description dbt:Machine_learning |
| dct:subject | dbc:Stochastic_models dbc:Supervised_learning dbc:Neural_network_architectures dbc:Unsupervised_learning |
| gold:hypernym | dbr:Network |
| rdf:type | dbo:Broadcaster yago:WikicatStochasticModels yago:Assistant109815790 yago:CausalAgent100007347 yago:LivingThing100004258 yago:Model110324560 yago:Object100002684 yago:Organism100004475 yago:Person100007846 yago:PhysicalEntity100001930 yago:Worker109632518 yago:YagoLegalActor yago:YagoLegalActorGeo yago:Whole100003553 |
| rdfs:comment | Una màquina de Boltzmann restrictiva (en anglès RBM, Restricted Boltzmann machine) és una xarxa neuronal artificial estocàstica i que pot aprendre distribucions de probabilitat de les seves entrades. Les RBMs van ser inventades per Paul Smolensky el 1986 i millorades amb algorismes ràpids d'aprenentatge a inicis del segle XXI per Geoffrey Hinton. (ca) En apprentissage automatique, la machine de Boltzmann restreinte est un type de réseau de neurones artificiels pour l'apprentissage non supervisé. Elle est couramment utilisée pour avoir une estimation de la distribution probabiliste d'un jeu de données. Elle a initialement été inventée sous le nom de Harmonium en 1986 par Paul Smolenski. (fr) 受限玻尔兹曼机（英語：restricted Boltzmann machine, RBM）是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM最初由发明者于1986年命名为簧风琴（Harmonium），但直到杰弗里·辛顿及其合作者在2000年代中叶发明快速学习算法后，受限玻兹曼机才变得知名。受限玻兹曼机在降维、分类、协同过滤、特征学习和中得到了应用。根据任务的不同，受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。 正如名字所提示的那样，受限玻兹曼机是一种玻兹曼机的变体，但限定模型必须为二分图。模型中包含对应输入参数的输入（可见）单元和对应训练结果的隐单元，图中的每条边必须连接一个可见单元和一个隐单元。（与此相对，“无限制”玻兹曼机包含隐单元间的边，使之成为循环神经网络。）这一限定使得相比一般玻兹曼机更高效的训练算法成为可能，特别是基于梯度的对比分歧（contrastive divergence）算法。 受限玻兹曼机也可被用于深度学习网络。具体地，可使用多个RBM堆叠而成，并可使用梯度下降法和反向传播算法进行调优。 (zh) A restricted Boltzmann machine (RBM) is a generative stochastic artificial neural network that can learn a probability distribution over its set of inputs. RBMs were initially invented under the name Harmonium by Paul Smolensky in 1986,and rose to prominence after Geoffrey Hinton and collaborators invented fast learning algorithms for them in the mid-2000. RBMs have found applications in dimensionality reduction,classification,collaborative filtering, feature learning,topic modellingand even many body quantum mechanics. They can be trained in either supervised or unsupervised ways, depending on the task. (en) Ограниченная машина Больцмана (англ. restricted Boltzmann machine), сокращённо RBM — вид генеративной стохастической нейронной сети, которая определяет распределение вероятности на входных образцах данных. Первая ограниченная машина Больцмана была построена в 1986 году Полом Смоленски под названием Harmonium, но приобрела популярность только после изобретения Хинтоном быстрых алгоритмов обучения в середине 2000-х годов. (ru) Обме́жена маши́на Бо́льцмана (ОМБ, англ. restricted Boltzmann machine, RBM) — це породжувальна штучна нейронна мережа, здатна навчатися розподілу ймовірностей над набором її входів. ОМБ було спочатку винайдено під назвою Гармоніум (англ. Harmonium — фісгармонія) 1986 року, а популярності вони набули після винайдення Джефрі Хінтоном зі співавторами у середині 2000-х років алгоритмів швидкого навчання для них. ОМБ знайшли застосування у зниженні розмірності, класифікації, колаборативній фільтрації, навчанні ознак та тематичному моделюванні. Їх можна тренувати як керованим, так і спонтанним чином, в залежності від завдання. (uk) |
| rdfs:label | Màquina de Boltzmann restrictiva (ca) Machine de Boltzmann restreinte (fr) Restricted Boltzmann machine (en) Ограниченная машина Больцмана (ru) Обмежена машина Больцмана (uk) 受限玻尔兹曼机 (zh) |
| owl:sameAs | freebase:Restricted Boltzmann machine yago-res:Restricted Boltzmann machine wikidata:Restricted Boltzmann machine dbpedia-ca:Restricted Boltzmann machine dbpedia-fa:Restricted Boltzmann machine dbpedia-fr:Restricted Boltzmann machine dbpedia-ru:Restricted Boltzmann machine dbpedia-uk:Restricted Boltzmann machine dbpedia-zh:Restricted Boltzmann machine https://global.dbpedia.org/id/4tWyF |
| prov:wasDerivedFrom | wikipedia-en:Restricted_Boltzmann_machine?oldid=1115200685&ns=0 |
| foaf:depiction | wiki-commons:Special:FilePath/Restricted_Boltzmann_machine.svg |
| foaf:isPrimaryTopicOf | wikipedia-en:Restricted_Boltzmann_machine |
| is dbo:knownFor of | dbr:Paul_Smolensky |
| is dbo:wikiPageDisambiguates of | dbr:RBM |
| is dbo:wikiPageRedirects of | dbr:Restricted_Boltzmann_Machine dbr:Restricted_Boltzmann_machines dbr:Contrastive_divergence |
| is dbo:wikiPageWikiLink of | dbr:Deeplearning4j dbr:Paul_Smolensky dbr:Vanishing_gradient_problem dbr:Deep_belief_network dbr:Deep_learning dbr:Generative_model dbr:Glossary_of_artificial_intelligence dbr:Multimodal_learning dbr:Convolutional_deep_belief_network dbr:Comparison_of_deep_learning_software dbr:Fault_detection_and_isolation dbr:Feature_learning dbr:Helmholtz_machine dbr:Machine_learning_in_video_games dbr:K-means_clustering dbr:Dimensionality_reduction dbr:Graphical_model dbr:History_of_artificial_neural_networks dbr:Harmonium_(disambiguation) dbr:RBM dbr:Artificial_neural_network dbr:Autoencoder dbr:Boltzmann_distribution dbr:Boltzmann_machine dbr:List_of_things_named_after_Ludwig_Boltzmann dbr:Nonlinear_dimensionality_reduction dbr:Wake-sleep_algorithm dbr:Outline_of_artificial_intelligence dbr:Restricted_Boltzmann_Machine dbr:Restricted_Boltzmann_machines dbr:Contrastive_divergence |
| is foaf:primaryTopic of | wikipedia-en:Restricted_Boltzmann_machine |
