Perceiver (original) (raw)
Perceiver is a transformer adapted to be able to process non-textual data, such as images, sounds and video, and spatial data. Transformers underlie other notable systems such as BERT and GPT-3, which preceded Perceiver. It adopts an asymmetric attention mechanism to distill inputs into a latent bottleneck, allowing it to learn from large amounts of heterogeneous data. Perceiver matches or outperforms specialized models on classification tasks. Perceiver was introduced in June 2021 by DeepMind. It was followed by Perceiver IO in August 2021.
| Property | Value |
|---|---|
| dbo:abstract | Perceiver is a transformer adapted to be able to process non-textual data, such as images, sounds and video, and spatial data. Transformers underlie other notable systems such as BERT and GPT-3, which preceded Perceiver. It adopts an asymmetric attention mechanism to distill inputs into a latent bottleneck, allowing it to learn from large amounts of heterogeneous data. Perceiver matches or outperforms specialized models on classification tasks. Perceiver was introduced in June 2021 by DeepMind. It was followed by Perceiver IO in August 2021. (en) Персі́вер (англ. Perceiver, укр. Сприймач) — це трансформер, пристосований для обробки нетекстових даних, таких як зображення, звуки та відео, та просторових даних. Трансформери лежать в основі інших відомих систем, таких як BERT і GPT-3, які передували Персіверові. Він використовує механізм асиметричної уваги, щоби переганяти дані входу до латентного вузького подання, що дає йому можливість вчитися з великої кількості гетерогенних даних. На задачах класифікації Персівер наздоганяє або перевершує спеціалізовані моделі. (uk) |
| dbo:wikiPageID | 68379149 (xsd:integer) |
| dbo:wikiPageLength | 5304 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1120031475 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Natural-language_understanding dbr:DeepMind dbr:Convolutional_neural_network dbr:Sintel dbr:StarCraft_II dbr:Feature_engineering dbr:Feature_extraction dbr:Feature_learning dbc:Machine_learning dbr:Tokenization_(lexical_analysis) dbr:GPT-3 dbr:Optical_flow dbr:Fourier_transform dbr:Dimensionality_reduction dbr:General_Language_Understanding_Evaluation dbr:Attention_(machine_learning) dbr:Transformer_(machine_learning_model) dbr:BERT_(language_model) dbr:Pixel dbr:Image_understanding dbr:ImageNet dbr:Multilayer_perceptron dbr:Residual_neural_network dbr:Vision_transformer dbr:AudioSet |
| dbp:wikiPageUsesTemplate | dbt:! dbt:Reflist dbt:Short_description dbt:YouTube |
| dct:subject | dbc:Machine_learning |
| rdfs:comment | Perceiver is a transformer adapted to be able to process non-textual data, such as images, sounds and video, and spatial data. Transformers underlie other notable systems such as BERT and GPT-3, which preceded Perceiver. It adopts an asymmetric attention mechanism to distill inputs into a latent bottleneck, allowing it to learn from large amounts of heterogeneous data. Perceiver matches or outperforms specialized models on classification tasks. Perceiver was introduced in June 2021 by DeepMind. It was followed by Perceiver IO in August 2021. (en) Персі́вер (англ. Perceiver, укр. Сприймач) — це трансформер, пристосований для обробки нетекстових даних, таких як зображення, звуки та відео, та просторових даних. Трансформери лежать в основі інших відомих систем, таких як BERT і GPT-3, які передували Персіверові. Він використовує механізм асиметричної уваги, щоби переганяти дані входу до латентного вузького подання, що дає йому можливість вчитися з великої кількості гетерогенних даних. На задачах класифікації Персівер наздоганяє або перевершує спеціалізовані моделі. (uk) |
| rdfs:label | Perceptor (ca) Perceiver (en) Персівер (uk) |
| owl:sameAs | wikidata:Perceiver dbpedia-ca:Perceiver dbpedia-uk:Perceiver https://global.dbpedia.org/id/FtswV |
| prov:wasDerivedFrom | wikipedia-en:Perceiver?oldid=1120031475&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Perceiver |
| is dbo:wikiPageRedirects of | dbr:Perceiver_IO |
| is dbo:wikiPageWikiLink of | dbr:Attention_(machine_learning) dbr:Vision_transformer dbr:Perceiver_IO |
| is foaf:primaryTopic of | wikipedia-en:Perceiver |