GPT-2 (original) (raw)
GPT-2 (Generative Pre-trained Transformer 2) és un sistema que fa ús de la intel·ligència artificial per generar textos creada el febrer del 2019 per OpenAI, un laboratori de recerca impulsat per Elon Musk. Es tracta d'un sistema format per 1.5 bilions de paràmetres que generen text preveient paraula a paraula. D'aquesta manera, és capaç de traduir textos automàticament, respondre preguntes, resumir fragments de text... Aquest text que genera realment és extret d'unes 8 milions pàgines d'Internet, per la qual cosa compta amb un conjunt de dades d'uns 40GB de text per utilitzar.
| Property | Value |
|---|---|
| dbo:abstract | GPT-2 (Generative Pre-trained Transformer 2) és un sistema que fa ús de la intel·ligència artificial per generar textos creada el febrer del 2019 per OpenAI, un laboratori de recerca impulsat per Elon Musk. Es tracta d'un sistema format per 1.5 bilions de paràmetres que generen text preveient paraula a paraula. D'aquesta manera, és capaç de traduir textos automàticament, respondre preguntes, resumir fragments de text... Aquest text que genera realment és extret d'unes 8 milions pàgines d'Internet, per la qual cosa compta amb un conjunt de dades d'uns 40GB de text per utilitzar. (ca) Generative Pre-trained Transformer 2 (GPT-2) is an open-source artificial intelligence created by OpenAI in February 2019. GPT-2 translates text, answers questions, summarizes passages, and generates text output on a level that, while sometimes indistinguishable from that of humans, can become repetitive or nonsensical when generating long passages. It is a general-purpose learner; it was not specifically trained to do any of these tasks, and its ability to perform them is an extension of its general ability to accurately synthesize the next item in an arbitrary sequence. GPT-2 was created as a "direct scale-up" of OpenAI's 2018 GPT model, with a ten-fold increase in both its parameter count and the size of its training dataset. The GPT architecture implements a deep neural network, specifically a transformer model, which uses attention in place of previous recurrence- and convolution-based architectures. Attention mechanisms allow the model to selectively focus on segments of input text it predicts to be the most relevant. This model allows for greatly increased parallelization, and outperforms previous benchmarks for RNN/CNN/LSTM-based models. OpenAI released the complete version of the GPT-2 language model (with 1.5 billion parameters) in November 2019. GPT-2 was to be followed by the 175-billion-parameter GPT-3, revealed to the public in 2020 (whose source code has never been made available). Access to GPT-3 is provided exclusively through APIs offered by OpenAI and Microsoft. (en) GPT-2 (Generative Pre-trained Transformer 2) es un sistema que hace uso de la inteligencia artificial para generar textos creada en febrero del 2019 por OpenAI, un laboratorio de investigación impulsado por Elon Musk. Se trata de un sistema formado por 1.5 billones de parámetros que generan texto prediciendo palabra a palabra. De esta forma es capaz de traducir textos automáticamente, responder preguntas, resumir fragmentos de texto… Este texto generado es en realidad extraído de unas 8 millones de páginas de Internet, por lo que cuenta con un conjunto de datos de unos 40GB de texto para utilizar. (es) 생성적 사전학습 변환기 2(Generative Pre-trained Transformer 2) 즉 GPT-2는 OpenAI에서 만든 인공지능이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기(transformer)를 적용하였다. 번역과 대화, 작문을 할 수 있으며 단문의 경우 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 힘들다. (ko) Generative Pre-trained Transformer 2 (GPT-2) är en som använder djupinlärning för att producera människoliknande text. GPT-2 översätter text, svarar på frågor, sammanfattar passager, och genererar textutdata på en nivå som, även om den ibland inte kan skiljas från människors, kan bli repetitiva eller meningslösa när man genererar långa passager.Det är en allmäninlärare; den var inte specifikt utbildad för att utföra någon av dessa uppgifter, och dess förmåga att utföra dem är en förlängning av dess allmänna förmåga att exakt syntetisera nästa objekt i en godtycklig sekvens. GPT-2 skapades som en "direkt uppskalning" av OpenAI:s 2018 GPT-modell, med en tiofaldig ökning av både dess parameterantal och storleken på dess träningsdatauppsättning. GPT-arkitekturen implementerar ett djupt neuralt nätverk, specifikt en transformatormodell,som använder uppmärksamhet i stället för tidigare återkommande- och faltningsbaserade arkitekturer. Uppmärksamhetsmekanismer tillåter modellen att selektivt fokusera på segment av inmatad text som den förutspår att vara den mest relevanta. Denna modell möjliggör kraftigt ökad parallellisering och överträffar tidigare riktmärken för RNN/CNN/LSTM-baserade modeller OpenAI släppte den kompletta versionen av GPT-2 (med 1,5 miljarder parametrar) i november 2019. GPT-2 skulle följas av 175 miljarder-parametern GPT-3, som avslöjades för allmänheten 2020 (vars källkod aldrig har gjorts tillgänglig). Tillgång till GPT-3 tillhandahålls exklusivt via ett API som erbjuds av Microsoft. (sv) |
| dbo:author | dbr:OpenAI |
| dbo:genre | dbr:Transformer_(machine_learning_model) |
| dbo:releaseDate | 2019-02-14 (xsd:date) |
| dbo:thumbnail | wiki-commons:Special:FilePath/GPT2-talks-about-GPT2.png?width=300 |
| dbo:wikiPageExternalLink | https://research.google/ https://openai.com/blog/gpt-2-1-5b-release/ https://github.com/openai/gpt-2 |
| dbo:wikiPageID | 66045029 (xsd:integer) |
| dbo:wikiPageLength | 82903 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1124372728 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Caltech dbr:Potentiometer dbr:Question_answering dbr:Natural_language_generation dbr:Natural_language_processing dbr:Neural_Turing_machine dbr:Neural_network dbr:Bike dbr:Deep_neural_network dbr:Human-computer_interaction dbr:Paul_Werbos dbr:Perceptron dbr:University_of_Amsterdam dbr:University_of_Toronto dbr:Vanishing_gradient_problem dbr:Vox_Media dbr:Deep_learning dbr:ELIZA dbr:Motorcycle dbr:Printing_press dbr:GPU dbr:Zero-shot_learning dbr:Photocell dbc:Deep_learning_software_applications dbc:Software_using_the_MIT_license dbr:Conditional_random_field dbr:Corn_dog dbr:Perceptrons_(book) dbr:Frank_Rosenblatt dbr:Generative_model dbr:Gradient_descent dbr:Connectionism dbr:Convolutional_neural_network dbr:The_New_York_Times dbr:The_Register dbr:The_Verge dbr:Objective_function dbr:Obscene dbr:Recurrent_neural_networks dbr:1980s dbr:Application_programming_interface dbr:MIT dbr:Machine_learning dbr:Commonsense_reasoning dbr:Computational_linguistics dbr:Domain-specific dbr:Keyword_(linguistics) dbr:Kunihiko_Fukushima dbr:Parallel_computing dbr:Spamming dbr:Backpropagation dbr:Central_Intelligence_Agency dbr:Tokenization_(lexical_analysis) dbr:Turing_test dbr:Data_science dbr:Wikipedia dbr:GPT-3 dbr:Cyclic_graph dbr:Jürgen_Schmidhuber dbr:Language_model dbr:AI_Dungeon dbr:Alan_Turing dbr:Allen_Institute_for_Artificial_Intelligence dbr:Exclusive_or dbr:Anima_Anandkumar dbr:Noam_Chomsky dbr:Parallelization dbr:Discriminative_model dbr:Google_Brain dbr:Handwriting_recognition dbr:History_of_computing dbr:Kelsey_Piper dbr:Knowledge_distillation dbr:Visual_cortex dbr:General_artificial_intelligence dbr:Stochastic_gradient_descent dbr:Recurrent_neural_network dbr:Recursion dbr:HTML dbr:Haitian_Creole dbr:Attention_(machine_learning) dbr:The_Guardian dbr:Arthur_Samuel dbr:Artificial_intelligence dbr:Artificial_neural_network dbr:AI_winter dbr:Chatterbot dbr:Alex_Graves_(computer_scientist) dbr:Labrador_retriever dbr:Sun_dog dbr:Swahili_language dbr:Edge_detection dbr:Transformer_(machine_learning_model) dbr:SHRDLU dbc:Natural_language_generation dbr:Association_for_Computational_Linguistics dbr:Autocomplete dbr:Automatic_summarization dbc:Unsupervised_learning dbr:BERT_(language_model) dbc:Language_modeling dbr:Marvin_Minsky dbr:Bullshit dbr:Photoshop dbr:Spam_filter dbr:Free_software dbr:Hugging_Face dbr:Dataset dbr:IBM dbr:Microsoft dbr:Neurons dbr:Nvidia dbr:Open-source dbr:OpenAI dbc:Open-source_artificial_intelligence dbr:Quora dbr:Racism dbr:Reddit dbr:Sepp_Hochreiter dbr:Seymour_Papert dbr:Long_short-term_memory dbr:Machine_translation dbr:Massively_parallel dbr:Stochastic_neural_analog_reinforcement_calculator dbr:Semantics dbr:State_of_the_art dbr:Universal_grammar dbr:World_Wide_Web dbr:Neocognitron dbr:Statistical_classification dbr:Natural_language dbr:Unsupervised_learning dbr:Round-off_error dbr:Birkbeck_College dbr:Psychotherapist dbr:Overfitting dbr:Supervised_learning dbr:Textual_entailment dbr:Neural_networks dbr:Feed-forward_neural_network dbr:Upvote dbr:Statistical_learning dbr:LSTM dbr:Text_adventures dbr:Georgetown_experiment dbr:Transformer_(machine_learning) dbr:Web_crawling dbr:ICDAR dbr:Vector_fields dbr:Syntactic_structure dbr:Image_recognition dbr:CommonCrawl dbr:Seed_funding dbr:Binary_classifier dbr:Look-up_table dbr:Multilayer_perceptrons dbr:Adam_optimization_algorithm dbr:Adaptive_computation_time dbr:Annealing_(machine_learning) dbr:BI-LSTM-CRF dbr:Bidirectional_LSTM dbr:BooksCorpus dbr:File:GPT-2-PresidentSnowden.PNG dbr:File:GPT-2-ProSkub-AntiSkub.png dbr:File:GPT-2-Trump_Asuka.png dbr:Ftfy_library dbr:LSTM-CRF dbr:Masking_(machine_learning) dbr:Neural_programmer dbr:WebText dbr:XLNet |
| dbp:author | dbr:OpenAI |
| dbp:caption | GPT-2 completion using the Hugging Face Write With Transformer website, prompted with text from this Wikipedia article (en) |
| dbp:genre | dbr:Language_model dbr:Transformer_(machine_learning_model) |
| dbp:name | Generative Pre-trained Transformer 2 (en) |
| dbp:released | 2019-02-14 (xsd:date) |
| dbp:repo | https://github.com/openai/gpt-2 |
| dbp:screenshot | File:GPT2-talks-about-GPT2.png (en) |
| dbp:website | https://openai.com/blog/gpt-2-1-5b-release/ |
| dbp:wikiPageUsesTemplate | dbt:Artificial_intelligence dbt:Infobox_software dbt:Main dbt:Short_description dbt:Start_date_and_age dbt:Differentiable_computing dbt:Existential_risk_from_artificial_intelligence |
| dct:subject | dbc:Deep_learning_software_applications dbc:Software_using_the_MIT_license dbc:Natural_language_generation dbc:Unsupervised_learning dbc:Language_modeling dbc:Open-source_artificial_intelligence |
| rdf:type | owl:Thing dbo:Software schema:CreativeWork dbo:Work wikidata:Q386724 wikidata:Q7397 |
| rdfs:comment | GPT-2 (Generative Pre-trained Transformer 2) és un sistema que fa ús de la intel·ligència artificial per generar textos creada el febrer del 2019 per OpenAI, un laboratori de recerca impulsat per Elon Musk. Es tracta d'un sistema format per 1.5 bilions de paràmetres que generen text preveient paraula a paraula. D'aquesta manera, és capaç de traduir textos automàticament, respondre preguntes, resumir fragments de text... Aquest text que genera realment és extret d'unes 8 milions pàgines d'Internet, per la qual cosa compta amb un conjunt de dades d'uns 40GB de text per utilitzar. (ca) GPT-2 (Generative Pre-trained Transformer 2) es un sistema que hace uso de la inteligencia artificial para generar textos creada en febrero del 2019 por OpenAI, un laboratorio de investigación impulsado por Elon Musk. Se trata de un sistema formado por 1.5 billones de parámetros que generan texto prediciendo palabra a palabra. De esta forma es capaz de traducir textos automáticamente, responder preguntas, resumir fragmentos de texto… Este texto generado es en realidad extraído de unas 8 millones de páginas de Internet, por lo que cuenta con un conjunto de datos de unos 40GB de texto para utilizar. (es) 생성적 사전학습 변환기 2(Generative Pre-trained Transformer 2) 즉 GPT-2는 OpenAI에서 만든 인공지능이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기(transformer)를 적용하였다. 번역과 대화, 작문을 할 수 있으며 단문의 경우 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 힘들다. (ko) Generative Pre-trained Transformer 2 (GPT-2) is an open-source artificial intelligence created by OpenAI in February 2019. GPT-2 translates text, answers questions, summarizes passages, and generates text output on a level that, while sometimes indistinguishable from that of humans, can become repetitive or nonsensical when generating long passages. It is a general-purpose learner; it was not specifically trained to do any of these tasks, and its ability to perform them is an extension of its general ability to accurately synthesize the next item in an arbitrary sequence. GPT-2 was created as a "direct scale-up" of OpenAI's 2018 GPT model, with a ten-fold increase in both its parameter count and the size of its training dataset. (en) Generative Pre-trained Transformer 2 (GPT-2) är en som använder djupinlärning för att producera människoliknande text. GPT-2 översätter text, svarar på frågor, sammanfattar passager, och genererar textutdata på en nivå som, även om den ibland inte kan skiljas från människors, kan bli repetitiva eller meningslösa när man genererar långa passager.Det är en allmäninlärare; den var inte specifikt utbildad för att utföra någon av dessa uppgifter, och dess förmåga att utföra dem är en förlängning av dess allmänna förmåga att exakt syntetisera nästa objekt i en godtycklig sekvens. GPT-2 skapades som en "direkt uppskalning" av OpenAI:s 2018 GPT-modell, med en tiofaldig ökning av både dess parameterantal och storleken på dess träningsdatauppsättning. (sv) |
| rdfs:label | GPT-2 (ca) Gpt-2 (es) GPT-2 (en) GPT-2 (ko) GPT-2 (sv) GPT-2 (uk) |
| owl:sameAs | wikidata:GPT-2 dbpedia-ca:GPT-2 dbpedia-es:GPT-2 dbpedia-ko:GPT-2 dbpedia-sv:GPT-2 dbpedia-uk:GPT-2 https://global.dbpedia.org/id/BwWk3 |
| prov:wasDerivedFrom | wikipedia-en:GPT-2?oldid=1124372728&ns=0 |
| foaf:depiction | wiki-commons:Special:FilePath/GPT-2-PresidentSnowden.png wiki-commons:Special:FilePath/GPT-2-ProSkub-AntiSkub.png wiki-commons:Special:FilePath/GPT-2-Trump_Asuka.png wiki-commons:Special:FilePath/GPT2-talks-about-GPT2.png |
| foaf:homepage | https://openai.com/blog/gpt-2-1-5b-release/ |
| foaf:isPrimaryTopicOf | wikipedia-en:GPT-2 |
| foaf:name | Generative Pre-trained Transformer 2 (GPT-2) (en) |
| is dbo:product of | dbr:OpenAI |
| is dbo:wikiPageRedirects of | dbr:Generative_Pre-trained_Transformer |
| is dbo:wikiPageWikiLink of | dbr:Natural_language_processing dbr:One-shot_learning dbr:DALL-E dbr:GPT2 dbr:Prompt_engineering dbr:Generative_model dbr:Yudhanjaya_Wijeratne dbr:Feature_learning dbr:BLOOM_(language_model) dbr:Data_augmentation dbr:GPT-3 dbr:Language_model dbr:AI_Dungeon dbr:Jason_Rohrer dbr:AI:_When_a_Robot_Writes_a_Play dbr:Transformer_(machine_learning_model) dbr:Hugging_Face dbr:Microsoft dbr:OpenAI dbr:Synthetic_media dbr:Seq2seq dbr:Theaitre dbr:Story_generator dbr:Yejin_Choi dbr:Generative_Pre-trained_Transformer |
| is foaf:primaryTopic of | wikipedia-en:GPT-2 |
