Language model (original) (raw)
قوالب اللغات هي قوالب إحصائية تقوم بتعيين قيمة محتملة لكل سلسلة من الكلمات عن طريق التوزيع الاحتمالي. تستخدم قوالب اللغات في العديد من تطبيقات معالجة اللغة الطبيعية مثل التعرف على الكلام، الترجمة الآلية، وتحليل واسترجاع المعلومات.
| Property | Value |
|---|---|
| dbo:abstract | قوالب اللغات هي قوالب إحصائية تقوم بتعيين قيمة محتملة لكل سلسلة من الكلمات عن طريق التوزيع الاحتمالي. تستخدم قوالب اللغات في العديد من تطبيقات معالجة اللغة الطبيعية مثل التعرف على الكلام، الترجمة الآلية، وتحليل واسترجاع المعلومات. (ar) En processament de llenguatge natural (PLN), anomenem model de llenguatge al model probabilístic P(e) que assigna a cada possible frase "e" la probabilitat que pertanyi a una determinada llengua. Per exemple, si tenim un model de llenguatge del català, ens donaria la probabilitat que la frase "Són les dues de la matinada" sigui una frase en català. Aquests models poden ser útils en diverses tasques del PLN, com el reconeixement de la parla, la desambiguació lèxica, traducció automàtica, etc. (ca) En traitement automatique des langues, un modèle de langage est un modèle statistique qui modélise la distribution de séquences de mots, plus généralement de séquences de symboles discrets (lettres, phonèmes, mots), dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant une séquence de mots. BERT, GPT-3 et Bloom sont des modèles de langage. remet en cause la pertinence des énormes modèles de langage préentrainés. (fr) A language model is a probability distribution over sequences of words. Given such a sequence of length m, a language model assigns a probability to the whole sequence. Language models generate probabilities by training on text corpora in one or many languages. Given that languages can be used to express an infinite variety of valid sentences (the property of digital infinity), language modeling faces the problem of assigning non-zero probabilities to linguistically valid sequences that may never be encountered in the training data. Several modelling approaches have been designed to surmount this problem, such as applying the Markov assumption or using neural architectures such as recurrent neural networks or transformers. Language models are useful for a variety of problems in computational linguistics; from initial applications in speech recognition to ensure nonsensical (i.e. low-probability) word sequences are not predicted, to wider use in machine translation (e.g. scoring candidate translations), natural language generation (generating more human-like text), part-of-speech tagging, parsing, Optical Character Recognition, handwriting recognition, grammar induction, information retrieval, and other applications. Language models are used in information retrieval in the query likelihood model. There, a separate language model is associated with each document in a collection. Documents are ranked based on the probability of the query Q in the document's language model : . Commonly, the unigram language model is used for this purpose. (en) Un modelo del lenguaje estadístico asigna una probabilidad a una secuencia de m palabras mediante una distribución de probabilidad. Tener una forma de estimar la verosimilitud de diferentes frases es útil en muchas aplicaciones de procesamiento de lenguaje natural. Modelación del lenguaje se utiliza en el reconocimiento de voz, traducción automática, , análisis, reconocimiento de escritura, y otras aplicaciones. En el reconocimiento de voz, la computadora intenta hacer coincidir los sonidos con secuencias de palabras. El modelo del lenguaje proporciona un contexto para distinguir entre las palabras y frases que suenan similares. Por ejemplo, en , las frases "recognize speech " y " wreck a nice beach " se pronuncian de forma similar pero significan cosas muy diferentes. Estas ambigüedades son más fáciles de resolver cuando se incorpora la evidencia del modelo del lenguaje con el modelo de pronunciación y el modelo acústico. Los modelos del lenguaje se utilizan en la recuperación de información en el . Aquí un modelo del lenguaje está asociado con cada documento en una colección. Los documentos se clasifican sobre la base de la probabilidad de la consulta en el modelo del lenguaje del documento . Comúnmente, el modelo del lenguaje se utiliza para este propósito—además conocido como el . La escasez de datos es un problema importante en la construcción de modelos de lenguaje. La mayoría de las posibles secuencias de palabras no serán observadas en el entrenamiento. Una solución es hacer la hipótesis de que la probabilidad de una palabra sólo depende de las palabras anteriores. Esto se conoce como un modelo de N-grama o modelo unigrama cuando . (es) 言語モデルとは、単語列に対する確率分布である。長さmの単語列が与えられたとき、単語列全体に対しての確率を与える。言語モデルを用いると異なるフレーズに対して相対的な尤度を求めることができるため、自然言語処理の分野で広く使われている。言語モデルは音声認識、機械翻訳、、構文解析、手書き文字認識、情報検索などに利用されている。 (ja) Статистична моде́ль мо́ви (англ. language model) — це розподіл імовірності над послідовностями слів. Заданій такій послідовності, скажімо, довжини m, вона призначує ймовірність усієї цієї послідовності. Модель мови забезпечує контекст для розрізнювання слів та фраз, які звучать схоже. Наприклад, в американській англійській фрази «recognize speech» (розпізнавати мовлення) та «wreck a nice beach» (вбити гарний пляж) звучать схоже, але означають різні речі. У побудові моделей мов основною проблемою є розрідженість даних. Більшість можливих послідовностей слів під час тренування не спостерігаються. Одним з розв'язків цієї проблеми є припустити, що ймовірність слова залежить лише від попередніх n слів. Це є відомим як n-грамна модель, або уніграмна модель, коли n = 1. Уніграмна модель є також відомою як модель «торба слів». Оцінювання відносної правдоподібності різних фраз є корисним у багатьох застосуваннях обробки природної мови, особливо в тих, що породжують текст як вихід. Моделювання мов використовують у розпізнаванні мовлення, машиннім перекладі, розмічуванні частин мови, синтаксичнім аналізі, оптичнім розпізнаванні символів, розпізнаванні рукописного введення, інформаційнім пошуку та інших застосуваннях. У розпізнаванні мовлення звуки зіставляють з послідовностями слів. Неоднозначності розв'язувати легше, коли свідчення від моделі мови поєднують з моделлю вимови та . Моделі мови використовують в інформаційнім пошуку в . Там окрему модель мови пов'язують з кожним документом сукупності. Документи ранжують на основі ймовірності запиту Q в моделі мови документа : . Для цього зазвичай використовують модель. (uk) 統計式的語言模型是一個機率分佈，给定一个长度为 的字詞所組成的字串 ，派機率給字串：。 语言模型提供上下文来区分听起来相似的单词和短语。例如，短语“再给我两份葱，让我把记忆煎成饼”和“再给我两分钟，让我把记忆结成冰”听起来相似，但意思不同。 語言模型經常使用在許多自然語言處理方面的應用，如語音識別，機器翻譯，詞性標註，句法分析，手写体识别和資訊檢索。由於字詞與句子都是任意組合的長度，因此在訓練過的語言模型中會出現未曾出現的字串(資料稀疏的問題)，也使得在語料庫中估算字串的機率變得很困難，這也是要使用近似的平滑n-元語法(N-gram)模型之原因。 在語音辨識和在資料壓縮的領域中，這種模式試圖捕捉語言的特性，並預測在語音串列中的下一個字。 在语音识别中，声音与单词序列相匹配。当来自语言模型的证据与发音模型和声学模型相结合时，歧义更容易解决。 當用於資訊檢索，語言模型是與文件有關的集合。以查詢字「Q」作為輸入，依據機率將文件作排序，而該機率代表該文件的語言模型所產生的語句之機率。 (zh) |
| dbo:wikiPageID | 1911810 (xsd:integer) |
| dbo:wikiPageLength | 23120 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1117572517 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Probability_distribution dbr:Natural_language_generation dbr:Nearest_neighbor_search dbr:Parsing dbr:Curse_of_dimensionality dbr:Uninformative_prior dbr:Information_retrieval dbr:Compositionality dbr:Query_likelihood_model dbr:GPT-2 dbr:Grammar_induction dbr:Probabilistic_classifier dbr:Machine_learning dbr:Cache_language_model dbr:Statistical_model dbr:Computational_linguistics dbr:Feedforward_neural_network dbr:Partition_function_(mathematics) dbr:Markov_property dbr:BLOOM_(language_model) dbr:Backpropagation dbc:Statistical_natural_language_processing dbr:Document dbr:GPT-3 dbr:Heaps'_law dbr:Feature_vector dbr:Linear_combination dbr:Linear_interpolation dbr:Treebank dbr:Handwriting_recognition dbr:Katz's_back-off_model dbr:Text_corpus dbr:Stochastic_gradient_descent dbr:Part-of-speech_tagging dbr:Recurrent_neural_network dbr:Speech_recognition dbr:Artificial_neural_network dbc:Markov_models dbr:Cognitive_model dbr:Transformer_(machine_learning_model) dbr:Skip-gram dbr:Digital_infinity dbr:BERT_(language_model) dbc:Language_modeling dbr:Hugging_Face dbr:Optical_Character_Recognition dbr:Machine_translation dbr:Principle_of_maximum_entropy dbr:Exponential_growth dbr:Factored_language_model dbr:Distributed_representation dbr:Finite-state_machine dbr:Word_embedding dbr:Word2vec dbr:Markov_assumption dbr:Bag-of-words dbr:Unigram dbr:Good-Turing_discounting |
| dbp:wikiPageUsesTemplate | dbt:Examples dbt:Cite_techreport dbt:Citation_needed dbt:Cite_conference dbt:Div_col dbt:Div_col_end dbt:Efn dbt:Main dbt:Mvar dbt:Notelist dbt:R dbt:Refbegin dbt:Refend dbt:Reflist dbt:Short_description dbt:Use_dmy_dates |
| dct:subject | dbc:Statistical_natural_language_processing dbc:Markov_models dbc:Language_modeling |
| rdf:type | yago:WikicatMarkovModels yago:Assistant109815790 yago:CausalAgent100007347 yago:LivingThing100004258 yago:Model110324560 yago:Object100002684 yago:Organism100004475 yago:Person100007846 yago:PhysicalEntity100001930 yago:Worker109632518 yago:YagoLegalActor yago:YagoLegalActorGeo yago:Whole100003553 |
| rdfs:comment | قوالب اللغات هي قوالب إحصائية تقوم بتعيين قيمة محتملة لكل سلسلة من الكلمات عن طريق التوزيع الاحتمالي. تستخدم قوالب اللغات في العديد من تطبيقات معالجة اللغة الطبيعية مثل التعرف على الكلام، الترجمة الآلية، وتحليل واسترجاع المعلومات. (ar) En processament de llenguatge natural (PLN), anomenem model de llenguatge al model probabilístic P(e) que assigna a cada possible frase "e" la probabilitat que pertanyi a una determinada llengua. Per exemple, si tenim un model de llenguatge del català, ens donaria la probabilitat que la frase "Són les dues de la matinada" sigui una frase en català. Aquests models poden ser útils en diverses tasques del PLN, com el reconeixement de la parla, la desambiguació lèxica, traducció automàtica, etc. (ca) En traitement automatique des langues, un modèle de langage est un modèle statistique qui modélise la distribution de séquences de mots, plus généralement de séquences de symboles discrets (lettres, phonèmes, mots), dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant une séquence de mots. BERT, GPT-3 et Bloom sont des modèles de langage. remet en cause la pertinence des énormes modèles de langage préentrainés. (fr) 言語モデルとは、単語列に対する確率分布である。長さmの単語列が与えられたとき、単語列全体に対しての確率を与える。言語モデルを用いると異なるフレーズに対して相対的な尤度を求めることができるため、自然言語処理の分野で広く使われている。言語モデルは音声認識、機械翻訳、、構文解析、手書き文字認識、情報検索などに利用されている。 (ja) 統計式的語言模型是一個機率分佈，给定一个长度为 的字詞所組成的字串 ，派機率給字串：。 语言模型提供上下文来区分听起来相似的单词和短语。例如，短语“再给我两份葱，让我把记忆煎成饼”和“再给我两分钟，让我把记忆结成冰”听起来相似，但意思不同。 語言模型經常使用在許多自然語言處理方面的應用，如語音識別，機器翻譯，詞性標註，句法分析，手写体识别和資訊檢索。由於字詞與句子都是任意組合的長度，因此在訓練過的語言模型中會出現未曾出現的字串(資料稀疏的問題)，也使得在語料庫中估算字串的機率變得很困難，這也是要使用近似的平滑n-元語法(N-gram)模型之原因。 在語音辨識和在資料壓縮的領域中，這種模式試圖捕捉語言的特性，並預測在語音串列中的下一個字。 在语音识别中，声音与单词序列相匹配。当来自语言模型的证据与发音模型和声学模型相结合时，歧义更容易解决。 當用於資訊檢索，語言模型是與文件有關的集合。以查詢字「Q」作為輸入，依據機率將文件作排序，而該機率代表該文件的語言模型所產生的語句之機率。 (zh) Un modelo del lenguaje estadístico asigna una probabilidad a una secuencia de m palabras mediante una distribución de probabilidad. Tener una forma de estimar la verosimilitud de diferentes frases es útil en muchas aplicaciones de procesamiento de lenguaje natural. Modelación del lenguaje se utiliza en el reconocimiento de voz, traducción automática, , análisis, reconocimiento de escritura, y otras aplicaciones. (es) A language model is a probability distribution over sequences of words. Given such a sequence of length m, a language model assigns a probability to the whole sequence. Language models generate probabilities by training on text corpora in one or many languages. Given that languages can be used to express an infinite variety of valid sentences (the property of digital infinity), language modeling faces the problem of assigning non-zero probabilities to linguistically valid sequences that may never be encountered in the training data. Several modelling approaches have been designed to surmount this problem, such as applying the Markov assumption or using neural architectures such as recurrent neural networks or transformers. (en) Статистична моде́ль мо́ви (англ. language model) — це розподіл імовірності над послідовностями слів. Заданій такій послідовності, скажімо, довжини m, вона призначує ймовірність усієї цієї послідовності. Модель мови забезпечує контекст для розрізнювання слів та фраз, які звучать схоже. Наприклад, в американській англійській фрази «recognize speech» (розпізнавати мовлення) та «wreck a nice beach» (вбити гарний пляж) звучать схоже, але означають різні речі. (uk) |
| rdfs:label | قالب اللغة (ar) Model de llenguatge (ca) Modelación del lenguaje (es) Modèle de langage (fr) Language model (en) 言語モデル (ja) 語言模型 (zh) Модель мови (uk) |
| owl:sameAs | freebase:Language model yago-res:Language model wikidata:Language model dbpedia-ar:Language model dbpedia-bg:Language model dbpedia-ca:Language model dbpedia-es:Language model dbpedia-fa:Language model dbpedia-fi:Language model dbpedia-fr:Language model dbpedia-ja:Language model dbpedia-nn:Language model dbpedia-uk:Language model dbpedia-zh:Language model https://global.dbpedia.org/id/3LhpA |
| prov:wasDerivedFrom | wikipedia-en:Language_model?oldid=1117572517&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Language_model |
| is dbo:knownFor of | dbr:Yoshua_Bengio |
| is dbo:wikiPageDisambiguates of | dbr:LM |
| is dbo:wikiPageRedirects of | dbr:Benchmarks_for_natural_language_processing dbr:N-gram_language_model dbr:Statistical_language_model dbr:Neural_language_model dbr:Neural_net_language_model dbr:Statistical_Language_Model dbr:Statistical_language_modeling dbr:Language_Modeling dbr:Language_modeling dbr:Language_modelling dbr:Language_models dbr:Unigram_model |
| is dbo:wikiPageWikiLink of | dbr:Question_answering dbr:N-gram dbr:Natural_language_processing dbr:One-shot_learning dbr:Benchmarks_for_natural_language_processing dbr:Julius_(software) dbr:DALL-E dbr:Deep_learning dbr:Information_retrieval dbr:Lexical_analysis dbr:List_of_linguists dbr:Prompt_engineering dbr:Cross_entropy dbr:Query_likelihood_model dbr:Emily_M._Bender dbr:GPT-2 dbr:Moses_(machine_translation) dbr:N-gram_language_model dbr:Cache_language_model dbr:Stack-oriented_programming dbr:Statistical_language_model dbr:Computer_graphics dbr:Perplexity dbr:Prediction_by_partial_matching dbr:Tehran_Monolingual_Corpus dbr:Text-to-image_model dbr:MedSLT dbr:BLOOM_(language_model) dbr:Brown_clustering dbr:CMU_Sphinx dbr:GPT-3 dbr:Katz's_back-off_model dbr:Query_expansion dbr:Speech_recognition dbr:Bag-of-words_model dbr:Hutter_Prize dbr:AI:_When_a_Robot_Writes_a_Play dbr:Acoustic_model dbr:Character.ai dbr:John_Cocke_(computer_scientist) dbr:Bigram dbr:Swype dbr:Audio_mining dbr:BERT_(language_model) dbr:Philosophy_of_artificial_intelligence dbr:Softmax_function dbr:Hugging_Face dbr:Microsoft_Translator dbr:Neural_language_model dbr:OCRopus dbr:OpenAI dbr:Categorical_variable dbr:Sentience dbr:Yoshua_Bengio dbr:Statistical_machine_translation dbr:Query_understanding dbr:Factored_language_model dbr:List_of_statistics_articles dbr:LLM_(disambiguation) dbr:LM dbr:Vietnamese_language_and_computers dbr:Fleksy dbr:Stochastic_grammar dbr:Self-supervised_learning dbr:Seq2seq dbr:Theaitre dbr:Spell_checker dbr:Outline_of_machine_learning dbr:Outline_of_natural_language_processing dbr:Word_embedding dbr:Types_of_artificial_neural_networks dbr:Neural_net_language_model dbr:Word2vec dbr:Speechmatics dbr:Statistical_Language_Model dbr:Statistical_language_modeling dbr:Language_Modeling dbr:Language_modeling dbr:Language_modelling dbr:Language_models dbr:Unigram_model |
| is dbp:genre of | dbr:DALL-E dbr:GPT-2 dbr:GPT-3 |
| is foaf:primaryTopic of | wikipedia-en:Language_model |