Lexical analysis (original) (raw)
En informàtica l'anàlisi lèxica és el procés de convertir una seqüència de caràcters en una seqüència de tokens. Un programa o funció que realitza l'anàlisi lèxica s'anomena un analitzador lèxic, lexicalitzador, o un escànner. Un analitzador lèxic sovint té la forma d'una sola funció que és cridada per un programa d'anàlisi o una altra funció.
| Property | Value |
|---|---|
| dbo:abstract | En informàtica l'anàlisi lèxica és el procés de convertir una seqüència de caràcters en una seqüència de tokens. Un programa o funció que realitza l'anàlisi lèxica s'anomena un analitzador lèxic, lexicalitzador, o un escànner. Un analitzador lèxic sovint té la forma d'una sola funció que és cridada per un programa d'anàlisi o una altra funció. (ca) Lexikální analýza je činnost, kterou provádí tzv. lexikální analyzátor (scanner) – je součástí překladače. Lexikální analyzátor rozdělí vstupní posloupnost znaků na lexémy – lexikální jednotky (např. identifikátory, čísla, klíčová slova, operátory, …). Tyto lexémy jsou reprezentovány ve formě tokenů (symbolů), ty jsou poskytnuty ke zpracování syntaktickému analyzátoru. Úkolem lexikálního analyzátoru je také odstranění komentářů a bílých znaků ze zdrojového programu. V praxi je lexikální analyzátor realizován pomocí konečného automatu. (cs) تحليل المفردات أو التحليل المعجمي (بالإنجليزية: Lexical analysis)، في علم الحاسوب هو قارئ ترميز المفردات، وهذا يتم بواسطة عملية تحويل سلسلة من الحروف كما في برامج الحاسب أو صفحات الإنترنت إلى سلسلة من الرموز (سلسلة مسند إليها معنى معرف مسبقاً)، ويمكن أن يطلق عليه المعجم أو المرمز أو الماسح ، وتسمى المرحلة الأولى في المعجم «الماسح». المعجم والمحلل يتحدان سوياً لتحليل هيكل الجمل في لغات البرمجة وصفحات الإنترنت والكثير من التطبيقات. (ar) Στην πληροφορική, λεκτική ανάλυση (lexical analysis) είναι η διαδικασία που μετατρέπει μια ακολουθία από χαρακτήρες σε μια ακολουθία από λεκτικές μονάδες (tokens). Ένα πρόγραμμα ή συνάρτηση που κάνει λεκτική ανάλυση ονομάζεται λεκτικός αναλυτής (lexical analyzer, lexer ή scanner). Ένας λεκτικός αναλυτής συχνά αποτελεί μια συνάρτηση που καλείται από ένα ή κάποια άλλη συνάρτηση. (el) Lexikalische Analyse ist in der Informatik die Zerlegung einer Zeichenkette (z. B. Quelltext) in eine Folge von logisch zusammengehörigen Einheiten, sogenannte Token. Ein Computerprogramm, das eine lexikalische Analyse durchführt, wird Lexer, Tokenizer oder lexikalischer Scanner genannt. Ein Lexer ist meist Teil eines Compilers und wird als erster Schritt in der Analysephase ausgeführt. Das Ergebnis des Lexers wird im nächsten Schritt von einem Parser weiterverarbeitet. (de) In computer science, lexical analysis, lexing or tokenization is the process of converting a sequence of characters (such as in a computer program or web page) into a sequence of lexical tokens (strings with an assigned and thus identified meaning). A program that performs lexical analysis may be termed a lexer, tokenizer, or scanner, although scanner is also a term for the first stage of a lexer. A lexer is generally combined with a parser, which together analyze the syntax of programming languages, web pages, and so forth. (en) Un analizador léxico o analizador lexicográfico (en inglés scanner o tokenizer) es la primera fase de un compilador, consistente en un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos. Estos tokens sirven para una posterior etapa del proceso de traducción, siendo la entrada para el analizador sintáctico (en inglés parser). La especificación de un lenguaje de programación a menudo incluye un conjunto de reglas que definen el léxico. Estas reglas consisten comúnmente en expresiones regulares que indican el conjunto de posibles secuencias de caracteres que definen un token o lexema. En algunos lenguajes de programación es necesario establecer patrones para caracteres especiales (como el espacio en blanco) que la gramática pueda reconocer sin que constituya un token en sí. (es) En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte. (fr) Analisis leksikal (bahasa Inggris: lexical analysis) adalah sebuah proses yang mendahului parsing sebuah rangkaian karakter. Ia menerima masukan serangkaian karakter (seperti dalam dokumen plain-text atau source code) dan menghasilkan deretan simbol yang masing-masing dinamakan token; proses parsing akan lebih mudah dilakukan bila inputnya sudah berupa token. Analisis leksikal terdiri dari dua tahap. Tahap pertama adalah pemindaian (scanning); scanner biasanya dibuat berdasarkan prinsip Finite State Machine ("mesin dengan jumlah keadaan terbatas"). Pada tahap ini, scanner akan membaca input karakter-ke-karakter, mengubah keadaannya sendiri berdasarkan karakter yang tengah dibaca. Setiap kondisi final (input dianggap valid) akan dicatat, bersama dengan lokasi input. Pada akhirnya scanner akan menemui keadaan penolakan, yang tidak akan berubah dengan input karakter apapun. Deteksi rekursi semacam ini akan mengakhiri proses pemindaian dan memindahkan keadaan scanner ke keadaan final terakhir, dan karenanya menyimpan informasi jenis dan besar leksem valid yang terpanjang di dalam input. Namun lexeme tersebut belum punya nilai semantik apapun; pemberian nilai semantik pada setiap unit leksikal adalah tugas dari evaluator yang memeriksa semua karakter setiap lexeme dan memberinya nilai tertentu. Saat sebuah lexeme telah memiliki informasi mengenai tipe dan nilainya, ia dapat secara valid disebut sebagai token. Analisis leksikal membuat pekerjaan parser jadi lebih mudah; daripada membangun nama setiap fungsi dan variabel dari karakter-karakter yang menyusunnya, dengan analisis leksikal, parser cukup hanya berurusan dengan sekumpulan token dan nilai sintaksis masing-masing. Terlepas dari efisiensi pemrograman yang dapat dicapai dengan penggunaannya, proses kerja analisis leksikal yang membaca lebih dari sekali setiap karakter dari input yang diberikan menjadikan penganalisis leksikal sebagai sub-sistem yang paling intensif melakukan komputasi, terutama bila digunakan dalam sebuah kompilator. (in) 計算機科学における字句解析 (じくかいせき、英: lexical analysis) とは、広義の構文解析の前半の処理で、自然言語の文やプログラミング言語のソースコードなどの文字列を解析して、後半の狭義の構文解析で最小単位（終端記号）となっている「トークン」（字句）の並びを得る手続きである。字句解析を行うプログラムは字句解析器である。 (ja) 낱말 분석(Lexical analysis)은 컴퓨터 과학에서 프로그래밍 언어를 처리하는 처리하는 최초의 단계이다. 낱말 분석을 수행하는 프로그램은 렉서(lexer), 토크나이저(tokenizer), 스캐너(scanner)라고 부르지만 스캐너는 렉서의 1단계를 가리키는 의미이기도 하다. (ko) L'analisi lessicale è il processo di prendere in ingresso una sequenza di caratteri e produrre in uscita una sequenza di token. Il flusso di caratteri è genericamente il codice sorgente di un programma. L'analisi lessicale interviene genericamente nella parte di front end della compilazione. Ad esempio, dato in ingresso il seguente codice: Programma Pippo intero i = 1;end Pippo Il flusso di token prodotto sarà il seguente: Da notare che alcuni token potrebbero fare a meno del valore (lessema) (ad esempio il simbolo equal), poiché già indicati dalla tipologia. Lo strumento che si occupa dell'analisi lessicale è l'analizzatore lessicale, a volte chiamato scanner o lexer. (it) Analiza leksykalna w informatyce jest to proces rozbijania programów źródłowych na jednostki logiczne (zwane leksemami) złożone z jednego lub więcej znaków, które łącznie mają jakieś znaczenie. Przykładami leksemów mogą być słowa kluczowe (np. while), identyfikator lub liczba składająca się z cyfr. Rozdzielaniem programu źródłowego, na leksemy, zajmuje się lekser. Zazwyczaj lekser działa w parze z parserem, z którym wspólnie analizują składnię języków programowania, na przykład w kompilatorach, ale również w parserach HTML występujących w przeglądarkach internetowych. Ściślej rzecz biorąc, lekser jest też rodzajem parsera. Składnia wielu języków programowania dzieli się na dwie części: składnię leksykalną (wewnętrzną konstrukcję tokenu), która jest przetwarzana przez lekser i składnię gramatyczną, która jest przetwarzana przez parser. Składnia leksykalna jest zazwyczaj wyrażeniem regularnym którego alfabet składa się z pojedynczych znaków kodu źródłowego. Składnia gramatyczna to zazwyczaj bezkontekstowy język, którego alfabet składa się z tokenów produkowanych przez lekser. Zwyczajowo analiza tekstu przebiega w wymienionych wyżej dwóch fazach, jednak lekser może być połączony z parserem w przetwarzaniu jednoprzebiegowym. (pl) Lexicale analyse is een term uit de informatica waarmee het omzetten van een reeks karakters in een reeks symbolen wordt aangeduid. Programma's die deze omzetting uitvoeren worden lexical analysers, lexers of scanners genoemd. Voor de omzetting van een reeks karakters in een reeks symbolen wordt een aantal regels geformuleerd die aangeven welke opeenvolgende karakters een (geldig) symbool vormen. Deze regels worden meestal gespecificeerd door middel van reguliere expressies. (nl) Na ciência da computação, análise léxica, lexing ou tokenização é o processo de converter uma sequência de caracteres (como em um programa de computador ou página da web) em uma sequência de tokens (strings com um significado atribuído e, portanto, identificado). Um programa que realiza análise lexical pode ser denominado lexer, tokenizer, ou scanner, embora scanner também seja um termo para o primeiro estágio de um lexer. Um lexer geralmente é combinado com um analisador, que juntos analisam a sintaxe de linguagens de programação, páginas da Web e assim por diante. (pt) В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического входной последовательности символов на распознанные группы — лексемы — с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). (ru) Lexikalanalys är inom datalogi den process som består i att en serie tecken tolkas och omvandlas till lexikala element, eller s.k. tokens. Lexikalanalys innebär att indata omvandlas till exempelvis , konstanter, operatorer och parameterar. (sv) Лексичний розбір — це процес перетворення послідовності символів в послідовність токенів (груп символів що відповідають певним шаблонам), та визначення їх типів. Програма, чи функція що виконує лексичний аналіз, називається лексичним аналізатором, токенізатором чи сканером. Часто сканер є звичайною функцією що використовується парсером (синтаксичним аналізатором), для отримання наступного токена з потоку вхідних символів в процесі компіляції. Також часто лексичний аналіз використовують для підсвітки синтаксису певних мов. (uk) 词法分析（英語：lexical analysis）是计算机科学中将字符序列转换为记号（token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（lexical analyzer，简称lexer），也叫扫描器（scanner）。词法分析器一般以函数的形式存在，供语法分析器调用。 (zh) |
| dbo:wikiPageExternalLink | http://people.cs.nctu.edu.tw/~wuuyang/homepage/papers/applicability2002.ps http://www.gabormelli.com/RKB/Word_Mention_Segmentation_Task https://web.archive.org/web/20190530155339/https:/www.ibm.com/developerworks/community/blogs/nlp/entry/tokenization%3Flang=en https://www.ibm.com/developerworks/community/blogs/nlp/entry/tokenization |
| dbo:wikiPageID | 81251 (xsd:integer) |
| dbo:wikiPageLength | 28049 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1104772145 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Python_(programming_language) dbr:Natural_language_processing dbr:Parsing dbr:Bash_(Unix_shell) dbr:Defensive_semicolon dbr:Regular_expression dbr:Reserved_word dbr:Character_(computing) dbr:Integer_literal dbr:Numerical_digit dbr:Lexeme dbr:Lexical_grammar dbr:Scriptio_continua dbc:Programming_language_implementation dbr:Compiling dbr:Context-free_grammar dbr:Prettyprint dbr:Emoticon dbr:English_language dbr:GNU_Bison dbr:Go_(programming_language) dbr:Morpheme dbr:The_lexer_hack dbr:Trailing_comma dbr:Lex_(software) dbr:Lint_(software) dbr:State_transition_table dbr:Structure_and_Interpretation_of_Computer_Programs dbr:Comment_(computer_programming) dbr:Computer_program dbr:Computer_science dbr:Delimiter dbr:Identifier_(computer_languages) dbr:Web_page dbr:Statement_(computer_science) dbr:String_(computer_science) dbr:String_literal dbr:Stropping_(syntax) dbr:Syntax_(programming_languages) dbr:Whitespace_character dbr:Maximal_munch dbr:BCPL dbr:C_(programming_language) dbr:Agglutinative_language dbr:URI dbr:Domain-specific_language dbr:Language_model dbr:Yacc dbr:ALGOL dbr:Ancient_Greek dbr:Data_type dbr:Flex_(lexical_analyser_generator) dbr:Part_of_speech dbr:Formal_grammar dbr:Poetic_contraction dbr:Flag_(computing) dbr:Regular_language dbr:JavaScript dbr:Backtracking dbr:Thai_language dbr:Hyphen dbr:Abstract_syntax_tree dbc:Compiler_construction dbc:Parsing dbr:Chinese_language dbc:Lexical_analysis dbr:Block_(programming) dbr:Word dbr:Newline dbr:Operator_(computer_programming) dbr:Re2c dbr:Word_(computer_architecture) dbr:Semantic_analysis_(compilers) dbr:Literal_(computer_programming) dbr:Natural_language dbr:Programming_language dbr:Line_continuation dbr:Line_reconstruction dbr:Finite-state_machine dbr:Off-side_rule dbr:Typedef dbr:Parser dbr:List_of_parser_generators dbr:Parser_generator dbr:Compiler_frontend |
| dbp:wikiPageUsesTemplate | dbt:Citation_needed dbt:Cite_journal dbt:Cite_web dbt:Code dbt:Distinguish dbt:Dubious dbt:Further dbt:ISBN dbt:Redirect dbt:Refbegin dbt:Refend dbt:Reflist dbt:See_also dbt:Short_description dbt:Natural_Language_Processing |
| dcterms:subject | dbc:Programming_language_implementation dbc:Compiler_construction dbc:Parsing dbc:Lexical_analysis |
| gold:hypernym | dbr:Process |
| rdf:type | owl:Thing yago:WikicatCompilers yago:CausalAgent100007347 yago:Communicator109610660 yago:Compiler109946957 yago:LivingThing100004258 yago:Object100002684 yago:Organism100004475 yago:Person100007846 yago:PhysicalEntity100001930 yago:Writer110794014 yago:YagoLegalActor yago:YagoLegalActorGeo dbo:Election dbo:MusicGenre yago:Whole100003553 |
| rdfs:comment | En informàtica l'anàlisi lèxica és el procés de convertir una seqüència de caràcters en una seqüència de tokens. Un programa o funció que realitza l'anàlisi lèxica s'anomena un analitzador lèxic, lexicalitzador, o un escànner. Un analitzador lèxic sovint té la forma d'una sola funció que és cridada per un programa d'anàlisi o una altra funció. (ca) Lexikální analýza je činnost, kterou provádí tzv. lexikální analyzátor (scanner) – je součástí překladače. Lexikální analyzátor rozdělí vstupní posloupnost znaků na lexémy – lexikální jednotky (např. identifikátory, čísla, klíčová slova, operátory, …). Tyto lexémy jsou reprezentovány ve formě tokenů (symbolů), ty jsou poskytnuty ke zpracování syntaktickému analyzátoru. Úkolem lexikálního analyzátoru je také odstranění komentářů a bílých znaků ze zdrojového programu. V praxi je lexikální analyzátor realizován pomocí konečného automatu. (cs) تحليل المفردات أو التحليل المعجمي (بالإنجليزية: Lexical analysis)، في علم الحاسوب هو قارئ ترميز المفردات، وهذا يتم بواسطة عملية تحويل سلسلة من الحروف كما في برامج الحاسب أو صفحات الإنترنت إلى سلسلة من الرموز (سلسلة مسند إليها معنى معرف مسبقاً)، ويمكن أن يطلق عليه المعجم أو المرمز أو الماسح ، وتسمى المرحلة الأولى في المعجم «الماسح». المعجم والمحلل يتحدان سوياً لتحليل هيكل الجمل في لغات البرمجة وصفحات الإنترنت والكثير من التطبيقات. (ar) Στην πληροφορική, λεκτική ανάλυση (lexical analysis) είναι η διαδικασία που μετατρέπει μια ακολουθία από χαρακτήρες σε μια ακολουθία από λεκτικές μονάδες (tokens). Ένα πρόγραμμα ή συνάρτηση που κάνει λεκτική ανάλυση ονομάζεται λεκτικός αναλυτής (lexical analyzer, lexer ή scanner). Ένας λεκτικός αναλυτής συχνά αποτελεί μια συνάρτηση που καλείται από ένα ή κάποια άλλη συνάρτηση. (el) Lexikalische Analyse ist in der Informatik die Zerlegung einer Zeichenkette (z. B. Quelltext) in eine Folge von logisch zusammengehörigen Einheiten, sogenannte Token. Ein Computerprogramm, das eine lexikalische Analyse durchführt, wird Lexer, Tokenizer oder lexikalischer Scanner genannt. Ein Lexer ist meist Teil eines Compilers und wird als erster Schritt in der Analysephase ausgeführt. Das Ergebnis des Lexers wird im nächsten Schritt von einem Parser weiterverarbeitet. (de) In computer science, lexical analysis, lexing or tokenization is the process of converting a sequence of characters (such as in a computer program or web page) into a sequence of lexical tokens (strings with an assigned and thus identified meaning). A program that performs lexical analysis may be termed a lexer, tokenizer, or scanner, although scanner is also a term for the first stage of a lexer. A lexer is generally combined with a parser, which together analyze the syntax of programming languages, web pages, and so forth. (en) En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte. (fr) 計算機科学における字句解析 (じくかいせき、英: lexical analysis) とは、広義の構文解析の前半の処理で、自然言語の文やプログラミング言語のソースコードなどの文字列を解析して、後半の狭義の構文解析で最小単位（終端記号）となっている「トークン」（字句）の並びを得る手続きである。字句解析を行うプログラムは字句解析器である。 (ja) 낱말 분석(Lexical analysis)은 컴퓨터 과학에서 프로그래밍 언어를 처리하는 처리하는 최초의 단계이다. 낱말 분석을 수행하는 프로그램은 렉서(lexer), 토크나이저(tokenizer), 스캐너(scanner)라고 부르지만 스캐너는 렉서의 1단계를 가리키는 의미이기도 하다. (ko) Lexicale analyse is een term uit de informatica waarmee het omzetten van een reeks karakters in een reeks symbolen wordt aangeduid. Programma's die deze omzetting uitvoeren worden lexical analysers, lexers of scanners genoemd. Voor de omzetting van een reeks karakters in een reeks symbolen wordt een aantal regels geformuleerd die aangeven welke opeenvolgende karakters een (geldig) symbool vormen. Deze regels worden meestal gespecificeerd door middel van reguliere expressies. (nl) Na ciência da computação, análise léxica, lexing ou tokenização é o processo de converter uma sequência de caracteres (como em um programa de computador ou página da web) em uma sequência de tokens (strings com um significado atribuído e, portanto, identificado). Um programa que realiza análise lexical pode ser denominado lexer, tokenizer, ou scanner, embora scanner também seja um termo para o primeiro estágio de um lexer. Um lexer geralmente é combinado com um analisador, que juntos analisam a sintaxe de linguagens de programação, páginas da Web e assim por diante. (pt) В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического входной последовательности символов на распознанные группы — лексемы — с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). (ru) Lexikalanalys är inom datalogi den process som består i att en serie tecken tolkas och omvandlas till lexikala element, eller s.k. tokens. Lexikalanalys innebär att indata omvandlas till exempelvis , konstanter, operatorer och parameterar. (sv) Лексичний розбір — це процес перетворення послідовності символів в послідовність токенів (груп символів що відповідають певним шаблонам), та визначення їх типів. Програма, чи функція що виконує лексичний аналіз, називається лексичним аналізатором, токенізатором чи сканером. Часто сканер є звичайною функцією що використовується парсером (синтаксичним аналізатором), для отримання наступного токена з потоку вхідних символів в процесі компіляції. Також часто лексичний аналіз використовують для підсвітки синтаксису певних мов. (uk) 词法分析（英語：lexical analysis）是计算机科学中将字符序列转换为记号（token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（lexical analyzer，简称lexer），也叫扫描器（scanner）。词法分析器一般以函数的形式存在，供语法分析器调用。 (zh) Un analizador léxico o analizador lexicográfico (en inglés scanner o tokenizer) es la primera fase de un compilador, consistente en un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos. Estos tokens sirven para una posterior etapa del proceso de traducción, siendo la entrada para el analizador sintáctico (en inglés parser). (es) Analisis leksikal (bahasa Inggris: lexical analysis) adalah sebuah proses yang mendahului parsing sebuah rangkaian karakter. Ia menerima masukan serangkaian karakter (seperti dalam dokumen plain-text atau source code) dan menghasilkan deretan simbol yang masing-masing dinamakan token; proses parsing akan lebih mudah dilakukan bila inputnya sudah berupa token. (in) L'analisi lessicale è il processo di prendere in ingresso una sequenza di caratteri e produrre in uscita una sequenza di token. Il flusso di caratteri è genericamente il codice sorgente di un programma. L'analisi lessicale interviene genericamente nella parte di front end della compilazione. Ad esempio, dato in ingresso il seguente codice: Programma Pippo intero i = 1;end Pippo Il flusso di token prodotto sarà il seguente: Da notare che alcuni token potrebbero fare a meno del valore (lessema) (ad esempio il simbolo equal), poiché già indicati dalla tipologia. (it) Analiza leksykalna w informatyce jest to proces rozbijania programów źródłowych na jednostki logiczne (zwane leksemami) złożone z jednego lub więcej znaków, które łącznie mają jakieś znaczenie. Przykładami leksemów mogą być słowa kluczowe (np. while), identyfikator lub liczba składająca się z cyfr. Rozdzielaniem programu źródłowego, na leksemy, zajmuje się lekser. Zazwyczaj lekser działa w parze z parserem, z którym wspólnie analizują składnię języków programowania, na przykład w kompilatorach, ale również w parserach HTML występujących w przeglądarkach internetowych. (pl) |
| rdfs:label | Lexical analysis (en) تحليل المفردات (ar) Anàlisi lèxica (ca) Lexikální analýza (cs) Lexikalische Analyse (de) Λεκτική ανάλυση (el) Analizador léxico (es) Analisis leksikal (in) Analyse lexicale (fr) Analisi lessicale (it) 字句解析 (ja) 낱말 분석 (ko) Lexicale analyse (nl) Analiza leksykalna (pl) Análise léxica (pt) Лексический анализ (ru) Lexikalanalys (sv) Лексичний аналіз (uk) 词法分析 (zh) |
| rdfs:seeAlso | dbr:Parser_generator |
| owl:differentFrom | dbr:Tokenization_(data_security) |
| owl:sameAs | freebase:Lexical analysis yago-res:Lexical analysis wikidata:Lexical analysis dbpedia-ar:Lexical analysis dbpedia-az:Lexical analysis dbpedia-ca:Lexical analysis dbpedia-cs:Lexical analysis dbpedia-da:Lexical analysis dbpedia-de:Lexical analysis dbpedia-el:Lexical analysis dbpedia-es:Lexical analysis dbpedia-fa:Lexical analysis dbpedia-fr:Lexical analysis dbpedia-he:Lexical analysis dbpedia-hr:Lexical analysis http://hy.dbpedia.org/resource/Լեքսիկական_վերլուծություն dbpedia-id:Lexical analysis dbpedia-it:Lexical analysis dbpedia-ja:Lexical analysis dbpedia-ko:Lexical analysis dbpedia-mk:Lexical analysis dbpedia-ms:Lexical analysis dbpedia-nl:Lexical analysis dbpedia-no:Lexical analysis dbpedia-pl:Lexical analysis dbpedia-pt:Lexical analysis dbpedia-ru:Lexical analysis dbpedia-sr:Lexical analysis dbpedia-sv:Lexical analysis http://ta.dbpedia.org/resource/எழுத்து_பாகுபடுத்தி dbpedia-tr:Lexical analysis dbpedia-uk:Lexical analysis dbpedia-vi:Lexical analysis dbpedia-zh:Lexical analysis https://global.dbpedia.org/id/4z383 |
| prov:wasDerivedFrom | wikipedia-en:Lexical_analysis?oldid=1104772145&ns=0 |
| foaf:isPrimaryTopicOf | wikipedia-en:Lexical_analysis |
| is dbo:genre of | dbr:Flex_(lexical_analyser_generator) dbr:RE/flex dbr:Re2c |
| is dbo:wikiPageDisambiguates of | dbr:Lexical |
| is dbo:wikiPageRedirects of | dbr:Lexical_token dbr:List_of_lexer_generators dbr:Lexer dbr:Lexical_Analysis dbr:Tokenization_(lexical_analysis) dbr:Scanner_(computing) dbr:Automatic_semicolon_insertion dbr:Token_(parser) dbr:Token_scanner dbr:Tokenise dbr:Tokeniser dbr:Tokenize dbr:Tokenized dbr:Tokenizer dbr:Tokenizing dbr:Semicolon_insertion dbr:Token_splitting dbr:Lexeme_(computer_science) dbr:Lexer_(computer_science) dbr:Lexer_generator dbr:Lexers dbr:Lexical_analyser dbr:Lexical_analyzer dbr:Lexical_parser dbr:Lexical_syntax dbr:Lexing |
| is dbo:wikiPageWikiLink of | dbr:C_syntax dbr:Precompiled_header dbr:Roslyn_(compiler) dbr:Scannerless_parsing dbr:English-Arabic_Parallel_Corpus_of_United_Nations_Texts dbr:Enterprise_search dbr:List_of_algorithms dbr:List_of_formal_language_and_literal_string_topics dbr:Parsing dbr:Printf_format_string dbr:Bell_Labs dbr:Book_of_Dede_Korkut dbr:Deterministic_finite_automaton dbr:History_of_compiler_construction dbr:Perl dbr:Regular_expression dbr:RiTa dbr:Uniform_Resource_Identifier dbr:Uralic_languages dbr:VTD-XML dbr:Integer_literal dbr:Interpreter_(computing) dbr:Lexer_hack dbr:Lexical_grammar dbr:Lexical_token dbr:Lexicology dbr:Library_management dbr:List_of_programming_languages_by_type dbr:Preprocessor dbr:Compiler dbr:Analyser dbr:Analysis dbr:Gastarbeiterdeutsch dbr:Name_resolution_(programming_languages) dbr:One_Definition_Rule dbr:List_of_lexer_generators dbr:Coco/R dbr:Eqn_(software) dbr:GFA_BASIC dbr:GLib dbr:GNU_Bison dbr:GW-BASIC dbr:General_Architecture_for_Text_Engineering dbr:Glasgow_Haskell_Compiler dbr:MySQL dbr:Content_similarity_detection dbr:Criticism_of_C++ dbr:LR_parser dbr:TI-BASIC dbr:Apache_cTAKES dbr:Lemon_(parser_generator) dbr:Lex_(software) dbr:Lexer dbr:Lexical_Analysis dbr:Locomotive_BASIC dbr:Stack-oriented_programming dbr:Standard_Generalized_Markup_Language dbr:Comparison_of_programming_languages_(syntax) dbr:Compilers:_Principles,_Techniques,_and_Tools dbr:ZPE_Programming_Environment dbr:ZX80_character_set dbr:ZX81_character_set dbr:Identifier_(computer_languages) dbr:Microsoft_Phoenix dbr:Programming_language_theory dbr:SYNTAX dbr:String_literal dbr:Stropping_(syntax) dbr:Syntax_(programming_languages) dbr:Translation_unit_(programming) dbr:BASIC09 dbr:BASIC_interpreter dbr:C_Sharp_(programming_language) dbr:C_shell dbr:Tokenization_(lexical_analysis) dbr:Turkoman_(ethnonym) dbr:Domain-specific_language dbr:GRASS_(programming_language) dbr:Haskell_features dbr:Language-based_security dbr:43_Things dbr:ANTLR dbr:Dartmouth_BASIC dbr:Doxygen dbr:Earley_parser dbr:Eric_Schmidt dbr:Finite-state_transducer dbr:Flex_(lexical_analyser_generator) dbr:PDF dbr:Parboiled_(Java) dbr:Direct_voice_input dbr:Google_Ngram_Viewer dbr:Patrick_Hanks dbr:Recursive_transition_network dbr:Rule-based_system dbr:HP_Time-Shared_BASIC dbr:Haskell_Platform dbr:Here_document dbr:Asymmetry dbr:Attention_(machine_learning) dbr:Irony_(framework) dbr:JavaCC dbr:JavaScript_syntax dbr:TeXstudio dbr:JetPAG dbr:Kenneth_E._Iverson dbr:Binary_Application_Markup_Language dbr:Cohesion_(computer_science) dbr:TenTen_Corpus_Family dbr:Toi_(programming_language) dbr:Transformer_(machine_learning_model) dbr:XPL dbr:Automata-based_programming dbr:BASIC_Stamp dbr:Marathi_language dbr:BulNet dbr:Software_development_effort_estimation dbr:Software_forensics dbr:Scanner_(computing) dbr:IBM_BASIC dbr:Metaprogramming dbr:Natural_Language_Toolkit dbr:OCaml dbr:Operator_(computer_programming) dbr:Camel_case dbr:Automatic_semicolon_insertion dbr:RE/flex dbr:Ragel dbr:Re2c dbr:Seed7 dbr:Semantria dbr:Shallow_parsing dbr:XML dbr:Software_bug dbr:Search_engine_indexing dbr:Minimalist_program dbr:Pattern_matching dbr:RIPS dbr:SGLR dbr:Sarah_(chimpanzee) dbr:Scanner dbr:Scope_(computer_science) dbr:Semantic_analysis_(linguistics) dbr:Sigil_(computer_programming) dbr:Text_segmentation dbr:ULTRA_(machine_translation_system) dbr:Literal_(computer_programming) dbr:Lexical dbr:Programming_language dbr:Perl_virtual_machine dbr:The_Art_of_Computer_Programming dbr:Ruzzo–Tompa_algorithm dbr:Token_(parser) dbr:Token_scanner dbr:Tokenise dbr:Tokeniser dbr:Tokenize dbr:Tokenized dbr:Tokenizer dbr:Tokenizing dbr:Finite-state_machine dbr:Off-side_rule dbr:Symbol_table dbr:PackCC dbr:Shift-reduce_parser dbr:Raku_rules dbr:Text_mining dbr:PQCC dbr:Parameter_word dbr:Spider_trap dbr:S/SL_programming_language dbr:Semicolon_insertion dbr:Token_splitting dbr:Lexeme_(computer_science) dbr:Lexer_(computer_science) dbr:Lexer_generator dbr:Lexers dbr:Lexical_analyser dbr:Lexical_analyzer dbr:Lexical_parser dbr:Lexical_syntax dbr:Lexing |
| is dbp:genre of | dbr:RE/flex |
| is foaf:primaryTopic of | wikipedia-en:Lexical_analysis |