Lex - Wikipedia字句解析はテキスト中の文字列の変換、カウント、抽出などさまざまな目的に使われ、その応用領域は、コンパイラやコンバータの作成を筆頭に、自然言語処理や簡単な整形まで幅広い。 このうち、コンパイラにおけるレキシカルアナライザの位置づけを、以下に説明する。 プログラムを中間言語あるいは機械語に変換するコンパイラは、一般的にソースを入力し構文木を出力する構文解析部(1)と、その構文木を入力し中間言語コードまたは機械語を出力するコード生成部(2)からなる。 コンパイラ ├構文解析部(1) │ ├字句解析器(1.1) ←〔ソース〕 │ │呼出し↑↓ │ │ ↑〔トークン列〕 │ │ ↑↓ │ └構文解析器(1.2) │ ↓ │ 〔構文木〕 │ ↓ └コード生成部(2) →〔中間言語コードまたは機械語〕 このうち(1)の前半は、ソースを入力しトークン（語彙素）列を出力する字句
