字句解析（lexer）1. はじめに 「0. 概略」にて述べたように、プログラムを人間が記述するためには、人間が容易に判読できるような単語と文法で規定された言語を用意すべきである。各命令は誰でも意味が判別できるように、数学で通常用いられるような演算子や、英単語に近い形の命令語（予約語）を用意する。命令に引き渡すパラメータは、整数型、浮動小数点型などの型に応じたリテラルの組で表現する。プログラムは、plain text形式のファイルで格納される。 上記のような前提で、コンパイラを構成する処理要素のうち、まず最初の段階は、プログラムを構成するテキストから、定義された命令語（予約語）やリテラルを取り出す（切り出す）作業が必要である。この処理を「字句解析（lexer）」と呼ぶ。コンパイラ内部で字句解析を行うような機能モジュールを「字句解析器」と呼ぶ。 字句規則の決定のため、まず「トークン（Token）」と呼ばれる、ラベ
