字句解析 - Wikipedia計算機科学における字句解析（じくかいせき、英語: lexical analysis）とは、ある言語で書かれた文について、その文字の並びを解析し、言語的に意味のある最小の単位（トークン）に分解する処理のこと[1]。 文を解析してトークンに分解する作業を自動的に行うプログラムを字句解析器（英語: lexical analyser）という。 字句解析は、コンピュータを用いた自然言語処理でも、プログラミング言語のコンパイルでも行われる[1]。 自然言語の文であれ、プログラムのソースコードであれ、文というのは結局、文字や記号や約物類が多数並んだもの（文字列）であるが、字句解析はそれを、言語的に意味のある最小単位トークン（英語: tokens）に分解する処理である。
