Javaのソースコードをトークン化する - Qiita同時に、トークンの種類（識別子名か文字列リテラルかなど）も特定できます。 ライブラリを導入する トークン化にはEclipse JDTを使います。Eclipse JDTはEclipseで使われているJavaのコンパイラーです。 Mavenではこのサイト。 Gradleで導入するにはdependenciesに以下の文を追加してください。 import org.eclipse.jdt.core.ToolFactory; import org.eclipse.jdt.core.compiler.IScanner; import org.eclipse.jdt.core.compiler.ITerminalSymbols; import org.eclipse.jdt.core.compiler.InvalidInputException; import java.io.IOException; i
