タグ

lexerに関するYudoufuのブックマーク (5)

  • Make a Lexer with Go - Tyler Sommer dot com

    Language parsing has always been very interesting to me. There are lots of different ways to parse languages. Today we will implement a simple lexer. Now, strictly speaking, a lexer is a program that analyzes a string or sentence creating a list of tokens that represents the contents of the string. Many times, a lexer will generate tokens and a parser will then parse those tokens, creating a norma

  • 正規表現に見切りをつけるとき

    Perl, Rubyなど手軽に使えるプログラミング言語に慣れてくると、あらゆるテキストデータの処理に正規表現(regular expression)を使ってしまいがちです。 けれど実は、正規表現の処理能力を超えるフォーマットというのが存在します。その典型的な例が、XMLやJSONのように、入れ子になったデータフォーマットです。

  • ANTLRを使ってみる

    始める前に とりあえず、まずはANTLRとはどんなものか使ってみましょう。 ANTLR のページからダウンロードします。 今回は、現在(2006/07/18)の安定最新版である 2.7.6 を使うことにしました。 ANTLRのようなツールを使うときに、最低限知っておく必要のある事があります。 それは正規表現です。 これを知っていないと、正直ANTLRを使うのは厳しいです。 基的なところだけ知っていれば充分ですので、 まずは正規表現を学んでおきましょう。 簡単な例 ANTLRでは、一つのパーサを作成するのに Parser / Lexer を対で使います。 今回はAntlrのサイトに習って(パクって?)、数値演算式を解析するパーサを作成します。 まず、以下の内容をファイルに保存します。 expr.g class ExprParser extends Parser; expr: mexpr (

  • Google Code Archive - Long-term storage for Google Code Project Hosting.

  • K.Maebashi's home page

    メンバーズホームページは、 2004年8月22日をもって完全に閉鎖しました。 2008年7月11日現在、転送設定もなくなっているようです。 Contents 「C言語 ポインタ完全制覇」のページ (正誤表) 「Webサーバを作りながら学ぶ 基礎からのWebアプリケーション開発入門」のページ (正誤表) 「プログラミング言語を作る」のページ 正誤表 「C言語 ポインタ完全制覇」(旧版)のページ (正誤表) 「C言語 体当たり学習徹底入門」のページ (正誤表) 「Java謎+落とし穴徹底解明」のページ (正誤表) 「センス・オブ・プログラミング!」のページ (正誤表) CプログラマーのためのJava Q&Aのページ。 Java Worldに以前連載されていた記事に関するページです。 Software Design 2010年8月号の記事のダウンロードページ プログラマなページ 配列とポインタの

  • 1