Let's build a SQL parser in Go!
TL;DR This article aims to be the simplest introduction to constructing an LL(1) parser in Go, in this case for parsing SQL queries. It assumes minimal programming competence (functions, structs, ifs and for-loops). Here’s the complete parser repository if you want to skip to results: github.com/marianogappa/sqlparser Simplification disclaimer To make things simple we’re gonna descope sub-selects,
Haskellのパーサライブラリまとめ - Qiita
パーサライブラリの現状 Haskellではパーサライブラリは様々なところで使用されています．例えば，Haskellでのデファクト的なJSONパーサライブラリaesonは，JSONデータのパースにattoparsecというライブラリを使用しています．GHCはHaskellプログラムのパースにalex/happyというレクサーとパーサを利用しています．HTTPライブラリでは，parsecを軽量パーサとして使っています．このライブラリでは，WWW-AuthenticateヘッダやSet-Cookieヘッダの内容をparsecでパースしています． このようにパーサライブラリは非常に需要が高く(文字列をパースするというのは，日常的に出くわす状況ですからね)，Haskellでは様々なパーサライブラリが存在します．この記事ではそれらのパーサライブラリの簡単なまとめ と比較 を行います． さて多くの数があ
日記/2009/11/24/構文解析(LL,LR,LALR,yacc関連)メモ - Glamenv-Septzen.net
ざっとまとめただけです。 大元：文脈自由文法 元々は言語学だが、プログラミング言語の文法や構文を扱うのに優れている。 で、入力されたテキストの文法的な関係を説明するのが構文解析。 構文解析は通常、字句解析結果をその言語の文法に沿った木構造に変換する。 日本語で言えば助詞、プログラミング言語では"("や"{"などの括弧など、グループ化の為の葉まで含めたのが構文木。 英語版だと"Concrete syntax tree"：http://en.wikipedia.org/wiki/Concrete_syntax_tree 構文木から、"("や"{"などプログラム的に意味のない部分を取り除いたのが抽象構文木。 英語版だと"Abstract syntax tree"：http://en.wikipedia.org/wiki/Abstract_syntax_tree 構文解析を行うのが構文解析器。 そ
goyacc を使って簡単な jq like query parser を作る
この記事は Go その 3 Advent Calendar 2015 の 22 日目の記事です。 go tool の中には yacc というコマンドがあります。これはパーサジェネレータである yacc の Go 言語版です。この記事ではこれをつかって簡単な jq のクエリパーサっぽいものを作ってみようと思います。 （この記事のコードは https://github.com/zoncoen-sample/goyacc-jq-query-parser にあります。あとこの記事で話してるものを使って雑に作った jq like TOML processor が https://github.com/zoncoen/tq に上がってます。） ご存知の方も多いかと思いますが一応簡単に紹介しておくと、 jq は標準入力から受けとった JSON 文字列から値を取り出したり加工したりする事ができるコマンドラ
Java の CSV/TSV/固定長ファイル Parser ライブラリ uniVocity-parsers の使い方 - Qiita
（2019/12/20修正）公式サイトの Documentation ページのURLを修正しました。 （2017/02/19修正）CsvParserSettings#setRowProcessor が非推奨になっていたので CsvParserSettings#setProcessor へ変更しました。settings.setRowProcessor(rowProcessor); → settings.setProcessor(rowProcessor); へ変更しています。 Java で CSV ファイルを処理するために最初 OpenCSV の使い方を Web で調べていたのですが、stackoverflow を見ていたら uniVocity-parsers というライブラリが OpenCSV より速いと書かれている記事を見かけたので使い方等を調べてみました。 概要、使ってみた感想 CSV
構文解析にまつわる小話たち | κeenのHappy Hacκing Blog
# 構文解析にまつわる小話たち ---------------------- [#peg_study](https://twitter.com/search?q=%23peg_study&src=typd&vertical=default&f=tweets) === # About Me ---------  + κeen + [@blackenedgold](https://twitter.com/blackenedgold) + Github: [KeenS](https://github.com/KeenS) + サイバエージェントの新卒エンジニア + Lisp, ML, Shell Scriptあたりを書きます === # ウォームアップ === # 構文解析はバッドノウハウ -----------------------
Java の AST を解析できる javaparser がアツい!!! - tokuhirom's blog
https://github.com/javaparser/javaparser javaparser は Java をパースして AST にしてくれるライブラリである｡ この手のライブラリは数多あるのだが､ほとんどのものが Java 1.5 ぐらいでメンテナンスが止まっている｡ 実際このライブラリもメンテナンスが止まっていたのだが､Java 1.8 対応版とし開発が再開されたものだ｡ このライブラリはパーサーライブラリであるから､文字列をパースして AST を構築してくれるというものになっている｡ 実際どのような AST が構築されるのかが気になるところなので､構築された AST をダンプできるツールを groovy で書いた｡ #!/usr/bin/env groovy @Grab('com.github.javaparser:javaparser-core:2.1.0') impor
tkbjsでJavaScript ASTについて発表してきました
オフラインJavaScript勉強会 – Online Study TokyoBouldering.js | DoorkeeperでJavaScript ASTについて発表してきました。 JavaScript AST Walker JavaScript ASTがどんなものかや、どのようなツールで使われてるか、ASTを編集するのにどういうライブラリがあるかなどについて書いてあります。 (中でかなり重たいものを読み込んでるのでロードが終わるまで適応に待ったほうがいいです) JS ASTを触る練習のためにQUnitのテストをJasmineに変換するreQUnitというものを書いていたましたが、 ASTをセレクタで選択したり、変更したりするのがもっと楽にできたりするともっとカジュアルにASTを触れるようになる気がします。 後、自己紹介もかねてここ最近のJSer.infoについても話しました。
go-hoedown: Go-bindings for Hoedown Markdown parser - Kentaro Kuribayashi's blog
Hoedown is a "standards compliant, fast, secure markdown processing library in C". Since there has not been Go-bindings for it yet, I wrote some codes for my own practice to use cgo. https://github.com/kentaro/go-hoedown I referred to the code of Goskirt much, which is for Sundown Markdown parser from which Hoedown was forked. Usage package main import ( "github.com/kentaro/go-hoedown" "os" ) func
これからのPerlプロダクトのかたち(YAPC::Asia 2013)
This document summarizes a presentation about a new way of developing Perl applications and the future of gperl, a fast Perl-like language. It discusses compiler modules for lexical analysis, parsing, and code generation that were originally developed for gperl and can now be used to build various tools and applications. These include a transpiler to run Perl 5 code in web browsers, a framework ca
PHPで仮想マシンベースの正規表現エンジンを作ってみる 第一回
こんにちは、久保田です。 皆さん正規表現は使っていますか? PHPに限らずどんな言語を使っていても、正規表現にお世話になっていないプログラマはいないと思います。しかし、その正規表現がどのように実装されているかについては知らない方が多いのではないのでしょうか。 この記事では、その正規表現エンジンの実装方法の一つである仮想マシンによる正規表現エンジンの実装方法を解説しつつ実際に簡単な正規表現エンジンを作っていきたいと思います。 正規表現エンジンの実装方法 正規表現エンジンの実装方法はいくつかあるのですが、それの一つに仮想マシンによって正規表現のマッチング処理を実行するやり方があります。PHPで利用している正規表現エンジンであるPCREはこの方式を採用しています。 仮想マシンによる実装方法は、正規表現というよりもプログラミング言語の実装方法の一つとして知られています。Rubyの最もメジャーな実装
書籍情報の取得に使えそうなISBNライブラリ·isbnjs MOONGIFT
isbnjsはISBN10/13に対応したJavaScriptライブラリです。 Amazonや紀伊国屋、ヨドバシカメラなど多数のECショップで取り扱われている書籍。その共通コードになるのがISBNです。そんなISBNをJavaScriptで扱うのに適したライブラリがisbnjsです。 デモです。ISBNであるかどうか、10桁と13桁の判定や相互変換ができます。 洋書のISBNを入れるとEnglishと出ており、言語の判定もされています。 こちらも別なデモ。ハイフンも補完されます。 ISBNには10桁と13桁がありますが、その相互変換まで行えるのがユニークです。JavaScriptを使って書籍を検索したり、情報を引き出す際に使えそうです。 isbnjsはJavaScript製のオープンソース・ソフトウェア（MIT License）です。 MOONGIFTはこう見る Amazonでは取り扱い商
LTSV の Stream Parser を Stream2 で書いてみた - Block Rockin’ Codes
Update 2013/02/12 JSON => JSON Object に(JSON string でないものは)修正 LTSV LTSV が流行っていたんですが、完全に乗り遅れて Node も Go も実装は出てしまいました。 Node の方は sasaplus1 さんのものが こちら にあるんですが、パーサ関数のみで Stream ではなかったので、 Stream 実装を書いてみました。 ltsv-stream Jxck/ltsv-stream · GitHub npm でインストールできます。 npm install ltsv-stream Stream2 Node での Stream の重要性は、このブログでも何度か書いてきたと思いますが、この Stream は Stream2 という新しい実装に変わりつつある (Stability: 2 - Unstable, v0.9 以降
Big Sky :: 最速と言われる JSON パーサ「rapidjson」が本当に爆速なのか試してみた。
なんびとたりとも俺の前は走らせねぇ ガチバトルです。 rapidjson - A fast JSON parser/generator for C++ with both SAX/DOM style API - Google Project Hosting Rapidjson is an attempt to create the fastest JSON parser and generator. Small but complete. Support... https://code.google.com/p/rapidjson/ fastest をうたうとは度胸があるなーと思いながら、半信半疑で試してみました。 rapidjson も picojson 同様に、ヘッダファイルだけあればコンパイル出来る C++ 向け JSON パーサ(およびシリアライザ)です。 まずは rapidjso
fixclosureをRhinoに移植
先週のありえるえりあミニ勉強会#4 ～ Google Closure Libraryにて@teppeisさんに発表していただいたfixclosureをRhinoのパーサーで書き直してみました。 https://github.com/tuchida/fixclosure-rhino Eclipseプラグインを作ったりClosure Compilerに組み込んだりしやすくなったのではないでしょうか。まあRhinoパーサー使いたかっただけなので用途を考えてないのですが。 以下脱線してRhinoの話をします。（rhino1_7R4時点） まずRhinoは 実装がJavaで作られている Rhinoで実行するJavaScriptからJavaを呼べる ということはつまりRhinoで実行するJavaScriptからJavaScriptエンジンを十全に使えるということを意味します。ただの「JVM上で動くJa
PythonでCaboChaを美味しくいただく
#!/usr/bin/python # -*- coding: utf-8 -*- import CaboCha # c = CaboCha.Parser(""); c = CaboCha.Parser() sentence = "太郎はこの本を二郎を見た女性に渡した。" print c.parseToString(sentence) tree = c.parse(sentence) print tree.toString(CaboCha.FORMAT_TREE) print tree.toString(CaboCha.FORMAT_LATTICE) <PERSON>太郎</PERSON>は-----------D この-D | 本を---D | 二郎を-D | 見た-D | 女性に-D 渡した。 EOS <PERSON>太郎</PERSON>は-----------D この-D | 本を
Optimist – A Node.js Module You Should Know About
Hey everyone! This is the second post in my new node.js modules you should know about article series. The first post was about dnode - the freestyle rpc library for node. This time I'll introduce you to node-optimist - the lightweight options parser library. This library is also written by James Halliday (SubStack), my co-founder of Browserling and Testling. Wonder how lightweight an options parse
ついカッとなってWikipediaからカッコ表現をマイニングしてみた - nokunoの日記
http://code.google.com/p/nokuno/downloads/detail?name=pron.tar.bz2Wikipedia本文データから「漢字（ひらがな）」という形式のかっこ表現をマイニングしてみました．難読語の読みを推定したいときに使えると思います．$ head pron.txt87 竹麦魚 ほうぼう53 渾名 あだな47 松平 まつだいら43 本多 ほんだ33 塔頭 たっちゅう33 九十九王子 くじゅうくおうじ27 磐座 いわくら26 八幡神社 はちまんじんじゃ24 北高 きたこう21 西高 にしこう$ wc pron.txt 169333 577603 6237666 pron.txt #!/usr/bin/env python #encoding: utf-8 from sys import stdin, exit from optparse impo
JavaScript の字句の解析エンジンを作りました - IT戦記
これを使ってこんなことが出来ます。 サンプル http://sample.ecmascript.jp/tokenizer/ ソース http://sample.ecmascript.jp/tokenizer/character.js http://sample.ecmascript.jp/tokenizer/tokenizer.js サンプルの使いかた 例えば textarea に var hoge = 3e3;と書くと No Type Operation Atom Dval 1VARDEFVAR2NAMENAMEhoge3ASSIGNNOP4NUMBER30005SEMIと表示される ソースの使いかた character.jsを読み込む tokenizer.jsを読み込む new TokenStream(source) instance.getToken(); var tokenStre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mithrandie/csvq: SQL-like query language for csv