Ruby Parser開発日誌 (18) - Rearchitect Ripper - かねこにっき
Rubyのparserを語る上で忘れてはいけない存在としてRipperというライブラリがあります。 RipperはRubyのコードを構文解析するためのライブラリとしてirbやrdocなどで長く使われてきました。 一方でBug #10436のように長い間未解決のバグがあったり、Bug #18988のようにパーサーと挙動が異なる箇所があったりと完璧でない部分があります。 今回Ripperのアーキテクチャを見直すことでRipperの抱えている問題を解決することができたので、この記事で紹介したいと思います。 関連するPRとticketはそれぞれ以下のとおりです。 github.com bugs.ruby-lang.org Ripperとは RipperはRubyのパーサーライブラリです。入力されたコードに対応するS式を返すRipper.sexpを使ったことがある人もいるのではないでしょうか。 Ri
pingcap/parser (MySQL互換) で SQL を手軽に解析 - freee Developers Hub
この記事は freee Developers Advent Calendar 2021 の23日目の記事です🎄 freee の DBRE チームに所属している caterpillar です. なんだか大きなデータベースを眺める仕事をしています. 突然ですが, pingcap/parser を使って SQL を簡単に解析していきたいと思います. Go 製 の SQL Parser で, MySQL への高い互換性を謳う TiDB で利用されています. この parser の嬉しい点はこんな感じです. シンプルで使いやすい TiDB に利用されていることから, ある程度結果を信頼できる mask 済 SQL もおおよそ構文解析可能 3つ目について, mask済の SQL は select * from users where id = ? のように一部が別の文字に置き換わっているものを指しま
Building a high performance JSON parser
JSON is important, damn near everything that we do as programmers or operators involves JSON at some point. JSON decoding is expensive, if your product talks JSON then performance of marshalling data in and out of JSON is important. This is a talk about designing an efficient replacement for encoding/json.Decoder.
Google の SQL parser/analyzer の ZetaSQL とは何であるか
2019年4月に Google の SQL parser/analyzer の ZetaSQL が公開されました。 現在 BigQuery Standard SQL や Cloud Spanner で実装されている SQL 方言であり、 Cloud Next 2019 で BigQuery UI から Cloud Dataflow で実行されるパイプラインを記述できる機能として発表された Cloud Dataflow SQL にも使われることがツイートからも見て取れます。 ZetaSQL については Google の外の人がまともに言及しているのを見たことがなく、聞いたことがないか様子見という人が多いと思うので分かっていることを書いていきます。 既存の文献から見る素性ZetaSQL は Spanner の SQL 実装について書かれた Spanner: Becoming a SQL Sys
Elixirのパーサーコンビネータライブラリ Combine入門 - Qiita
（この記事は、「fukuoka.ex(その2) Elixir Advent Calendar 2017」の7日目、個人開発 Advent Calendar 2017の16日目です） 昨日は@zacky1972さんの「ZEAM開発ログv0.1.5 Elixir から Rustler でネイティブコードベンチマークを呼び出してみよう〜ElixirでAI/MLを高速化」でした！ はじめに この度、fukuoka.exキャストとして、「季節外れのfukuoka.ex(その2) Elixir Advent Calendar」に参加させていただくことになりました、@koga1020と申します。アドバイザーと一緒に、Elixirに関する情報をお届けしてまいります。引き続き、応援よろしくお願いいたします 本題 この記事ではElixirのパーサーコンビネータライブラリCombineの使い方を解説します。 パ
面倒くさいパーサの実装もDSLで書くだけ！そう、Scalaならね - Qiita
この記事では、Scalaのパーサコンビネータを用いて、BNF風の定義を書くだけで、オブジェクトのマッピングからパースエラーのハンドリングまでできてしまう高機能なパーサを作る方法を解説します！ パーサコンビネータとは? Scalaにはパーサコンビネータというライブラリがあります。BNFと似たの記法で構造を定義するだけで簡単にパーサを実装することができます。たとえば、□□□-□□□□のような形式の郵便番号をパースするコードは次のように書くことができます。 import scala.util.parsing.combinator._ object PostalCodeParser extends RegexParsers { def postalCode = """\d{3}""".r ~ "-" ~ """\d{4}""".r } println(PostalCodeParser.parseA
Lua+PEGでiniをparseする - Qiita
技術戦略室間野です。好きなうまるちゃんは家うまるです。どなたか次回までにアフィリエイトどこに貼れば良いか教えてください。 これイマイチSEOスコアが低いので他の話をする予定でしたが、今まさにparser書いたのと、概ね全言語にPEGモジュールがあったので考え直しました。100行のPEGは100行のRegExよりだいぶ読める。 PEGとは Perl6のsyntax parserです。 正規表現の代用 PEGで出来ることの99%は正規表現でも出来て、正規表現で出来ることの(略)PEGの実装は小さく、大抵Cのラッパなので速度もほぼ変わりませんが、どちらが上とかの話はしません。 ただしLuaおめえはダメだ Luaの正規表現は特殊で、{}や|が無いせいで、ロジックまで変わってしまい、PCREに移植不能になることがあります。PEGならどこにでも持って行けるので、LuaだけはPEGへの全置換を検討しても
パーサコンビネータを高速化した - Object.create(null)
例のアレです. 式年遷宮したときの話はこちら. github.com 最初は軽い気持ちで細々とした最適化をしていたんです. switch を if に変えるとかいう小手先のアレで 10 % も高速化してウケてる— ボノボ (@susisu2413) 2017年3月13日 インライン化も同時にしてたから 10 % は言い過ぎか、でも高速化はしてる— ボノボ (@susisu2413) 2017年3月13日 ちなみにどう最適化するかというと V8 のプロファイラを使って適当に遅そうなところに目星をつけて色々試します. そんなこんなで Parsimmon*1 より妙に遅い原因を探していたら, ap, left, right (Parsec*2 でいうところの <*>, <*, *>) の実装の効率が悪く, これが主な原因であることがわかりました. ｱｯｱｯ 30 % 高速化しました— ボノボ (
簡単な式の評価機を作ってみる #golang - Qiita
はじめに 皆さんはgoパッケージを使ったことはありますか？私は、Go！Go!言いながら、恥ずかしながら、あまりまともに使ったことがありませんでした。最近は、仕事でもAST（抽象構文木）を弄り倒すことがあるので、今回はgoパッケージに触れたいと思います。 ここでは、簡単な四則演算などを評価し、結果を返すREPLを作ってみます。一見難しそうですが、ほとんどgoパッケージの機能を使うので、非常に簡単です。 ASTへパースする まずは入力された文字列をパースし、ASTを生成してみます。ここでは、式の評価なので式単位でパースします。パースには、parser.ParseExprを用います。 たとえば、以下のように使用できます。 expr, err := parser.ParseExpr("1+1") if err != nil { panic(err) } ast.Inspect(expr, func
ASTを取得する方法を調べる #golang - Qiita
はじめに みなさん、メリークリスマス！ 22日の枠に欠員が出たので、go/parserパッケージを使ってAST（抽象構文木）を取得する方法についてまとめたいと思います。 goパッケージについては、簡単な式の評価機を作ってみるという記事も書いているので、そちらもぜひ読んで下さい。 なお、この記事を執筆時点のGoの最新バージョンは1.7.4です。 ノード go/parserパッケージでは、いくつかのParseと名前のついた関数でAST(抽象構文木)を取得することができます。ASTの各ノードを表す型は、go/astパッケージで提供されています。そしてそれらの型は、以下のast.Nodeインタフェースを実装するように定義されています。 type Node interface { Pos() token.Pos // position of first character belonging to
パーサを駆使して未使用コードをガンガン削除！ 削除駆動開発（DDD）徹底入門 #RubyKaigi #RubyKaigiB
Chris Arcand @chrisarcand Engineering Lead @HashiCorp, Terraform Cloud 👨💻 ex-@redhat, @sportsengine. Aspiring recluse. I used to play the clarinet A LOT. He/him. https://t.co/tHn1eZSEso Chris Arcand @chrisarcand Slides from my talk “Deletion Driven Development” are now up! Go out and delete some code today! ✂️🔥 chrisarcand.com/talks/deletion… #RubyKaigi 2016-09-10 14:37:05 リンク Speaker Deck Del
Google、高精度の英語パーサー「Parsey McParseface」をオープンソース化 | スラド オープンソース
Googleは12日、オープンソースの構文解析用フレームワーク「SyntaxNet」をリリースした。ソースコードはGitHubで入手可能だ(Google Research Blogの記事、 The Next Webの記事、 The Registerの記事、 The Vergeの記事)。 SyntaxNetは自然言語理解(NLU)システムの基盤を提供するTensorFlow上に実装されたもの。今回のリリースには新しいSyntaxNetモデルを作成して独自データで学習させるために必要なコードのほか、学習済みの英語パーサー「Parsey McParseface」も含まれる。 Parsey McParsefaceは同種のモデルの中で最も精度の高いものだといい、英文ニュース記事のセンテンスを構文解析させたところ、94%以上の正確さで単語間の依存関係を抽出できたという。Webページに記載された文章の構
プログラミング言語の作り方 - UUUMエンジニアブログ
おはこんばんちは。 尾藤 a.k.a. BTOです。 普段我々開発者は、プログラミング言語を使ってシステムを開発しています。 しかし、プログラミング言語も人によって開発されたコンピュータプログラムです。 先日社内勉強会で、普段使っているプログラミング言語が、どういう仕組みで成り立っているのかを発表しました。 それで実際に簡単な四則演算を計算する簡単な電卓を実装してみました。 ソースコードを公開していますので、最初のとっかかりの参考程度にはなるかと思います。 github.com 正規文法・文脈自由文法 ノーム・チョムスキーという有名な言語学者が形式言語の生成文法を定式化しました(チョムスキー階層)。 彼は生成規則の制限の強さによって、階層を分けました。 制限は緩ければ緩いほど、言語としての表現力は上がりますが、解析は難しくなります。 このチョムスキー階層の中で、我々が慣れ親しんでいるのが、
13.2. ConfigParser — Configuration file parser — Python 2.7.18 documentation
See also Module shlexSupport for creating Unix shell-like mini-languages which can be used as an alternate format for application configuration files. Module jsonThe json module implements a subset of JavaScript syntax which can also be used for this purpose. The configuration file consists of sections, led by a [section] header and followed by name: value entries, with continuations in the style
Domain Specific Query Parser (Hetero Grammatical Query Parser) 実装 - Qiita
概要 Supership株式会社インフラ事業開発本部・検索グループで11月から (2016年4月よりサービス事業本部 Syn.事業部 検索サービス部に改組) エンジニアとしてジョインした@ShingoOKAWAです。 弊社検索グループでは、KDDIグループのハウスエージェンシーとしてのauポータルサイトの検索サービスの開発や、その他自社で提供するサービス・プロダクトの種々の検索機能の開発業務に取り組んでいます。 『Elasticsearch Advent Calendar 2015』に投稿させて頂いたことからもお分かりかと思いますが、バックエンドの検索エンジンは Elasticsearch を採用しております。検索サービスの拡充及び改善のため、日々開発業務に取り組んでいるわけですが、本投稿では、その中でも弊社バックエンドのコア機能として開発中の『Domain Specific Query
言語実装のカレンダー | Advent Calendar 2015 - Qiita
コンパイラ、インタプリタ、外部/内部DSLなどの言語の実装の最適化、理論などのAdventCalendarです。 学術寄りな内容が多いのかなと思ってカテゴリを学術にしましたが特に縛りは設けません 例 * 構文解析 * CPS * SSA * 最適化 * CFG * DFG * コードエミッション * GC * JIT * コンパイラ言語におけるREPLの実装方法 * 名前空間の実装方法 * インライン化戦略 * DSLのエラーハンドリング * 複数バックエンドを持つ際の意味論の保持 * スタックマシン vs レジスタマシン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ericchiang/pup: Parsing HTML at the command line
GitHub - derekstavis/go-qs: A Go port of Rack's query string parser
moby/builder/dockerfile/parser at master · moby/moby · GitHub
GitHub - tomas-zemres/fluent-plugin-fields-parser: Fluent output filter plugin for parsing key/value fields in records