正規表現ばかりに頼ってはいけない - id:anatooのブログ
文字列のパースをする必要がある時、どんな文字列にでも何でもかんでも正規表現で処理しようとするエンジニアをたまに見かける。 正規表現は確かに文字列を扱うための強力な手段だが、万能ではない。正規表現の性質上、そもそもパースできない文法があるからだ。従ってそういうケースの時には正規表現ではなく別の方法を使ったほうが良い。正規表現を無理やり使っても、バグを埋め込んだり、メンテナンスが難しかったり、正しく文字列をパース出来なかったりで良いことはあまりない。 正規表現がパースできない文字列 正規表現が苦手とする文法で一番よく言われるのは、再帰的な構文を含む文法である。例えば、括弧つきの数式なんかがそうで、1+1 でも (1+1) でも ( (1+1) ) でも ( ( (1+1) ) ) でも ( ( ( ( 1+1) ) ) ) でも、という風にいくらでも入れ子にできる。正規表現では、こういった文字
メールアドレスの正規表現 - tmtms のメモ
たまにメールアドレスの形式を正規表現で表すのは不可能とかというのを目にするのですが、そんなことはありません。入れ子がなければたいていの文字列の形式は正規表現で表すことができます。 ということで、RFC5321, 5322 からメールアドレスの正規表現を書いてみました。 /\A([0-9a-z!\#$%&'*+\-\/=?^_`{|}~]+(\.[0-9a-z!\#$%&'*+\-\/=?^_`{|}~]+)*|\"([\x20\x21\x23-\x5b\x5d-\x7e]|\\[\x20-\x7e])*\")@[0-9a-z]([0-9a-z-]*[0-9a-z])?(\.[0-9a-z]([0-9a-z-]*[0-9a-z])?)*\z/i ちょっと長いですけど、最近の Ruby だと (?<hoge>) と \g<hoge> を使うことで、同じ正規表現の繰り返しを簡単に書くことができる
perlの正規表現の高速化なら、Regexp::ListよりRegexp::Assemble? - end0tknr's kipple - web写経開発
http://search.cpan.org/perldoc?Regexp::List 「大規模サービス技術入門」の中にRegexp::Listというperl moduleが紹介されていました。perlの正規表現におけるマッチングはNFAですが、Regexp::Listを使用すると、Trie木の正規表現が生成され、その動作速度が高速になるようです。 で、Regexp::Listの評判を調べようとしたら、Regexp::Listの作者であるdankogaiさんが、Regexp::Assembleを更に紹介しているではありませんか。 http://blog.livedoor.jp/dankogai/archives/50812865.html http://search.cpan.org/perldoc?Regexp::Assemble 先程のurlでは、このRegexp::Assembleを
404 Blog Not Found:perl - Regexp::Assembleのススメ
2007年04月19日15:00 カテゴリLightweight Languages perl - Regexp::Assembleのススメ というわけで、Regexp::Assembleのご紹介。 PERL HACKS(日本語版) [英語版] odz buffer - それ Regexp::Assembleん？ループ云々を抜きにして、こういうのは Regexp::Assemble の出番じゃないの？ すでにPerl Hackers御用達のモジュールとなっていますが、まだ知らない方もいらっしゃるかも知れないので。 何をするモジュールか、といえば、以下を見れば一目瞭然でしょう。 Regexp::Assemble - Assemble multiple Regular Expressions into a single RE - search.cpan.org use Regexp::Asse
Regexp::List
NAME Regexp::List - Assemble multiple Regular Expressions into a single RE VERSION $Id: List.pm,v 0.20 2013/02/23 13:43:59 dankogai Exp $ DEPRECATED use Regexp::Assemble instead. SYNOPSIS use Regexp::List; my $rl = Regexp::List->new(); my @list = ( 'ab+c', 'ab+-', 'a\w\d+', 'a\d+' ); print $rl->list2re(@list); # Regexp::Asssemble->new->add(@list); DESCRIPTION This module exists just for the sake o
関数型的正規表現マッチ - Preferred Networks Research & Development
最近ローソンでお菓子をたくさん買った田中です。 近頃読んで面白かった論文を紹介したいと思います。 A Play on Regular Expression 今年のICFPでFunctional Pearlとして発表されたものです。ICFP（International Conference on Functional Programming）というのは、関数プログラミングに関する国際学会で、Functional Pearlというのは、エレガントでためになる、関数プログラミングのテクニック集です。 この論文ではまず、正規表現マッチャを関数型言語(Haskell)でいかにエレガントに記述できるかが示されます。それから、エレガントさを保ったままの線形時間実装へ改良し、その実装がC++によるプロフェッショナルな実装(具体的にはGoogle re2)に匹敵するパフォーマンスを示すことが示されます。さら
N-gramモデルを利用したテキスト分析 ―インデックスページ―
↑ページ先頭 N-gramモデルを利用した事例 あるテキストから、任意のN-gram単位で共起頻度を集計し（N-gram統計を取る）、その結果を利用してテキストや言語の性格を見いだす研究によく利用される。 N-gramモデルで、ある文字列の直後に、特定の別な文字列は出現する確率を求める。 「an」の後には、必ず母音（aiueo）で始まる単語が結びつく確率が100% 「q」の後には、「u」が結びつく可能性が高い。 『論語』では「子」の後に「曰」が結びつく可能性が高い。 「百人一首」を平仮名に開いた場合の延べ数は、上位十五位までで全体の五割の使用量を占める（全部で六十八種の異なる平仮名（濁点含む）が使われている） 音声認識やOCR（原稿読みとりソフト）での利用 読みにくい文字でも、共起頻度の発生確率を考慮すれば、正しく原稿を可読出来る ↑ページ先頭 人文学的へのN-gramモデル導入 近藤みゆ
PHPで仮想マシンベースの正規表現エンジンを作ってみる 第一回
こんにちは、久保田です。 皆さん正規表現は使っていますか? PHPに限らずどんな言語を使っていても、正規表現にお世話になっていないプログラマはいないと思います。しかし、その正規表現がどのように実装されているかについては知らない方が多いのではないのでしょうか。 この記事では、その正規表現エンジンの実装方法の一つである仮想マシンによる正規表現エンジンの実装方法を解説しつつ実際に簡単な正規表現エンジンを作っていきたいと思います。 正規表現エンジンの実装方法 正規表現エンジンの実装方法はいくつかあるのですが、それの一つに仮想マシンによって正規表現のマッチング処理を実行するやり方があります。PHPで利用している正規表現エンジンであるPCREはこの方式を採用しています。 仮想マシンによる実装方法は、正規表現というよりもプログラミング言語の実装方法の一つとして知られています。Rubyの最もメジャーな実装
JavaScriptで正規表現練習ゲーム作った - aike’s blog
特に何か目的があるわけじゃないんですが、JavaScriptの練習のためにゲームを作ってみました。 Regex Of The Dead タイピングゲームのように正規表現を練習するためのシンプルなゲームです。ゾンビと一般人が迫ってくるのでゾンビの名前にだけマッチするように正規表現を入力して倒していきます。 HTML5の流れでオーディオ、グラフィック、フォントがHTML/JavaScriptで簡単に扱えるようになり、さらにenchant.jsのようなゲームエンジンも充実してきて、ゲームもJavaScriptだけで気軽に作れるようになってきたようです。 そんなわけで試しに書いてみたのがRegex Of The Deadです。プログラミングは長いことやっているもののゲームを作ったのは大学のとき以来かもしれません。 最初、何か良さそうなゲームエンジンがないものかいくつか調査しましたが、こういったタイ
空白文字が2種類あるから混乱するのだよ(全角空白じゃないよ)
空白文字が2種類あることを知らなかったんですよね(^_^;) まず、空白文字についての話の前に、知っておくべきことから。 Javascriptで"a"という文字を表現する方法。 alert("a");//a alert("\x61");//a alert("\u0061");//a これを比較してみる。 alert("\x61" == "a");//true alert("\x61" == "\u0061");//true alert("\u0061" == "a");//true 正規表現ではどうだろう? var ret ret = /\u0061/.test("\x61");//true ret = /\u0061/.test("a");//true ret = /a/.test("\x61");//true ret = /a/.test("\u0061");//true ret =
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
正規表現エンジンを作ろう一覧
正規表現入門 星の高さを求めて
Regex Crossword
https://jakesdenver.com/
RegExp playground
Regexplained
Regexper
正規表現 徹底解説
正規表現の先読み・後読みを極める！ - あらびき日記
http://www.triton.biz/sb1/?p=681