正規表現検索の効率化
GMO NIKKOのT.Iです。 今回は当社のTRUE データフィードで使用している正規表現検索の効率化についての記事となります。 前提（背景と目的） まずは宣伝（笑） 当社公式サイトでは上記となっていますが、簡単にいうと ・クライアントからデータを預かる ・預かったデータを広告媒体毎のフォーマットの変換する ・変換したデータを指定された場所に送信する ということをやっています。 その中のデータの変換時に禁止文言が入ったデータを行ごと除外するということをやっています。 大量のデータに禁止文言が入っているかをチェックする必要があるのですが、 初期想定では精々10万件に対して100～1000個の禁止文言をチェックする程度（1億回程度）で十分と判断していました。 ですが運用後に禁止文言が3万を超えてしまい、チェック処理が10万件×3万＝30億回のチェックを行う場合があり、処理時間がかなり長くなっ
基本的な正規表現一覧
mb_eregi_replace("[\\\]","/",$s); mb_eregi_replace("(\\\)","/",$s); preg_replace("/\\\/","/",$s); eregi_replace("[\]","/",$s); str_replace("\\","/",$s);
Mozilla、今後はV8の正規表現エンジンをFirefoxにそのまま取り込むと表明。そのための互換レイヤを開発
Mozilla、今後はV8の正規表現エンジンをFirefoxにそのまま取り込むと表明。そのための互換レイヤを開発 WebブラウザにはJavaScriptを実行するためのJavaScriptエンジンが搭載されています。それはChromeであれば「V8」、Firefoxであれば「SpiderMonkey」と呼ばれ、それぞれのWebブラウザベンダがECMAScriptの標準に準拠したうえで独自に実装しています。 そしてJavaScriptは以前から正規表現の機能を備えているため、正規表現を解釈し展開するための正規表現エンジンもそれぞれのWebブラウザベンダが実装を行っていました。 その正規表現エンジンについてMozillaは今後、V8の正規表現エンジンのコードをそのままFirefoxのSpiderMonkeyに取り込むようにすると表明しました。 Mozillaはこれを実現するため、V8用の正規表
JavaScriptのES2018で追加された正規表現の新機能の検証 - Qiita
はじめに 正規表現を使ったソースの修正をしているときにexec()やmatch()の実行結果に見慣れないプロパティgroupsを見つけました。 いつの間にかJavaScriptにも名前付きグループが実装されていたようです。 そこで軽く調べてみましたら、それ以外にもES2018において色々と追加されていたようです。 何番煎じか分かりませんが、この記事では、簡単にES2018の正規表現に関する新機能の動作を検証してみたいと思います。 厳密な定義等は、ほかの記事等を見てください。 Named Capture Groups 従来は、 (pattern) のようにpatternにマッチしたキャプチャにアクセスするには、$1などキャプチャが現れた順番に対応する数値でしかアクセスできませんでした。 ES2018以降では、 (?<name>pattern) と書くとキャプチャに名前$<name>でアクセス
正規表現の落とし穴（ReDoS - Regular Expressions DoS） - Qiita
過去にWordPressを題材にしていろいろな脆弱性のケーススタディを取り上げました。 Webアプリケーションの脆弱性ケーススタディ（WordPress編） Webアプリケーションの脆弱性ケーススタディ（WordPress編その２） 今回は、ReDoS（Regular Expressions DoS）について取り上げてみたいと思います。ReDoSとはOWASPによると以下のように記載されています。 The Regular expression Denial of Service (ReDoS) is a Denial of Service attack, that exploits the fact that most Regular Expression implementations may reach extreme situations that cause them to wor
【書評】プロを目指す人のためのRuby入門 - キモく生きよう
伊藤淳一さんというRuby/Rails界隈で有名な方が執筆された「プロを目指す人のためのRuby入門」を読みました。 その書評記事（・・・というよりは感想）です。 はじめに きっかけ 総評 良かった点 テストを学べる 正規表現がある 例題でリファクタリングをする わかりやすい/親切 悪かった点 例題が短い（かも） 7章と8章の例題後の内容は追加で例題があった方がいい（のでは） さいごに 余談 はじめに 僕のプログラミング経験は以下の通りです プログラミング歴：大学時代含めると5年（うち業務1年） Ruby/Rails歴：独学で1年、業務1年 コードを書くタイプの技術書で1冊きちんとやるのはこれが2冊目 きっかけ リーダブルコードしか技術書を買ったことがない僕がこの本を手にしたきっかけは、執筆者の伊藤さんの以下の記事です。 blog.jnito.com 記事の内容を簡単に説明すると「絶対に書
Perl 6の正規表現について - Qiita
以下の文章は正規表現技術入門に掲載予定で書いたものですが，結局ボツにして3年間ほど私のMacBookの奥底でひっそりと眠っていたものです． YAPC::Okinawa で @dankogai さんと話していてPerl 6の正規表現について本文章を書いたことを思い出したので，せっかくの機会ですのでQiitaにて公開します． (本文中の「[1-9]章」というのは正規表現技術入門の章立てを指しています) (\cite, \ref, table などのコマンドでまだ未処理な部分がありますが，随時アップデートしていきます) なお，以下の文章は2014年の年末から2015年の年始にかけて書かれたモノです．現在と成っては不正確な(あるいは古臭い)記述があるかもしれませんが，その点はご勘弁ください Larryの黙示録：Perl 6 の正規表現の仕様変更から学ぶ 2章で解説したように，Kleeneによって理
正規表現のパフォーマンスの話をされても全くピンと来なかった僕は、backtrackに出会いました。 - Qiita
/^.*-.*$/ #悪い（表現方法として"短い"けど） /^\d{3}-\d{4}$/ #良い（表現方法として"長い"） となります。 （もちろん、上のパタンは、デタラメなものも引っかかるので、正しくないけど、そういうのはいったん無視。 感覚的には下の方がよさそうだけど。どういうことですか？ ステップ数を見てみる！ https://regex101.com/#pcre この素晴らしいサイトを利用します。 123-4567とのマッチングを考えます。 まず、/^\d{3}-\d{4}$/ はこんな感じで、7ステップ 一方、/^.*-.*$/ は..12ステップ ということで、.* の方がステップ数が増えてパフォーマンスが悪くなっていそうです。 （実際パフォーマンスはこのステップ数に依存しそうなので、悪くなっていると思います。後で時間測ります。 バックトラック（BACKTRACK）と出会いまし
HTML Standard
Firefox1+Safari1+Chrome1+Opera8+Edge79+Edge (Legacy)12+Internet Explorer5.5+Firefox Android?Safari iOS?Chrome Android?WebView Android37+Samsung Internet?Opera Android10.1+ Categories:Flow content.Phrasing content.If the type attribute is not in the Hidden state: Interactive content.If the type attribute is not in the Hidden state: Listed, labelable, submittable, resettable, and autocapitalize-inhe
正規表現によるバリデーションでは ^ と $ ではなく \A と \z を使おう
正規表現によるバリデーション等で、完全一致を示す目的で ^ と $ を用いる方法が一般的ですが、正しくは \A と \z を用いる必要があります。Rubyの場合 ^ と $ を使って完全一致のバリデーションを行うと脆弱性が入りやすいワナとなります。PerlやPHPの場合は、Ruby程ではありませんが不具合が生じるので \A と \z を使うようにしましょう。 はじめに 大垣さんのブログエントリ「PHPer向け、Ruby/Railsの落とし穴」には、Rubyの落とし穴として、完全一致検索の指定として、正規表現の ^ と $ を指定する例が、Ruby on Rails Security Guideからの引用として紹介されています。以下の正規表現は、XSS対策として、httpスキームあるいはhttpsスキームのURLのみを許可する正規表現のつもりです。 /^https?:\/\/[^\n]+$/
[コラム] 正規表現の先読み/後読みは、どう考えても名前が悪いので、呼称禁止令を出してルックと気軽に呼んでみませんか。 - Qiita
[コラム] 正規表現の先読み/後読みは、どう考えても名前が悪いので、呼称禁止令を出してルックと気軽に呼んでみませんか。regex 正規表現の "先読み" / "後読み" を、分かりにくいと感じるすべての人にお送りします。 --- 追記：2017/06/04 コメントにて、ご指摘を頂いております。 当記事の解釈には誤りがあります。コメントのご指摘内容をご覧いただければ幸いです。 当記事の主旨としては、"先読み・後読み" よりも "ルックアヘッド" の方が、意味を捉えやすいのでは？というものでしたが.. そもそも私の、「lookahead」の解釈（とくに、look の主語はどれなのかという部分だと思います）に、勘違いがありました。 ですので、いまのところ当記事の主題は、「"先読み" でも、"ルックアヘッド” でも、どちらでもよいけど、しっかりと厳密に理解しよう！（反省）」となります。 コメント
![[コラム] 正規表現の先読み/後読みは、どう考えても名前が悪いので、呼称禁止令を出してルックと気軽に呼んでみませんか。 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/410c3d412478ee539641a77fe623cca950f16bac/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUUzJTgyJUIzJUUzJTgzJUE5JUUzJTgzJUEwJTVEJTIwJUU2JUFEJUEzJUU4JUE2JThGJUU4JUExJUE4JUU3JThGJUJFJUUzJTgxJUFFJUU1JTg1JTg4JUU4JUFBJUFEJUUzJTgxJUJGJTJGJUU1JUJFJThDJUU4JUFBJUFEJUUzJTgxJUJGJUUzJTgxJUFGJUUzJTgwJTgxJUUzJTgxJUE5JUUzJTgxJTg2JUU4JTgwJTgzJUUzJTgxJTg4JUUzJTgxJUE2JUUzJTgyJTgyJUU1JTkwJThEJUU1JTg5JThEJUUzJTgxJThDJUU2JTgyJUFBJUUzJTgxJTg0JUUzJTgxJUFFJUUzJTgxJUE3JUUzJTgwJTgxJUU1JTkxJUJDJUU3JUE3JUIwJUU3JUE2JTgxJUU2JUFEJUEyJUU0JUJCJUE0JUUzJTgyJTkyJUU1JTg3JUJBJUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgzJUFCJUUzJTgzJTgzJUUzJTgyJUFGJUUzJTgxJUE4JUU2JUIwJTk3JUU4JUJCJUJEJUUzJTgxJUFCJUU1JTkxJUJDJUUzJTgyJTkzJUUyJTgwJUE2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wZjgzMzEwZTk1Y2Y3MWVlMjRmMjVkZTU1YTc0N2QyZg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbW9jaGl6dWtpa290YXJvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MDJlZDc5NzE4MWM3ZDQ0YmIxOTMyMzFiMGU2MzVkOA%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D85b983ba91ea6ab5e6094c57c4ca6b3c)
正規表現を複数回実行する際の注意点 - Qiita
javascriptで正規表現を複数回実行する際の注意点 以下のコードは"hoge"という文字列が含まれているか正規表現で検索し、結果を表示するコードです。 var example = "hoge"; var regexp = /hoge/g; regexp.test(example); // true regexp.test(example); // false regexp.test(example); // true regexp.test(example); // false ... 一度目の実行ではtrueが返ってきますが、二度目の実行ではfalseが返ってきます。 以降は交互に結果が変わります。不思議ですね。 私はループ内で正規表現を実行する際に、この挙動につまづきました。 一体何が起きているのでしょうか？ var examples = ["hoge", "hoge", "ho
なるべく短い正規表現で住所を「都道府県/市区町村/それ以降」に分けるエクストリームスポーツ - Qiita
rex = /ごにょごにょ/ p "東京都文京区後楽１丁目３−６１".match(rex).captures #=> ["東京都", "文京区", "後楽１丁目３−６１"] みたいなやつ。なるべく短く。 実用性？ そんなもの、うちにはないよ。 TL;DR 「読むのめんどくさい」という人用に最初に最終結果を置いておきます (...??[都道府県])((?:旭川|伊達|石狩|盛岡|奥州|田村|南相馬|那須塩原|東村山|武蔵村山|羽村|十日町|上越|富山|野々市|大町|蒲郡|四日市|姫路|大和郡山|廿日市|下松|岩国|田川|大村)市|.+?郡(?:玉村|大町|.+?)[町村]|.+?市.+?区|.+?[市区町村])(.+) あまり厳密ではないのでちゃんとしたとこでは使わないほうがいいです 住所データを用意する 郵便局からデータをダウンロードしておく。一ヶ月毎に更新されている。 → 郵便番号データ
JavaScriptによる正規表現の可視化ツール「Regulex」 | ソフトアンテナ
正規表現は様々なプログラミング言語やツールで利用できる、文字列の検索や置換に不可欠の存在といっても過言ではないかもしれません。 「Regulex」はその正規表現を可視化して分かりやすくグラフとして表示してくれるサービスです。 文字列で正規表現を入力すると対応したグラフが表示されるので、複雑な正規表現も直感的に理解できます(?)。 例1 例えば「(a|b\d+)*c」をビジュアライズすると以下のようなグラフが作られます。 グループがあってその中でaまたはbと数字の繰り返しがきて、最後にcがくる…というような正規表現が、グラフ化されました。 例2 もう少し簡単な例「abc\d+」を考えると次のようになります。 abcがきて、最後に数字の繰り返しが1回以上くる…。ということが直感的に理解できます。 まとめ 作成した正規表現グラフはイメージとして出力したり、サイトに埋め込んだりもできます(Java
正規表現を解析して可視化してくれるサイトが凄すぎる件
ある正規表現に対して、特定の文字列がマッチするかどうかをチェックするツールやサイトは沢山ありますが、正規表現そのものが何を意味しているのか、どんな文字列を期待しているのかを解析・解読・説明してくれるツールやサイトってなかなか見ない気がします。 他人の書いた正規表現を見て、「ん？」ってなったことはありませんか？ 例えばこれ。 1 ^[a-zA-Z0-9-_.]@([a-zA-Z0-9_-]+\.)+[a-zA-Z]{2,4}$ これくらいなら分かりますが、複雑になってくるとつらい… いつかはマスターしたいけど…今は楽したい。 そう思ってググってみると…ありました！ それがこちら。 Regexper http://www.regexper.com/ 正規表現を入力して Display をクリックすると、その正規表現が表す内容を図にして表示してくれます。 例えば先程の正規表現は、当記事の一番上の
Pythonでの正規表現の使い方 - Qiita
正規表現の検索演算子やパターンや検索自体のルールはPerlやPHPとほとんど変わりないみたいですが。 正規表現の関数の使い方などは全然違うので、自分の勉強＆整理の為に書いておきます。 正規表現の検索演算子などには言及しません 初期設定 以下のライブラリーを読み込むことで、正規表現が使えるようになります。 正規表現を使うためには、2つ方法があります。 一つは、事前に検索するパターンをコンパイルしておく方法です。 この方法を使うと、同じパターンで何度も検索する場合に、毎回パターンを指定する必要なく、高速に検索することが出来るようになります。 http://docs.python.jp/3/howto/regex.html#compiling-regular-expressions それから、パターンの最初にrを付けることをを勧めします、付けなくても基本的には大丈夫ですが、付けることによって文字
新正規表現エンジンのテスターを募集しています。
先日 vim のパッチレベルが 1000 を超えました。当初は 999 で 7.3 を終え、7.4 のαバージョンがリリースされる予定でしたが、Bram 氏の意向によりしばらくは 1000 以降も 7.3 のパッチが提供される事となりました。 7.4 を楽しみにしておられた方には残念ですが、今しばらくお待ちください。 さて先日、パッチ 7.3.970 にて新しい正規表現エンジンが導入されました。NFA(非決定性有限オートマトン)を使う事で若干高速化がなされています。 しかしながら幾分バギーであり、現在開発者フォーラム vim_dev にて改善が行われています。 この新しい正規表現エンジンは現在デフォルトで有効になっており、幾らかバグも報告されています。「十分にテストをしてくれる人がいないのでこうしている。安定版は 7.3.969 を使って欲しい。」と Bram 氏が言っています。この新しい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
正規表現とセキュリティ / Regular Expressions and Their Security-Related Aspects
「正規表現とg, iフラグ」 ～マンガでプログラミング用語解説
IDEA * IDEA
