PostgreSQL で大量データの中間一致検索するなら？
こんにちは、 chappie です。 以前投稿した記事にて PostgreSQL で大量データに対する中間一致検索(LIKE検索)するためのインデックス作成について簡単に触れました。そのとき、 pg_trgm (trigram, トリグラム)を利用するのが有力な候補であり、詳しくは別記事で、、、と書いたっきりでした。半年近く間が空いてしまって恐縮ですが、書くと言った以上、書かないと年が越せない気がするので、今更ながら当時調査した内容についてシェアします。 概要 日本語のテキストデータを含むカラムに対して中間一致検索をかけた場合、その程度のパフォーマンスが得られるのか調べました。1000万レコードの日本語テキストデータを準備し、以下の 3 つの手法による検索速度を比較します。 1. PostgreSQL の contrib である pg_trgm を使ったインデックスを作成する サイト「Le
bugspots (Google のバグ予測アルゴリズム)を3ヶ月くらい運用してみた話
開発の土田です。 bugspots が何かをご存知でない方はまず、下記の記事をご参照ください。 Google のバグ予測アルゴリズムと bugspots の導入 bugspots は簡単に言うと、「そのファイルはバグ修正が最近沢山されているから、次に修正するときもバグが入る可能性が高い」という考え方でスコアを算出するアルゴリズムです。コミットログを参照し、ファイルごとにスコアを算出します。前回の記事では、bugspots の簡単な紹介と、その導入について書きました。今回はその応用編として、どのように運用しているかを書いていきたいと思います。 コミットログについて bugspots はバグが発生したコミットが重要な指標で、バグかどうかの判断基準にコミットログの文字列を使っています。デフォルトは「fixとかcloseっぽい文字列」(fixes, fixed, closes, closed を含
Dockerでいみゅーたぶるなんちゃらを試してみる
こんにちはfujya.shです。 最近Docker流行っていますね。いみゅーたぶるなんとかこんとかという素敵な仕組みも流行りはじめてるので流行にのってみたいと思います。 コンテナタイプの仮想化は大好物なので、こんなに流行ってるなら一回ぐらいは触ってみようと思い少し触ってみました。Dockerを使った面白い仕組みが結構公開されていて、中でもdokkuというのが個人的には興味があったので似たようなもの自前で考えてみました。 git pushしたらWebサービスが立ち上がるプラットフォーム 目指すゴールはHerokuのようなPaaSを自前で立ち上げることです。あんまり時間かけないで（２～３時間）でそれなりに動いたので、ちょっと紹介します。 ■Dockerとは あえて紹介しません。ググッてください。ざっくり特徴だけ ・LXC/AUFS がテクノロジーのベースになってる ・コンテナの起動が早い（1秒
100ドメイン以上を運用する企業向けクラウドのWebサーバー（Linux + Apache + mod_proxy_balancer ）
Uncategories 100ドメイン以上を運用する企業向けクラウドのWebサーバー（Linux + Apache + mod_proxy_balancer ） こんちには、インフラチームのyanaです。 前回のPostgresに続きまして、実際に弊社のサービスで利用しているWebサーバーの ご紹介させていただきます。 Linux＋Apacheの標準的な構成で、負荷分散と可用性維持のためにApacheの標準モジュールであるmod_proxy_balancerを利用したロードバランサーを導入しています。 上記の構成にした理由は、以下の3つです。 １．複数のFQDN環境でのSSL提供が可能である ２．拡張性や自由度がある ３．上記の２つを実現させ、低コストでの運用できる １．複数のFQDN環境でのSSL提供が可能である 弊社のサービスでは、個人情報やクレジットカード情報を取り扱う場合があるた
ブラウザってどうやって動いてるの？（モダンWEBブラウザシーンの裏側）
どうも、鈴木です。 さて、前回は vim の使用法というじつに低レベルレイヤの出身者的な記事を書きましたが、 今回も懲りずに低レベルのお話しをしたいと思います。 というのも、先日「ブログ書くのめんどくさいよぅ」と駄々をこねていたところ、あまりにレガシーすぎる HTML/CSS/JavaScript 仕様や Flash や Silverlight といったプロプライエタリなリッチコンテンツ用プラグインに日々苦しめられている気弱く善良な一介の WEB プログラマにすぎない我々の希望の星であり、そして同時に新たな巨大クソレガシーの萌芽でもある HTML5 が、いかにイケてないのではなくイケているのであるかを盛んに啓蒙するサイトである HTML5 Rocks (http://www.html5rocks.com/) に、"How Browsers Work" というとても楽しい記事があるのを、我が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonとOpenCVで交通標識の抽出をやってみた
vim で実践！ コードリファクタリング