第4回 rroongaを使ったソースコード検索エンジンMilkode | gihyo.jp
はじめまして、おんがえしと申します。 今回は私が作っているソースコード検索エンジンのMilkodeにて、rroonga（とその内部で動くgroonga）がどのように使われているのかを紹介します。 Milkodeの検索画面 ソースコードを検索するということ プログラマの仕事はプログラムを書くことですが、同じくらい「検索する」ことは多いのではないでしょうか。 ある関数の名前を変えたいので使っている箇所をすべて見つけたい ライブラリの仕様が変わった。使っているコードはどこだったか？ コードリーディング中。今読んでいる関数の実体はどこにあるのか？ ベーマガを買ってゲームのプログラムを写経していた頃から時代は進み、WebにアクセスすればゲームやOS、Webアプリなどのソースコードを無料[1]で手に入れることができるようになりました。必要なものをソースコードから検索し、知識として取り込んでいく技術は今
高速かつ省メモリなbit vector「sucBV」を作る
はじめに 大規模なデータを扱うアプリケーションでは、速度とともに作業領域量も大きな問題となります。作業領域がメインメモリに収まらない場合、スワッピングが発生し、大幅な速度低下につながります。そのため近年、データ構造は高速なだけでなく、作業領域量が小さいことも求められています。今回紹介するデータ構造は「操作付きbit vector（SUCcinct Bit Vector:sucBV）」です。sucBVは、圧縮索引やSuccinct Data Structureなど、データをコンパクトに表現する際に重要なデータ構造です。STLのvector<bool>と同様に、bit列情報B[0....n-1]を保存します。このbit列情報は前もって与えられ、変更が無いことを前提とします。sucBVは、次の二つの操作を定数時間でサポートします。 rank(p,bit)――B[0...p]中のbit（bitは1
PFI、リアルタイム処理を重視したビッグデータ分析ソフト「Sedue for BigData」を6月発売
PFI、リアルタイム処理を重視したビッグデータ分析ソフト「Sedue for BigData」を6月発売 プリファードインフラストラクチャー（PFI）は2013年5月20日、リアルタイム処理を重視したビッグデータ分析ソフトウエア「Sedue for BigData」を発表した。1秒当たり数千～数万件送られてくるデータに対してリアルタイムでインデックスを作成し、データに対する分析を可能にする。最小構成価格は3000万円からで、6月20日に発売する。 PFIが今回発表したSedue for BigDataは、同社が従来から販売する検索ソフト「Sedue」をベースに様々な機能を追加した新製品となる。Sedueは今後も販売する。検索ソフトのSedueが、ドキュメント検索を対象とした製品であるのに対して、「Sedue for BigDataは、サーバーのログデータやセンサーデータなど、流れるようにや
Vagrant + Chef Solo + serverspec + Jenkins でサーバー構築を CI - naoyaのはてなダイアリー
Jenkins おじさんと戯れること半日、うまくいったので備忘録を残しておく。 やりたかったのは Chef で構築したサーバーを Jenkins で CI する、というもの。このときサーバーはテストが終わる度に破棄して、テスト開始時に再度真っ新な状態から立ち上げたい。(こういうサーバーを壊して作ってというテストはなんという名前で呼ばれるのだろう?) 仮想サーバーを破棄/作成をプログラマブルにやるのはもちろん Vagrant プロビジョニングは Chef Chef の環境を整えるのに knife-solo 0.3.0.pre3 テストは serverspec コードは Github に上げる (https://github.com/naoya/jenkins-vagrant-test) CI は Jenkins という構成になっている。ひとまず Jenkins や Vagrant はローカル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://papix.hateblo.jp/entry/2013/05/22/032747
