The Silver Searcher のススメ - Qiita
What is The Silver Searcher The Silver Searcher ファイルに対して再帰的に文字列検索を行なうコマンドです。要はスゴイ grep です。Silver だから ag というコマンド名という。 Why The Silver Searcher とても速い。 Pthreads を使用し並列処理を行なう。 .git や .svn を検索除外してくれる。 .gitignore の内容も除外してくれる。 ag のみで除外したい場合は .agignore というファイルも利用可能。 検索対象ファイルのファイルタイプをオプション指定できる。 --ruby と指定すると (.rb .rhtml .rjs .rxml .erb .rake .spec) が対象になる。 インストール OS X Homebrew で
highway という高速検索ツールを作りました · けんごのお屋敷
いまや grep、ack、ag、pt、sift など様々な grep ツールが存在し、高速 grep ツール戦線が激化している昨今ですが、いかがお過ごしでしょう。私は普段から検索ツールには pt を使っていますが、ふとしたことから文字列探索アルゴリズムに興味がわいてきて highway という高速パターンマッチングツールを開発しました。pt や sift が流行りの Go 言語で実装されている中、我が道を行く highway は C 言語での実装にしました (単に Go 言語を知らないだけとも言う＼(^o^)／)。 highway (github) highway とは マルチスレッドで動作する高速パターンマッチングツールです。速そうな名前をつけたくて「高速」でググったら「高速道路」がたくさん出てきたのでこの名前になりました。そりゃそうだ。 機能 基本的な機能としては pt とほぼ同じです
検索エンジンの常識をApache Solrで身につける
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
Qiita/Qiita Teamの検索システムがパワーアップしました - Qiita Blog
salam! (アゼルバイジャン語でこんにちは) 迫り来る冬の気配にビクビクしている yuku_t です。 本日Qiitaの新検索システムが公開されました！ので、それによって新しく使えるようになった機能の紹介をしたいと思います。 おしながき旧検索システムの問題点新機能の紹介Qiita、Qiita Team共通の新機能検索スニペットのハイライト表示タイトル、本文、コードからの検索OR検索マイナス検索Qiitaだけの新機能限定共有記事の検索Qiita Teamだけの新機能プロジェクトも検索コメントからの検索タグの階層絞り込み締めの挨拶旧検索システムの問題点これまでのQiitaの検索システムの使い勝手はお世辞にも良いとは言えないような代物でした。問題点いくつか挙げると 検索スニペットが表示されないため、ヒットした投稿を実際に表示して中身を確かめなければならないruby と検索した時に ruby
いろいろ考えると日本語の全文検索もMySQLがいいね！ - Kouhei Sutou - Rabbit Slide Show
Description MySQLは広く使われているRDBMSです。速いし、レプリケーションのノウハウもあるし、Web上にたくさんの情報もあるからいざというときも安心、というのがその理由でしょう。 そんなMySQLの弱点の1つがデフォルトでは日本語で全文検索できないことです。でも、日本語で全文検索したいし。。。どうしよう。 そんなあなたに最近の日本語の全文検索事情を紹介します。Solr？Elasticsearch？Groonga？PostgreSQLはどうやっているの？Mroonga？Sphinx？ いろいろ考えると日本語で全文検索するときもMySQLを使うのがいいね！と思えてくるから不思議です。最近の日本語の全文検索事情を聞いて一緒に考えてみませんか？ Page: 1 いろいろ考えると 日本語の全文検索も MySQLがいいね！ 須藤功平 日本MySQLユーザ会 OSC2014 Tokyo
Solrで検索する時にboost値を設定する(Extended DisMax)
■ Document Boost JavaでSolrにインデクシングするプログラムを書く時に、 SolrInputDocumentっていうクラスを使ったりしますが、 特定のフィールドの重要度を上げたいな、という時は ↓のメソッドを使って第3引数にfloatで重み付けします(デフォルトは1.0) addField(java.lang.String, java.lang.Object, float) コレでイイじゃんって言われればそれまでなのですが、 重要度をコロコロ変えて、どんな感じに影響があるか確認しながら検索したい時に、 都度ドキュメントをインデックスし直して、、ってかなり面倒な事になります。 ■ Query Boost インデックスする時にboost値を設定するのが面倒な事になるんだったら、 検索する時に設定してしまえばイイじゃない、というアレです。 DisMaxというコンポーネントを
SolrのResult Grouping - エメラルドアオキロック
今回はSolrのResult Grouping（Field Collapsing）の機能について紹介します。 この機能は検索結果を特定のフィールドでグループ化します。SQLのgroup byみたいなものと思ってもらうと分かりやすいでしょう。具体的な例だとGoogle検索の以下のような表現が良い例ですね。 Solrでは上記のGoogle検索と同じ事が、通常の検索にgroup=true&group.field=グループ化する項目名というパラメータを付けるだけで行えます。Result Groupingの詳細な情報は、Solrのwiki「FieldCollapsing」に詳しく書かれていますのでそちらを見て頂く事にして、ここでは一覧を簡単に紹介するだけにとどめ、主要なパラメータについて試しながら紹介していきたいと思います。 パラメータ一覧 パラメータ名 指定する値 説明 group true/fa
Kibana: Explore, Visualize, Discover Data | Elastic
Search and analytics, data ingestion, and visualization – all at your fingertips
Apache Solr - Wikipedia
Solr（ソーラー）は、オープンソースの全文検索システム。Apacheソフトウェア財団のLuceneプロジェクトのサブプロジェクトとして開発されている。 概要[編集] 全文検索エンジンライブラリLuceneをベースに、管理画面やキャッシュ機構を取り入れたアプリケーション。 機能上の特徴は、検索結果にファセットと呼ばれる検索結果を特定の軸でクラスタリング、それぞれの件数情報を付加することができること。商用の検索エンジンでもこの機能があるものは少ない。 構造上の特徴は、内部はいくつかのコンポーネントに分かれ、各所にプラグイン機構を持っているため拡張性に優れる、また、さまざまなキャッシュを持つことからより多くの検索クエリを捌けるようになっていること。 なお、v1.3になって追加されたDataImportHandler (DIH) という追加機能（contribに収録）を使うと、Oracleをはじ
ackを捨てて、より高速なag(The Silver Searcher)に切り替えた - Glide Note
Geoff’s site: The Silver Searcher: Better than Ack ggreer/the_silver_searcher · GitHub パターン検索にはackを利用していて、通常利用時には特に不満は無かったんですが、 ファイル数が多いディレクトリだと遅かったので、もっと他の方法が無いかと調べていたら ackの3〜5倍速いというThe Silver Searcherというものが あったので導入。 The Silver Searcherの特徴 公式に書いてあるThe Silver Searcherの特徴 ackの3〜5倍高速 .gitignore、.hgignoreに記載されているものを検索対象から除外 検索対象から除外したいファイルは.agignoreに記載 agというコマンド名で、ackと比べてコマンドが短い(33%減!) なぜ高速なのかは https
Welcome to Apache Solr
Solr is the popular, blazing-fast, open source enterprise search platform built on Apache Lucene™. Learn more about Solr. Solr is highly reliable, scalable and fault tolerant, providing distributed indexing, replication and load-balanced querying, automated failover and recovery, centralized configuration and more. Solr powers the search and navigation features of many of the world's largest inter
数万のソースコードから目的の一行を一瞬で見つけ出す、Milkode - ブログのおんがえし
最新バージョンはコチラです。 Milkode(ミルコード)はソースコード検索エンジンです。手元にある大量のソースコードを登録し、ブラウザで閲覧したり検索することが出来ます。20000ファイル位であれば1秒位で特定の一行を見つけることが可能です。 Rubyで書かれており、使っているライブラリも含めてRubyGem経由でインストールすることが出来ます。 OSX, Unix $ sudo gem install milkode Windows(32bit) $ gem.bat install rroonga --platform x86-mingw32 $ gem.bat install milkode Windows(64bit) ※ 事前に64bit版rroongaのインストールが必要です。 $ gem.bat install milkode詳しいインストール方法はホームページをご覧下さい。
Googleに負けないものを作りたい――女子大生が挑む日本独自の「かわいい検索」
※本記事はアフィリエイトプログラムによる収益を得ています 「ゆるかわ検索」「キュート検索」「きれい検索」「おもしろ検索」「まじめ検索」――5つの“かわいい”系統から気になるアイテムを検索ができる検索エンジン「かわいい検索」がリリースされた。開発したのは慶応義塾大学SFC（湘南藤沢キャンパス）の女子大生3人だ。 現在は検索対象がブログのみとなっており、例えば「バッグ」（bag）を検索すると、5つの“かわいい”の系統のうち選択した分野に当てはまるバッグを紹介したファッション系のブログが表示される。芸能人ブログなど、バッグの写真だけでなく、バッグを持っている有名人の写真を見ることができるため、流行の“かわいい”も検索結果から分かるのが特徴となっている。 開発を担当したのは同大学院修士課程の橋口恭子さん、同大学3年生の若林里奈さんと松野香織さんの3人。橋口さんがアルゴリズムの設計とプログラミングを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Searchly
Draw - Google Correlate
Gmailなどを爆速で検索できる『Greplin』のiPhoneアプリはやっぱり爆速だった！｜男子ハック
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News