ripgrep is faster than {grep, ag, git grep, ucg, pt, sift} - Andrew Gallant's Blog
ripgrep is faster than {grep, ag, git grep, ucg, pt, sift} In this article I will introduce a new command line search tool, ripgrep, that combines the usability of The Silver Searcher (an ack clone) with the raw performance of GNU grep. ripgrep is fast, cross platform (with binaries available for Linux, Mac and Windows) and written in Rust. ripgrep is available on Github. We will attempt to do the
SimString - A fast and simple algorithm for approximate string matching/retrieval
A fast and simple algorithm for approximate string matching/retrieval SimString is a simple library for fast approximate string retrieval. Approximate string retrieval finds strings in a database whose similarity with a query string is no smaller than a threshold. Finding not only identical but similar strings, approximate string retrieval has various applications including spelling correction, fl
PRoxy Diary(2006-09-16) - Bayesian Sets
_ [コンピュータ] Bayesian Sets何はともあれ一番目立つところにリンクをば。 ここのところちょっと時間が取れたので、以前から気になっていたBayesian Setsを実装してみました。Bayesian Setsは、ある単語を入力すると、それと関係が深い単語を推測して返してくれるというものです。Google Setsというサービスを聞いたことがある方もおられるかもしれませんが、やりたいことはあれと同じです。理論的な話に興味がある場合はここを参照するか、元論文に当たってください。 論文で「高速」と紹介されているだけあって、Wikipediaから17万文書を使って学習させたにも関わらず結構な速度で動いてくれています。辞書に登録されている単語数も44万と豊富。これだけのものを現実的な時間で捌いているというだけでも、かなり驚きです。無理やりアドホックに処理を端折って計算量を減らしている
The Homepage of Nearest Neighbors and Similarity Search
The Homepage of Nearest Neighbors and Similarity Search Maintained by Yury Lifshits Update: this page is frozen. Please visit the successor page by Arnoldo Muller To preprocess a database of N objects so that given a query object, one can effectively determine its nearest neighbors in database The purpose of this page is to collect links, people, ideas, keywords, papers, slides, code and data sets
Similarity Join｜社内NEET宣言
社内NEET宣言文学部出身なのにIT企業で研究開発をすることになった社員のブログです。エンジニア/ニートSimilarity Joinレポート・実験 [参考]Similarity Joinの話 最近Similarity Join関連のアルゴリズムを調査しています。 http://www.cse.unsw.edu.au/~weiw/project/tutorial-simjoin-SEBD08.pdf http://www.cse.unsw.edu.au/~weiw/project/PPJoin-WWW08.ppt 類似しているデータの探索関連のアルゴリズムについて、 最近論文が多く発表され、活況を呈しているようです。 背景にはWebを中心とした大規模データのデータ解析、マイニング、類似検索、クラスタリングへの需要が増えている、ということが挙げられるでしょうね。 Similar
Similarity Joinの話 - ｜ω・)ノ ＜黒猫の気まぐれ日記
何か論文読んで，それについて発表するという授業があるのですが，そこでSimilarity Joinについて調べたのでここにメモします．●Similarity Joinって何？すごく大雑把に言うと，類似しているものを結合すること．そのまんまですね．例えば，上図のように4つのタプルがあったら，それぞれ類似しているもの同士でJoinします．普通は閾値を与えて，類似度が閾値以上であれば類似していると判断し，Joinします．#出力の部分は出力例であり，実際には他の組み合わせも出力されうると思います●類似しているってどうやって判断するの？Similarity Joinを行うためには，類似度の高い組み合わせを見つける必要があります．類似度を算出する方法はよく使われる手法がいくつかあります．（Jaccard, cosine, overlapなどなど）他にも，距離という概念でみると，Hamming dist
転置インデックスを実装しよう - mixi engineer blog
相対性理論のボーカルが頭から離れないmikioです。熱いわっふるの声に応えて今回はTokyo Cabinetのテーブルデータベースにおける検索機能の実装について語ってみたいと思います。とても長いのですが、最後まで読んだあかつきには、自分でも全文検索エンジンを作れると思っていただければ嬉しいです。 デモ モチベーションをあげていただくために、100行のソースコードで検索UIのデモを作ってみました。Java 6の日本語文書を対象としているので、「stringbuffer」とか「コンパイル」とか「倍精度浮動小数」とかそれっぽい用語で検索してみてください。 インデックスがちゃんとできていれば、たった100行で某検索エンジン風味の検索機能をあなたのデータを対象にして動かすことができます。ソースコードはこちら（テンプレートはこちら）です。 でも、今回はUIの話ではないのです。ものすごく地味に、全文検索
Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（１） - llameradaの日記
GoogleのFellowであるJeffrey Dean氏のWSDM'09における講演"Challenges in Building Large-Scale Information Retrieval Systems"のスライドを翻訳してみました。Googleの検索システムの10年間の進化の軌跡が紹介されており、興味深い話が満載です。個人的にはディスクの外周部と内周部を使い分けている話がツボでした。なお、イタリック体で一部解説・感想をいれています。翻訳は素人なので詳しくは元の資料を参照してください。 スライドの入手元：Jeffrey Dean – Google AI 検索システムに取り組む理由 チャレンジングなサイエンスとエンジリアニングのブレンド 多くの魅力的な未解決な問題が存在する。 CS（コンピュータサイエンス）の多数の領域にまたがる。 アーキテクチャ、分散システム、アルゴリズム、圧
情報検索ことはじめ〜研究者編〜 - シリコンの谷のゾンビ
昨年書いた教科書編が（僕にとっては）嬉しくて跳ね上がるほどブックマークされたので，調子に乗って第二弾を書いてみました．皆様ありがとうございます（ブックマークにがんばってくださいというコメントがあったのがめちゃくちゃ嬉しかったです）．今回は研究寄りですが，少しでも誰かの役に立てば幸いです． 僕は網羅的にサーベイを，キーワード検索以外に主に二つの方法で行っています． 会議毎にサーベイ 研究者毎にサーベイ 1.はさておき，2.ですが，僕は研究者のDBLPをチェックしています．気になる論文の著者のDBLPを眺めると，知らなかった要チェックや！論文を拾うことができます． なので，一線で活躍する研究者の論文は定期的にチェックする必要があります． 今回はIR研究者の中でも，戦闘力が高く，この人は常にウォッチせねばという研究者の一部を紹介したいと思います． 下記は若輩の独断と偏見に基づくものです．一線で活
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tierra-aoi.net
A Fast Regular Expression Indexing Engine