【作ってみた】書籍「検索エンジン自作入門」を読んで検索エンジン作ってみたリスト
私が山田浩之さんと共著させていただいた「検索エンジン自作入門」は、検索エンジンについて実際のプログラムを参照しながら解説を行った書籍です。 そのプログラムは、言語はC言語、データベースはSQLite、データソースはWikipediaを用いています。 読者の方が、自らの得意なプログラミング言語、データベースやデータソースを用いて実際に検索エンジンを書いてくださっているようです。うれしいので、それらを紹介させていただきます！ PHP id:masayuki5160さんこと、たなかしさんによる、PHPでつくる全文検索エンジン PHPはWebエンジニアにとって身近なプログラミング言語です。データソースもTwitterを用いていて、Webエンジニアにとって親しみやすい実装になっています。 Python id:nwpct1さんこと、めじろさんによる、Pythonでつくる検索エンジン(Webクローラ,
マイクロソフトはどうやってBingをFPGAで実装したか - Qiita
ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにFPGAに移行済み。IBMが最近出したData Engine for NoSQLという製品ではPOWER8プロセッサにFPGAを直付けしてRedisを高速化したり。いよいよデータセンターにも、先の見えないCPUに代わってFPGAやGPUを導入する波が押し寄せつ
検索エンジンは「使う」よりも「作る」ほうがおもしろい！：新刊ピックアップ
GoogleやYahoo!の裏側にはどのような仕組みがあるのか GoogleやYahoo!などを使わない日はないくらい，検索エンジンは私たちに欠かせない存在となりました。しかし，そんな身近な検索エンジンがどのような仕組みになっているか，ご存知の方はあまりいらっしゃらないのではないでしょうか。 わざわざ検索エンジンを使うのは，膨大な量の文書に対して，特定の文字列が含まれているか知りたいからです。その時，すべての文書を検索しようとすると，データの量に比例して検索時間も増えてしまうという問題が起こります。でも，GoogleやYahoo!で検索すると，広大なインターネットの情報を見にいっているはずなのに，結果が一瞬で返ってきますよね。なぜかといえば，検索エンジンでは，事前に文書からインデックス（索引）を作成し，そのインデックスを用いて検索することで，文書量が増えても検索速度がそれほど低下しないで済
検索エンジン自作入門 ～手を動かしながら見渡す検索の舞台裏
2014年9月25日紙版発売 2014年9月25日電子版発売 山田浩之，末永匡 著 A5判／224ページ 定価2,948円（本体2,680円＋税10%） ISBN 978-4-7741-6753-4 ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 まいにち使っている検索エンジンがどうやって動いているか，知っていますか？ 本書では，小さな検索エンジンを作りながら，ソースコードレベルで検索エンジンのしくみを解説。 Yahoo!Japanの検索エンジン開発チームを経て2008年度上期未踏IT人材発掘・育成事業において高性能分散型検索エンジンの開発によりスーパークリエータに認定さ
米LinkedIn、買収したIndexTankの検索技術をオープンソースに | OSDN Magazine
SNSサービスを提供している米LinkedInは12月21日、同社傘下にある検索技術「IndexTank」をオープンソースソフトウェアとして公開した。IndexTankを利用することで、Webサイトやアプリケーションで検索機能を提供できるという。 IndexTankは検索サービス技術を提供するベンダーで、同社の技術はRedditやSpoke、TaskRabbitなどのWebサイトやサービスで利用されている。LinkedInは2011年10月にIndexTankを買収したが、買収発表時に将来IndexTankの技術をオープンソースとして公開する計画を明らかにしていた。 今回公開したのは、インデクシングエンジンである「IndexEngine」と、APIや「BackOffice」、「Storefront」、「Nebulizer」などからなるサービスコンポーネント。IndexEngineはリアルタ
第1回 検索エンジンとは | gihyo.jp
はじめに 検索エンジンと聞くと、みなさんは何を思い浮かべるでしょうか？ GoogleやYahoo!などの検索ページを思い浮かべる方がほとんどだと思います。近年は、それら企業の努力によって検索エンジンというものが非常に身近になり、私たちの生活に欠かせないものとなりつつあります。 しかし、検索エンジンと一言で言っても、上記のような一般の方々へのUI（ユーザインターフェース）を指す場合もあれば、そのUIの裏側（バックエンド）にあるシステムを指す場合もあります。 本連載では、Google,Yahoo!などを代表とする検索エンジンの裏側のしくみに着目し、検索エンジンというシステムのアーキテクチャやその内部で使われているデータ構造やアルゴリズムを、近年の手法や研究事例などを交えて解説していきたいと思っています。 検索エンジンとは 検索エンジンには、さまざまな種類があります。GoogleのWeb検索のよ
天才が作った新検索エンジン『Wolfram|Alpha』と、Googleへの影響 | WIRED VISION
前の記事 いま好調な自動車市場は：ルーマニアと中国の例を見る 「スパコンが可能にした研究成果」を画像で紹介 次の記事 天才が作った新検索エンジン『Wolfram|Alpha』と、Googleへの影響 2009年5月11日 Ryan Singel 5月18日に一般公開される予定の新興検索エンジン『Wolfram|Alpha』が話題を集めている。 聞いたこともない、という人のために説明すると、Wolfram Alphaとは、たとえば「ヨーロッパのインターネット利用者」などといった検索クエリが求める内容を理解し、非常に適切な結果を返すという「コンピューター的な知識検索エンジン」だ。このマジカルな技術は、インデックスに、混乱したウェブページではなく構造化されたデータセットを使うことで実現されている。 同サービスのデモ[ハーバード大学バークマンセンターでの講演。動画は以下]は、最初は懐疑的だったDa
Search Engines: Information Retrieval in Practice
Authors W. Bruce Croft, University of Massachusetts Donald Metzler, Google Trevor Strohman, Google Getting the book Amazon Barnes and Noble Resources Slides Test Collections Errata Galago Search Toolkit Lemur Stopword List About the book Written by a leader in the field of information retrieval, Search Engines: Information Retrieval in Practice is designed to give undergraduate students the unders
Sphinx | Open Source Search Engine
Sphinx 3.5.1 released We are starting 2023 off by making Sphinx 3.5.1 available, with about 30 new features compared to 3.4.1 released mid-2021 (it has been a little while), and almost a hundred changes and fixes. We voted internally for the top-3 features but ended up choosing top-6 to highlight on the front page. They are as follows. Read more... Sphinx 3.3.1 released We have just made Sphinx 3.
Tokyo Dystopiaの設計思想 - mixi engineer blog
夏本番に向けて海に行ける体作りに励まないといかんなーと思いつつも、ついついDSのスターフォックスで遊んでしまうmikioです。さて今回は、人知れずリリースされている検索エンジンTokyo Dystopiaの概要と設計思想について述べます。 Hyper Estraierとの違い Tokyo Dystopia（以下、TDと呼びます）は、新しい検索エンジンです。しかし、私が作ったもう一つの検索エンジンHyper Estraier（以下、HEと呼びます）の後継としては位置付けていません。 Hyper Estraierの製品コンセプトは、「検索システムの需要が生じる様々なシーンで手軽に導入できる」ことです。言い換えれば、「いわゆるシロウトの人でも、お高い商用システムを買えない個人や小組織でも、ちょっとの努力で自分の要求を満たすシステムを構築できる」ことです。そのために、様々なファイル形式に対応したテ
Senna - Wikipedia
Senna（せな、Senna: An Embeddable Fulltext Search Engine）は、未来検索ブラジルによって開発されているオープンソースの全文検索エンジンである。検索速度が高速なことから、「音速の貴公子」と呼ばれたアイルトン・セナにちなんで名づけられた。 概要[編集] MeCabによる形態素解析の結果を用いた単語ベースのインデックスと、N-gramによるトークン抽出を用いたインデックスの両方を作成することができる。 ライセンスはLGPL。UNIX系OS及びWindowsで動作する。 バグフィックスを除いた新たな開発は事実上終了しており、開発元の未来検索ブラジルでは、後継となる検索エンジンとして『groonga』（ぐるんが）の開発を進めている。 特徴[編集] 高速なインデックスの更新 一般的に、作成済みの全文検索インデックスに対する新たなレコードの追加は負荷がかかる
i-revo お客様サポート 重要なお知らせ
i-revo お客様サポート 重要なお知らせ i-revoマイポータル終了のお知らせ（2017年3月31日） 日頃よりi-revoマイポータルをご愛顧いただき誠にありがとうございます。 このたび、当サイトは2017年3月31日付けにてサービスを終了いたしました。 併せて「プニマル」、「i-revo 占い」についてもサービスを終了いたしました。 2006年3月のサービス開始以来、 お客様および関係各社の皆様にはさまざまに、ご協力をいただきました。 ここに御礼申し上げます。 i-revoマイポータルのサービス終了につきまして、なにとぞご理解いただきたく存じます。 今後とも「i-revo」をよろしくお願い申し上げます。 全て見る
全文検索エンジンLuxを公開しました : no hacking, no life
本日、全文検索エンジンLuxを公開しました。 昨年の3月ぐらいから、土日の空いた時間を使ってだらだら作っていたのですが、完璧にしてから公開しようとすると、いつまで経っても公開できないので、晒すことにしました。なので、機能的に足りない部分がたくさんあります。 特徴としては、以下のような感じです。 C++で記述されている シンプル 高速に動作 そこそこ拡張性が高い シンプルな転置インデックス形式の検索エンジンです。今のところ形態素でしかインデックスを作れませんが、N-Gramはすぐに対応しようと思います。また、APIが若干おかしかったり、手抜き部分が沢山あるので、今後にご期待ください。(version 1.0 ぐらいから自信をもって薦められるかも) ドキュメントが全くないので、これからちょこちょこ書いていこうかと思いますが、マニアックな方はぜひ使ってみて、ご意見・ご感想を頂ければと思います。ダ
検索結果の「鮮度」が変わる、Google "QDF"アルゴリズムの仕組み:渡辺隆広のサーチエンジン情報館
前々回の記事「百度、本気で日本の検索エンジン市場に参入する けど」の本文中で、Googleの検索結果が同じキーワードでも朝と夜で変化するという話を書きましたが、それについて説明している日本語の記事があまりないので、ここで解説をしておきます。この技術はもともと、米New York TimesのGoogleへのインタビューの中で紹介されたもので、QDF（query deserves freshness）と呼ばれるものです。日本国内では2007年4月以降、Googleウェブ検索によく「5分前」「1時間前」「4時間前」といったラベルつきのリンクが掲載されることがありますが、これはQDFアルゴリズムによるものです。 --------------- GoogleやYahoo!で検索した時に私たちが目にする検索結果の並び順というのは、ある時点におけるウェブページのランク付けの結果に基づいたものだ。ウェブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏: 山田浩之, 末永匡: 本
Search Engines Chapter 2 Summary
Search Engines Chapter 1 Summary
Lux: Distributd full-text search engine
全文検索システム koike - PukiWiki
Similarity (Lucene 2008-10-02_02-04-48 API)