Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（１） - llameradaの日記
GoogleのFellowであるJeffrey Dean氏のWSDM'09における講演"Challenges in Building Large-Scale Information Retrieval Systems"のスライドを翻訳してみました。Googleの検索システムの10年間の進化の軌跡が紹介されており、興味深い話が満載です。個人的にはディスクの外周部と内周部を使い分けている話がツボでした。なお、イタリック体で一部解説・感想をいれています。翻訳は素人なので詳しくは元の資料を参照してください。 スライドの入手元：Jeffrey Dean – Google AI 検索システムに取り組む理由 チャレンジングなサイエンスとエンジリアニングのブレンド 多くの魅力的な未解決な問題が存在する。 CS（コンピュータサイエンス）の多数の領域にまたがる。 アーキテクチャ、分散システム、アルゴリズム、圧
suggest.js - 入力補完ライブラリ
Japanese / English JavaScriptで入力補完を手軽に行うためのライブラリです。 (【お知らせ】ver2.0からprototype.jsを必要としなくなりました) 下記のような機能を持っています。 入力内容をもとに検索を行い、補完候補を表示します。(Google Suggestぽく) Ajaxでは無く、初回画面表示時のみデータの読み込みを行い、それ以降は、クライアント側で対象データから検索します。したがって、入力内容に変化があってもサーバ側にアクセスすることはありません。 検索は、前方一致/部分一致、大文字と小文字の区別あり/なしといったように、オプションで簡単に指定できます。また、その他にも様々なオプションが指定可能です。 検索結果の表示上限を指定できます。(デフォルト上限20件) 補完候補はキーボードの上下と、マウスにて選択できます。また、キーボードで選択中にES
グーグルの変な機能を見つけた。 - out to lunch！
グーグルブック画面で、「inpublisher:"出版社名"」と入力して検索してみる。出版社名のところには、実際の出版社、岩波書店でも白水社でもなんでも良い。例えば岩波書店だったら、検索窓で「inpublisher:"岩波書店"」と入力し、検索する。 すると「inpublisher:"岩波書店" の検索結果 12482 件中 1 - 10 件目」の文章とともに、一覧で10点の書籍が表示される。タイトルによっては左に画像が貼り付けられているが、それは表紙ではなく、目次であったり奥付であったりする不思議な画像である。 さらに特定のタイトルをクリックしてみよう。タイトルの詳細頁に飛ぶが、「バージニア大学 の蔵書」や書かれているところから察するに、これは、グーグルと図書館のプロジェクトによってスキャニングされた書籍である、ということを、ここでようやく理解する。「バージニア大学の蔵書」は、別なタイト
IBM、電子メール検索ソフトをリリース
IBM OmniFind Personal Email Searchは大量の電子メールから電話番号、人、会議などの情報を探し出す。 米IBMは12月20日、大量の電子メールの中から情報を探し出すための検索ソフト「IBM OmniFind Personal Email Search（IOPES）」を発表した。 このソフトは不完全なクエリーを解釈でき、電話番号、人、会議、プレゼン、文書、画像などの情報を探し出せる高度なアルゴリズムを使ったセマンティック検索ツールだとIBMは説明している。例えば、電子メールのデータベースの中に「電話」「番号」というテキストが含まれていなくても、誰かの電話番号を探し出せるという。カスタマイズ検索を作成、保存、共有することも可能だ。 IOPESはIBMが開発したオープンソースのソフトウェアフレームワーク「Unstructured Information Manage
Windowsのアクセス権に対応したオープンソース全文検索システム，OSSテクノロジがリリース
オープンソース・ソリューション・テクノロジ(OSSテクノロジ)はオープンソースの全文検索システム「Chimera Search（キメラ・サーチ）」を発表した。Windowsのアクセス権に対応し，権限のないファイルは検索結果に表示されないことが特徴。2007年12月中に販売開始するとともに，GPLv2に基づきソースコードも公開する。 WindowsのほかSambaが稼働しているUNIX，Linux，MacOS，SMBプロトコルまたはCIFSプロトコルをサポートしたNAS上のファイルを，アクセス権限に従って検査しインデックスを作成する。対象となるファイルの種類はWord，Excel，PowerPoint，OpenDocument(OpenOffice.org, Sun StarSuite)，PDF，HTML，テキスト。 平林幹夫氏が開発したオープンソースの全文検索エンジン「Hyper Estr
米Microsoft、無料検索ソフト「Search Server 2008 Express」を発表 | エンタープライズ | マイコミジャーナル
米Microsoftは11月6日(現地時間)、エンタープライズ用途向け検索サーバソフトウェアの「Microsoft Search Server 2008 Express」を発表した。エンタープライズ検索ソフトウェアは、社内のネットワーク上に存在する文書ファイル群をインデックス化することで検索処理を高速化、効率のよい管理システムを提供する。ソフトウェアは無償ダウンロード可能なExpress版となっているが、無料バージョンに特有の検索可能なファイル数の上限などは特に定められておらず、サーバのパフォーマンスの許す範囲で無制限に利用できる。 今回発表されたのは、同社の検索サーバソフトウェア「Microsoft Search Server 2008」の無料バージョンにあたるExpress Editionで、ソフトウェアのコア部分は共通化されている。そのため小規模環境向けの簡易版ながら、Search
IPAが採択した「グーグル八分発見システム」の深意
いまやインターネットの世界で、検索エンジンなしの生活は考えられない。私たちは気になった単語や知りたいキーワードを検索ボックスに打ち込み、あらゆることを調べる。テレビCMでは「続きはウェブで検索！」という言葉までが登場するようになった。分からないことがあったときに「グーグル先生に訊いてみよう」というのは、インターネット業界の合い言葉になっている。 そんな中で、もし自分の運営しているサイトがある日突然、検索結果に表示されなくなったらどうだろう。訪問者数はおそらく激減し、サイトの広告や物販の売上は大きく落ち込んでしまうだろう。 ある日突然、グーグルの検索結果から自分のサイトが表示されなくなること――これは「グーグル八分」と呼ばれている。かつて村の掟を破った者が葬式と火事以外の交流を断たれた「村八分」になぞらえたもので、グーグルのポリシーに違反したサイトがグーグルの検索インデックスから削除され、グ
FirefoxをGoogle音楽ファイル検索ボックスにする方法 | G Mania - グーグルの便利な使い方
FirefoxをGoogle音楽ファイル検索ボックスにする方法 管理人 @ 7月 19日 10:35am Firefox, 検索Tips Firefoxのスマートキーワード機能とGoogle検索を使って、アドレスバーから簡単に音楽ファイル検索をする方法の紹介です。 かなり便利なのでお試しください。 方法は次の通りです。 「ツールバー＞ブックマーク＞ブックマークの管理」から「新しいブックマーク」を選択して、新しいブックマークを作成を開きます。 次のリンク先のページの４行目のアドレスをＵＲＬ欄に貼り付けます。 http://www.friedbeef.com/wp-content/files/google_music.txt キーワード欄に例えば、「music」とスマートキーワードを入力します。（自分が利用したいキーワードでＯＫです。） これで準備完了です。 Firefoxアドレスバー（検索ボ
GIGAZINEの記事に釣られてUAを変更してしまった人
Googleの検索ボットに偽装すると有料サイトが無料で閲覧できるらしい - GIGAZINE Googleの検索データベースを作成するためにネット中のあらゆるページを収集して巡回している「GoogleBot」というものがあります。このGoogleBotが来ると検索結果に反映されるというわけ。 この記事に釣られて、User AgentをGooglebot/2.1にしてしまった人「乙」というわけ。 上記記事を読んで、試しに愛用しているWebブラウザ「DonutRAPT」のUser Agent設定で「Googlebot/2.1」に変更して、いろいろと動作を確認してみました。 GoogleBot用にページ表示を切り替えているサイトがあるということは、当然不具合の出るサイトもあるはずです。 PCにあまり詳しくない人も多く読んでいるサイトなのに、GIGAZINE自体で内容の確認をしていないと思われる記
Googleの検索ボットに偽装すると有料サイトが無料で閲覧できるらしい - GIGAZINE
Googleの検索データベースを作成するためにネット中のあらゆるページを収集して巡回している「GoogleBot」というものがあります。このGoogleBotが来ると検索結果に反映されるというわけ。 で、ネット上にいろいろと存在している有料サイトは客を確実に呼び込むため、検索結果に自分のサイトの中身をちょっとだけ表示させるために、なんとGoogleBotは無料で有料サイト内を巡回できるようにしているらしい。 ということは、GoogleBotにブラウザを偽装すればいけるのではないか？というのがこのアイディアなのですが、真相のほどはいかに？詳細は以下の通り。 ※以下からは自己責任でお願いします Disguise Yourself As Google Bot - Quicksilverscreen Forum! 実際に試したわけではないので真偽は不明ですが、要するにブラウザの吐き出す変数の一つで
エンタープライズ検索サーバ「Apache Solr 1.2」登場 | エンタープライズ | マイコミジャーナル
The Apache Lucene Projectは7日(米国時間)、Apache Solrの最新版となる「Apache Solr 1.2」を公開した。Apache SolrはApache Lucene Java検索ライブラリをベースにして構築されたエンタープライズレベルの検索サーバ実装。ヒットハイライト機能、ファサード検索機能、キャッシュ機能、レプリケーション機能、Web管理インターフェースなどを備えるといった特徴がある。Apache Solr自体はApache Tomcatにおいてサーブレットとして動作する。 1.2は、Apache Solr初のパブリックリリースとなると同時に、Apache Incubatorからの卒業リリースという位置づけにもなっている。1.2ではCSVデータ読み込み、時刻ベースの自動コミット、高速ファサード、ネイティブフィルタ機能、スペルチェックハンドラ機能、ワー
IBMとYahoo!が企業向け検索ソフトを無償提供，「Google Mini」と競合：ITpro
写真●IBM OmniFind Yahoo! Editionを紹介するIBMのソフト開発者，Madhu Kochar氏と Amit Somani氏 米IBMと米Yahoo!が米国時間12月13日，企業向け検索ソフトウエア「IBM OmniFind Yahoo! Edition」を発表した。Webサイトから無償でダウンロードできる。 IBM OmniFind Yahoo! Editionは，IBMが販売している「OmniFind」の無償版。検索可能な文書数に制限があるものの，無料で利用できる。「購入から導入に数1000ドル必要なほかの企業向け検索ソフトウエアと違い，Yahoo!のWeb検索サービスと連携する同ソフトウエアは無料ダウンロードが可能で，容易に既存ハードウエアへインストールして使える」（両社）。 1サーバー当たり50万件までの文書の検索が可能。対応ファイル形式は200種類以上，対応
Google Custom Search Engine を設置してみました : DSAS開発者の部屋
先日，Google Custom Search Engine が公開されました．ちょっとみてみたところなかなか面白そうだったので，DSAS blog にも設置してみました． Google Custom Search Engine (以下 CSE) の特徴として，特定のサイトのみを検索できる点と，検索結果を好きなページに組み込める点をうたっています．ただ，この DSAS blog に組み込もうとしたところ，少々苦労しました．まだ英語版の，しかも Beta サービスなためだと思われます，以下，DSAS blog に組み込むために弄った部分を上げてみます．ただし，ここに上げた物はこの記事執筆時点の物です．前述のように Beta サービスですので，今後状況は変わると思います． ●検索結果の横幅をいじる CSE の検索結果は，2種類の表示方法があります．一つは検索結果を Google がホストするペ
NTTデータ、PostgreSQL向け全文検索ソフトをオープンソースで公開 | OSDN Magazine
NTTデータは2006年10月11日、同社が開発した全文検索エンジン「Ludia」（ルディア）をオープンソースソフトウェアとして公開した。オープンソースDBMS「PostgreSQL」に全文検索機能を追加する。ライセンスはGNU Lesser General Public License（LGPL）を採用した。 Ludiaは、PostgreSQLデータベース内に、テーブル内テキストデータに対する全文検索インデックスを作成することで、商用のデータベース管理ソフトに匹敵する高速・高精度な全文検索機能を可能にする。また、SQLと親和性が高く、扱いやすいインタフェースも特徴。 インデックス作成にはオープンソース全文検索エンジン「Senna」を利用。「N-gram」と「形態素解析」のインデックス主要2方式に対応する。また、検索方法も「ブーリアン検索」「近傍位置検索」「類似文書検索」の複数の検索に対応
Google Code Search のアレな活用法が続々と | 秋元@サイボウズラボ・プログラマー・ブログ
Googleの一般検索でも、社外秘情報の入ったExcelを検索したらいろいろ出てきた(参考 、 公開Webサーバから機密情報を引き出す「Googleハッキング」の脅威と、その対策)といった話もあるし、つい最近はGoogle Calendarで明らかに公開情報じゃないいろんな人の予定が検索できるという指摘も話題になった。 ということで、昨日リリースされたGoogleコード検索でも、さっそく色々な「ヤバイ」指摘が。 kottke.org では以下のような検索例が 圧縮アプリケーションの暗号生成部分のソース パスワードを埋め込んだブログシステムのソース バッファーオーバーフロー脆弱性がありそうなソース 公開されるべきでない、と書いてあるソース 愚痴ったり、罵ったり、馬鹿にしたりというコメント 有名プログラマーの名前での検索 また、PHPのセキュリティといえばこの人の Chris Shiflett
秋元@サイボウズラボ・プログラマー・ブログ: Googleがソースコード検索Google Code Searchを公開
[更新 2018] 2012年にサービス終了しています。 噂になっていたGoogleのコード検索サービスGoogle Code SearchがGoogle Labsから公開された。 例: “Romaji”でソースコード検索 上の検索結果からすると、Camel Notation中の単語も探してくれるみたいだ。 IsProgrammerDifferentFromSE()みたいなネーミングからも単語を切り出してインデックスしているということで、これはありがたいかも。 見つかったコードをクリックすると、キーワードハイライトされたソースコード全文、同じディレクトリ内にある他のコードのリスト、パッケージやコードのGoogleキャッシュ(!)、パッケージのダウンロードリンク、などが表示される詳細画面に移る。 検索では、トップページ下にも説明がいくつか書かれているが、言語、ライセンス、パッケージ形式やファ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
IDEA * IDEA
TechCrunch Japanese アーカイブ � RockYou、Like.comの画像検索をスライドショーに取り入れる
Gmail Mobile 日本語化される | スラド IT