MOONGIFT: » Java製のクローリングシステム「InfoCrawler」:オープンソースを毎日紹介
Webサービスを作る上で、外部のデータを取得して何かしたいといったことは良くある。いや、外部に限ったものではない。ローカルのデータであっても取得して、それを検索したいという要望は良くあるものだ。 ユーザ側の検索画面 そうした時にクローラーを自作したりすると思うのだが、robots.txtの解釈や効率的なクローリング法を習得するのは大変なことだ。そこで試してみたいのがこれだ。 今回紹介するオープンソース・ソフトウェアはInfoCrawler、Java製のWebクローラーだ。 InfoCrawlerは設定項目も数多く、クローリングシステムとして優秀なものになると思われる。複数サーバ設置して分散化もできるようだ。HTMLや画像、各種バイナリ等ファイル種別を指定してクローリングを行うか否かを指定できる。 インデックスするファイルを指定する画面 認証が必要なサーバにも対応し、言語によってフィルタリン
Introduction to Information Retrieval
This is the companion website for the following book. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. You can order this book at CUP, at your local bookstore or on the internet. The best search term to use is the ISBN: 0521865719. The book aims to provide a modern approach to information retrieval from a co
hail2u.net - Weblog - Google AJAX Search APIのJSONPを利用したサイト内検索
Google AJAX Search APIは、動的にGoogle検索結果を自分のページに挿入することができるAPI(あまり使っているサイトを見ないけど)。Ajaxっつっても内部はJSONP(みたいなもの)だったりするので、普通にGwebSearchクラスのsetSiteRestriction()メソッドを使うのではなく、JSONPを直接叩いてサイト内検索を実装することもできる。もちろんサイト内検索に限った話ではないけど。 Google AJAX Search APIのGwebSearchクラスによる検索は、 http://www.google.com/uds/GwebSearch?callback={コールバック関数名}&context=0&lstkp=0&hl=ja&q={検索文字列}&key={Google AJAX Search API key}&v=0.1 というURLへリクエス
見つけて得するソースコード専用の検索エンジン - ＠IT
「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします。（編集部） プログラミングと検索エンジンは切っても切れない プログラミングと検索エンジンの関係は切っても切り離せないものです。プログラミングに役立つドキュメントやノウハウを探したり、参考になるサンプルプログラムを見つけ出せます。 さらにバグの回避方法を見つけたり、エラーメッセージを検索エンジンで探して、解決方法が見つかることも多いでしょう。良質のソースコードから、的確なアルゴリズムや、思いもしなかったようなコード例を見いだすのも新たな楽しみです。 さて、ここではプログラミングの際に便利に利用できるソースコード専用の検索エンジンをいくつか紹介しましょう。ソースコード専用の検索エンジンを利用した検索
MOCO Video-YouTube日本語タグ化アグリゲーター
動画のアップロード助けます 高度なカメラ機能を備えたスマートフォンの普及により、一般人でも簡単できれいに動画を撮影することが可能になりました。そしてYoutubeなどの動画サイトの普及により、その撮った動画を動画サイトに簡単にアップロードすることも可能になったのです。ただ簡単になったとはいえ、一般の方には難しいことも多々あります。そんな方々に我々は多様な「お助け」を提供しています！より簡単に、より楽しく動画アップロードができるのです！！ おじさんには難しい 5 Jan 2022 かんたん、かんたんって言うけれど、おじさんくらいの年齢になると、動画をアップすることはそんな簡単なことじゃない。チュートリアル動画見ても、わからないことあるので、こういったサイトはグッド！ Comment → filmoraでかんたん動画作成 4 Mar 2021 思い出に残したい動画も素早く編集してプロ級の出来栄
YouTubeビデオで喋られた言葉を検索できる『PODZINGER』 | POP*POP
以前からユニークな検索サービスを展開していた「PODZINGER」。Podcasting内の音声をテキスト変換して検索できる、というものでしたが、今回YouTubeにも対応したようです。 » Search Every Word Said on YouTube With Podzinger 本当に？などと思ってしまったのでちょっと試してみました。 ↑ YouTubeから検索したいときは「YouTube」タブを選択後、検索キーワードを入力します。今回は「Starbucks」で検索。 ↑ こちらが検索結果。なんと、その単語が動画内の何秒目で喋られているか、そして、どのような文脈で喋られているかもわかります。 ちなみに、YouTubeで「Starbucks」を検索した場合は、3,158件の結果が出ました。対してPODZINGERで検索すると4,161件の結果となり、本家YouTubeよりも多いです
最速インターフェース研究会 :: CPAN最速検索
作りました。 http://cpan.ma.la/ Firefox用パネル。ブックマークしてプロパティ→サイドバーに読み込む。 http://cpan.ma.la/panel.html 全モジュールのリストを改行で区切ったテキストファイルを受信してクライアントサイドで検索させています。クライアントサイドで検索させているのでサーバー負荷は全くかかりません。 仕組み省メモリ、高速に動作するように工夫してあります。 - 配列に変換せずに一つの巨大な文字列から検索 → 切り出し。 - クロージャで次の検索結果を取得する関数を保持しておいて、描画が必要になった時点で検索を実行。 -- その代わりにトータルのヒット件数がわかりません。 今の所の機能- 上下で選択、エンターでperldoc表示、マウスクリックでもperldoc表示。 - 正規表現がおかしくなければ、そのまま使えます。 -- 例えば \d
無料で「Google Mini」をゲット、Googleが検索アプライアンス乗り換えキャンペーン | パソコン | マイコミジャーナル
米Googleは11月9日(現地時間)、今年2005年末までに既存の社内の検索システムをGoogle製検索アプライアンスである「Google Search Appliance」に乗り換えたユーザーに対し、無料で「Google Mini」を提供する乗り換えキャンペーンを発表した。同アプライアンスは、企業のイントラネットに「Google.com」などと同等の検索環境を構築する製品。同社によれば、現在世界で2000社以上が顧客や従業員向けに導入しているという。 Google Search Applianceは、企業のイントラネットに存在する文書ドキュメントなどのインデックス化を行い、社内のリソースに対してもGoogle上でインターネット検索を行うのと同等の検索環境を提供するソフトウェアとハードウェアの一体化したアプライアンス装置だ。大規模環境向けの「Google Search Applia
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
