9 Tips on ElasticSearch Configuration for High Performance
The Loggly service utilizes Elasticsearch (ES) as the search engine underneath a lot of our core functionality. As Jon Gifford explained in his recent post on Elasticsearch vs Solr, log management imposes some tough requirements on search technology. To boil it down, it must be able to: Reliably perform near real-time indexing at huge scale – in our case, more than 100,000 log events per second Si
Vagrant環境にpuppetを利用してさくっとelasticsearchのclusterを作成する - すずけんメモ
追記 2014/02/06 19:58 わかりづらかったのでテンプレートのrepositoryを作りました。 https://github.com/suzuken/vagrant-puppet-elasticsearch-cluster-sample 追記 2014/02/07 10:00 johtaniさんが本記事を元に実際に環境を試してくださってました。-> すずけんさんのメモを元にVagrantでElasticsearchクラスタを起動してみた - @johtaniの日記 2nd http://blog.johtani.info/blog/2014/02/06/es-cluster-start-using-vagrant-and-puppet/ cluster構成をつくってみる。結論から言うと、 ちゃんとnetwork.hostをVMに設定する すると勝手にmulticastでnod
Search logs using Fluentd and Kibana - Go ahead!
Search logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stored events, then you can use Kibana and ElasticSearch :) ElasticSearch is a easy to use Search Engine and Kibana is a great Web UI for ElasticSearch with LogStash format. Setup Pre requirements Java fo
『Ruby on RailsとApache Solrで構築するドキュメント全文検索システムの開発』
はじめまして、アプリケーションエンジニアをしています、たかぎわ (@shun_tak) と申します。 2013年度4月入社予定の内定者で、現在はアルバイトとして週に2日間ほど勤務しております。 今回のエントリーでは、私が業務で開発した社内システムについて紹介しようと思います。 社内システム Tech Search を開発・リリースしました。Tech Searchのリリースにより、社内に蓄積された知識資産の活用が大幅に改善されました。 Tech Searchとは、弊社の研究レポート制度を利用して執筆されたテックレポートの全ファイル・全文章を横断的に検索するための社内システムで、Ruby on RailsとApache Solrを利用して実現しました。全文検索だけでなく絞り込み検索も実装し、UIにも手を抜かず、ユーザーに使いやすいシステムを目指して開発しました。 Tech Searchがリリー
第3回solr勉強会(アメーバにおけるsolrの利用)
Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 第3回solr勉強会(アメーバにおけるsolrの利用) - Presentation Transcript 第3回 Solr勉強会 株式会社サイバーエージェント 新規開発局 安田 征弘 第3回 Solr勉強会 自己紹介 ・ 安田征弘（やすだ まさひろ） ・ 2008年からアメーバで働く ・ 今まで関わったサービス 2008年 ～ 2010年 - ブログネタ 2010年 ～ 2010年6月 - アメーバサーチ - なう検索 - タレント検索 現在の担当 - アメーバサーチの負荷改善及び機能追加
ECナビ デベロッパー ネットワーク: NavicSearch API で利用しているTokenizer 0.7
Solr 1.4が2009/11/10に公開されました. ECナビではまだSolr 1.4を実際のサービスには利用してませんが, Tokenizerを1.4に合わせて変更したので公開致します. NavicSearch APIで利用している Tokenizerは, Solr付属のCJKTokenizerとほぼ同等の動きをします. ラテン文字についてはスペースで分割してTokenを作成. 非ラテン文字については bi-gram でTokenを切り出します. ソース: ecnavi-tokenizer-for-solr-1.4-0.7-dev.tar.bz2 ECナビ デベロッパー ネットワーク: NavicSearch API で利用しているTokenizer 0.5からの変更点は以下の通りです. Solr 1.4に対応しました.
Rubyで作る実験的Quicksilverのようなもの - ザリガニが見ていた...。
前回探った、略語（Abbreviation）と関連するテキストを点数付けするアルゴリズムは、Quicksilverの使い勝手を左右する重要な要素の一つだ。とすると、このアルゴリズムを取り込めば、なんちゃってQuicksilverもどきが出来るかもしれない...。と思って、まったく実用的ではないのだけど、実験的なソフトウェアとして試してみた。 作業環境 MacBook OSX 10.6.2 ruby 1.8.7 (2009-04-08 patchlevel 160) [i686-darwin9] 以下、コード中に半角￥が見える場合は、すべて半角＼に置き換える必要があり。 Ruby版 scoreForAbbreviation Stringクラスを拡張して、to_scoreメソッドを追加した。 正規表現を利用して実装した。 マッチした部分とその前後の文字列が簡単に取得できるので、Objectiv
Yahoo!検索プラグインとメタデータの埋め込み
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。検索開発部の佐藤 学です。 Yahoo!検索では昨年12月に、Yahoo!検索プラグインという機能を一部リリースしました。 機能面や全体の仕組みについては、以前の記事 で紹介していますので、こちらをご覧ください。 今回は検索結果をリッチ表示化するために必要な構造化データの提供を行う方法の一つである、HTMLへのメタデータ埋め込みについて紹介したいと思います。 検索結果のリッチ表示化と構造化データ Yahoo!検索では、すでに飲食店やレシピといったジャンルでリッチな検索結果表示を提供していますが、 まだYahoo!検索側でサイトを選択し、個別に構造化データを抽出しているケースが多いのが現状です。 この方法ではHTMLの変
MySQL InnoDBだけで全文検索 - SH2の日記
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
オレオレ検索窓を設置しよう - mixi engineer blog
まだピクミン2をクリアしてないのでケジメ的に新作ゲームを買えないmikioです。今回は、Tokyo Cabinetを使って激烈簡単に特定サイトの専用の検索機能を設置する方法について説明します。クローリングから検索までを10分くらいの作業で可能にします。 特定サイトの検索エンジン Web全体の検索機能を作るのは、途方もない技術力と設備を持っているGoogleやMicrosoftなどのビッグプレーヤでないと難しいのが現実です。でも、自分が気に入っているいくつかのサイトを対象とした検索エンジンを作るのであれば個人だってできます。また、インターネットから手が届かないイントラネットのコンテンツの検索機能は自分達で手がけないと構築できません。 ということで、企業用の検索システムが数多く売られていますし、LuceneやGroongaやHyper Estraierなどのオープンソース製品も世に多数存在しま
Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（３） - llameradaの日記
GoogleのFellowであるJeffrey Dean氏のWSDM'09における講演"Challenges in Building Large-Scale Information Retrieval Systems"のスライドの翻訳の第3回です。Googleの検索システムの10年間の進化の軌跡が紹介されており、今回は2004年から2007年ぐらいまでの検索システムの紹介とインデックスの符号化方式、検索精度を向上させるための実験環境についての紹介となります。個人的には分岐処理を徹底的に排除したGoogleの最新の符号化方式が興味深かったです。イタリック体で一部解説・感想をいれています。翻訳は素人なので詳しくは元の資料を参照してください。 第1回：Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（１） - llameradaの日記 第2回：Google WSDM
新しい広告のプログラムのテストについて
ご存じかもしれませんが、私たちは Google のミッションとして、「世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすること」を掲げています。そして、私たちのビジネスの重要な一部である「広告」も価値のある情報源であるべきだと考えています。それゆえ、Google やGoogle のパートナーのサイト上で、ユーザーがそのとき必要としている情報にできるだけ関連のある広告を掲載するための技術の開発に力を注いでいます。 昨日、米国で発表したように、Google は、新しい広告のプログラムのテストを開始する予定です。Interest- Based Advertising （＝興味/関心に基づく広告）と呼ばれるもので、Google AdSense パートナーサイトと YouTube で提供されます。これは、ユーザーの皆さんが訪れるウェブサイトの情報を、AdSense 広告配信の判断条件に
canonical属性とは／link rel=”canonical”によるURL正規化タグ——SEOにとって非常に重要な進歩（前編） | Web担当者Forum
canonical（カノニカル）タグは、<link rel="canonical" href="○○">のように使われます。そもそもcanonical属性とは検索エンジンに対してどんな意味を持ったタグなのでしょうか？ 基本情報からSEOで活用すべきシーンなどを事例で紹介します。 ヤフー、グーグル、そしてMSN Live Search（マイクロソフト）は、新しい「URL正規化タグ」をサポートすると発表した。 このタグを使えば、ウェブマスターやサイトオーナーが検索エンジンのインデックス内での重複コンテンツ問題を解消できる（ただし、自サイト内の問題のせいで生じる重複インデックスのみ）。 僕が思うに、これはSEOのベストプラクティスにとって、サイトマップの登場以来最大の変化だと思う。SEOmozでは最新ニュースを届けることより戦略について論じることに重点を置いているから、このブログで検索エンジン関
検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入（URLの正規化） ::SEM R (#SEMR)
検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入（URLの正規化） Google、Yahoo!、Microsoft3社が rel="canonical" （正規化、canonicalization ）をサポート。クローラが適切な（canonical）サイトを見つける手がかりに。rel="canonical" はページの head の中に記述すること。 公開日時：2009年02月13日 15:37 Google、Yahoo!、Microsoftの3社は2009年2月12日、共同で新しいタグ「 rel="canonical"」のサポートを開始した。rel="canonical"（属性）は、検索エンジンに正しいサイトのURLを認識(正規化、canonicalization）させるために使用される。 同じサイト（ドメイン）でも、たとえば www.sem-r.com、se
Google検索、世界で不具合 「人的ミス」で全URLに「コンピュータに損害を与える可能性」
米Googleは1月31日、日本を含む世界のGoogle検索で約40分間にわたり、全検索結果に「このサイトはコンピュータに損害を与える可能性があります」と表示された不具合について、「問題のあるサイトリストを提供しているStopBadwareの人的ミスだった」と説明し、ユーザーやサイトオーナーにブログで謝罪した（Googleに不具合 全検索結果に「コンピュータに損害を与える可能性」とメッセージ）。 （※）2月2日午後3時30分追記：Googleのブログの記述に対してStopBadwareが反論。Googleはブログの説明を訂正した。（Googleの障害、原因はうちじゃない――StopBadware.orgが反論） 検索担当副社長マリッサ・メイヤー氏の名で更新されたブログによると、不具合が起きたのは、太平洋標準時で31日6時30分～7時25分ごろ（日本時間の31日午後11時30分～2月1日午前
転置インデックスで学ぶ検索エンジンの中身アプリ - シリコンの谷のゾンビ
学生の頃から情報検索っぽい研究をやっていたくせに，転置インデックスてこんなものなんだ，ということを知るまで検索エンジンが正直怖かった．転置インデックスの概要を理解したら急に甘く見はじめるようになった（それはそれでいかんのだけど）． 位置情報を持たせたり，転置インデックスの圧縮をした状態で説明されると急にアッーてなるけれど，一番単純な例を見るとすぐに理解できる． というわけで転置インデックスってこんな感じなんですよー．という一例を体験するプログラムをつくってみた．またJavaScript+TinySegmenter．工藤様毎度ありがとうございます． Text search indexing demo - 転置インデックスで学ぶ検索エンジンの中身アプリ これを見ると，転置インデックスって基本的にこういう構造でデータを持つのかということが納得できると思います．Termをkey，Posting l
JavaScriptとPHPでつくるAjaxインクリメンタル検索：CodeZine
はじめに Ajax（エイジャックス：Asynchronous JavaScript＋XMLの略称）はウェブ上のサービスを中心に普及してきました。 皆さんの開発現場でAjaxは活用されているでしょうか？ 最近はいろいろなJavaScriptフレームワークが出てきているため、Ajaxのサンプルもウェブ上に多く掲載されています。しかし、特定のJavaScriptフレームワークやWebアプリケーションフレームワークに依存したサンプルは制約も多いため、活用を躊躇しているITエンジニアも多いのではないでしょうか？ この記事では、特定のフレームワークを利用せずにAjaxによるインクリメンタル検索を実装してみることで、Webアプリケーションの基礎を振り返ってみたいと思います。 今回作成するインクリメンタル検索アプリは、蔵書の検索です。完成イメージを以下に示します。 本記事は、以下の順序で進みます。 全体の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPでPageRankを計算するサンプルコード:phpspot開発日誌
x.com