春山 征吾のくけー : fluent-plugin-out-solr を作りました. - livedoor Blog（ブログ）
https://www.unixuser.org/~haruyama/blog/ に移転しました http://wiki.livedoor.jp/haruyama_seigo/d/FrontPage @haruyama タイトルが思いつかないときはそのときかかってた曲をタイトルにしています. Apache Solr を Fluentd から更新したいなと思ったのですが, 既存の btigit/fluent-plugin-solr は Solr の field が固定されていて(https://github.com/btigit/fluent-plugin-solr/blob/d3b4e3baa6eb9951493ff22627d57497c929a6a3/lib/fluent/plugin/out_solr.rb#L44), 汎用性がありません. そこで, uken/fluent-plug
Solrを使う際にどうぞ。Ajaxベースの検索フロントエンド·AJAX Solr MOONGIFT
AJAX SolrはSolrのAjax検索インタフェースです。 個人的にもWebサービスの検索エンジンとして使うことが増えてきているSolr。そんなSolrのフロントエンドとして使えるソフトウェアがAJAX Solrです。 デモです。左側がフィルタ、右側に結果が表示されています。 結果の全文を読むこともできます。 フィルタ条件は左上に表示されています。×リンクをクリックして解除することもできます。 社内の検索エンジンに採用したりした場合、管理画面を作る手間なくAJAX Solrを使えます。検索エンジンをより手軽に使えるソフトウェアです。 AJAX SolrはJavaScript製のオープンソース・ソフトウェア（Apache License 2.0）です。 MOONGIFTはこう見る ローカルOSにおける検索エンジンは随分と広まってきたような思います。しかし意外とまだまだ弱いのが社内のファイ
春山 征吾のくけー : Anuenue-0.8.1 と StandardPlusTokenizer - livedoor Blog（ブログ）
2012/12/17 anuenue-wrapper - A Search Package with Apache Solr - Google Project Hosting 0.8.1 をリリースしました. 0.8.1 では, デフォルトのcore で拙作の StandardPlusTokenizer を利用できるようにしました. Lucene/SolrのStandardTokenizerは, 記号などの文字を捨ててしまいます. 「つのだ☆ひろ」の「☆」がなくなっているのが見えます. StandardPlusTokenizer は, 空白文字以外の文字をすべて切りだします. 「つのだ☆ひろ」の「☆」は残ります.
『Ruby on RailsとApache Solrで構築するドキュメント全文検索システムの開発』
はじめまして、アプリケーションエンジニアをしています、たかぎわ (@shun_tak) と申します。 2013年度4月入社予定の内定者で、現在はアルバイトとして週に2日間ほど勤務しております。 今回のエントリーでは、私が業務で開発した社内システムについて紹介しようと思います。 社内システム Tech Search を開発・リリースしました。Tech Searchのリリースにより、社内に蓄積された知識資産の活用が大幅に改善されました。 Tech Searchとは、弊社の研究レポート制度を利用して執筆されたテックレポートの全ファイル・全文章を横断的に検索するための社内システムで、Ruby on RailsとApache Solrを利用して実現しました。全文検索だけでなく絞り込み検索も実装し、UIにも手を抜かず、ユーザーに使いやすいシステムを目指して開発しました。 Tech Searchがリリー
Solrの導入資料を公開します - Hatena Developer Blog
こんにちは、 id:yanbe です。 全文検索エンジンLucene上に構築されたSolrという検索ミドルウェアがあります。拡張性・カスタマイズ性に富み、既存のデータのインポート機能が豊富なのもあって、広く利用されています。 参考: Solr - Wikipedia 国内のウェブサービスでのSolrの採用事例を挙げるとNAVERやCookpad、アメーバなどがありますが、はてなでも以前より一部のサービスでSolrを採用しています。 Solrの公式ドキュメント(英語)はwiki形式で提供されており、網羅的な情報はこちらで手に入ります。また、Solrの基本的な使い方を学べるチュートリアルもありますが、「すでにある典型的なLAMP構成のウェブサービスにSolrによる検索機能を組み込む」までには、ここからさらに多くの情報を調べる必要があり、Solrの導入のハードルとなっていると感じました。 そこで
Emerge Technology: Solr始めました その2
前回からの続きになります。今回はexampleディレクトリのsolr/conf/schema.xmlを見ていきます。schema.xmlについてのマニュアルはこれ。 schema.xmlは名前の通りインデックスファイルのスキーマを定義しています。これは、schema要素の直下にtypes要素とfields要素があります。types要素は、フィールドが取りうる型fieldTypeで定義します。一番最初の要素を見るのが分かりやすいと思います。 <fieldtype class="solr.StrField" name="string" omitnorms="true" sortmissinglast="true"> ここでは、stringと言う型を定義しています。それに対応するclassがsolr.StrFieldになっています。classの値はjavaのクラスファイルです。solrはsolr
Emerge Technology: Solr始めました その1
生まれ変わった「Days of Liris」。プログラミングのこと、Pythonのこと、気になったソフトウェアのこと、身の回りのこと、いろんなこと。など 最近、Solrで遊んでいます。Solrと言うのは、Luceneをベースに全文検索機能や分散処理、フェイルオーバーとなどの機能を提供してくれるはずです。Luceneで検索システムを作り込んでいくと、ある規模に達するとSolrが提供してくれているような機能が必要になってきます。それらを自分たちで作り込んでもいいのですが、それは単にSolrの再発明に他なりません。と言うことで、Solrの検討に入りました。 何はともあれ、第一印象としては、「わかんね〜」。Solrのトップページはそれなりすごいことを書いていますが、体系立てたドキュメントがありません。すべてを網羅されているようにも見えません。日本語のドキュメントがないのは別にどうでもいいのですが、
春山 征吾のくけー : 2011/10/02 明日から働く - livedoor Blog（ブログ）
2011/10/02 週末はゴッドタンのマジ歌のジェッタシーにやられていた. 半年くらい働いていなかった(ECナビの最終出社は4/6)けど明日から社会復帰. 明日の準備は万全のはず. 働いていない間にやったことを挙げる. Scala で SSH クライアントを書いた haruyama/ssh_client_sample - GitHub ssh/SSHプロトコル概要 Scala 勉強会で発表した SSH 関係の RFC を翻訳した haruyama/ssh_rfc_ja - GitHub http://www.unixuser.org/~haruyama/RFC/ssh/ 情報セキュリティポリシー サンプル を公開した. ECナビ時代に作成したものだが, 追記変更もしている haruyama/SecurityPolicySample - GitHub Solr/Tokenizer評価201
sunspot_rails - maeshimaの日記
sunspot_rails/README.rdoc at master from outoftime/sunspot - GitHubの意訳。 Sunspot::Rails は Sunspot の Solr 検索を Rails に統合するためのプラグイン。下記のような機能を提供する。 config/sunspot.yml で sunspot の設定が出来る ActiveRecord を拡張してインデックスの作成／設定と検索とを楽にする ActiveRecordのオブジェクトが保存されたときや削除されたときに自動でインデックスも作成／削除される(機能をオフにすることも出来る) 自動で各リクエストの最後に Solr の変更をコミットする(機能をオフにすることも出来る) 孤立したドキュメントを探して直してインデックスを再構築するメソッドを提供 Solr インスタンスを sunspot.yml の
はじめての MySQL で100万件のデータを管理する時に行ったチューニングまとめ
MySQL の勉強をせずにフレームワーク等で SQL を書かずに Web サイトを構築していました。データ数も2万件程度でしたので、そこまで困ることはありませんでしたが、今回100万弱の商品データを扱う機会ができたので、MySQL のチューニングや発行する SQL について見直す機会がありました。 この記事では MySQL を高速化するのに行った対策など勉強したものを自分用にメモしておきました。 条件式で比較するカラムにインデックスを使用して高速化 商品コードで存在しない商品を見つけて、商品をDBに登録するという処理を行っている場合、4万件超えたころから処理に2秒以上かかるようになってきます。12万件超えた頃には10秒程度かかるようになってしまいましたが、商品コードのフィールドに対してカラムインデックスを貼ることで0.2秒に短縮することができました。 MySQL のリファレンスにも以下のよ
Apache Solr を利用した検索パッケージ Anuenue - mixi engineer blog
研究開発グループの takahi-i です。 先日名前だけご紹介したAnuenue というツールをご紹介させていただきます。Anuenue は Apache Solr のラッパーであり、検索クラスタの構築と運用を容易にする目的で制作されました。 本稿では始めに Apache Solr を選択した理由について述べ、その後、このツールを開発した背景とその目的をご紹介させていただきます。後半では実際に Anuenue を用いて検索クラスタを立ち上げます。 なぜ Apache Solr を採用したのか 昨年の秋、弊社の検索エンジンを置き換えるという計画が社内で策定され、ベースとなる検索エンジンの選定のために多くの OSS 検索エンジンを比較検討しました。このとき重視したのは一台の検索パフォーマンスと同時に、保守の容易さと、開発コミュニティの規模です。 検索エンジンの保守性に関して特に重要と考えたの
Lucene Revolution 2011 に参加しました - mixi engineer blog
研究開発グループの takahi-i です。 先日 Lucene Revolution という Apache Lucene / Solr に関する会議に参加してきました。ここでいう Lucene とは Java ベースの全文検索エンジンです。 Lucene (ルシーン) は優秀な全文検索エンジンなのですが、Lucene から実際にWebサービスで提供される検索サービスを作るのにはそこそこコストがかかります。これに対して Solr （ソーラ） は Lucene をベースにした検索プラットフォームで、簡単に検索サービスを立ち上げられるパッケージ（Webインターフェース、Spell Check機能等）を提供しています。 Lucene / Solr 共に多くの企業が提供する検索サービスで利用された実績を持ちます。 今年の Lucene Revolution はサンフランシスコで開かれ、開発者および
『アメーバサーチにApache Solr 1.4をつかってみた』
皆様、こんにちわ 新規開発局コアテクGで、現在はサービスの管理ツールなどの開発を担当しているGakuです。 現在は担当していないのですが、以前に担当しており、全面的に作り直したアメーバサーチについて書かせていただこうかと思います（一番大変だったんですが、一番楽しい開発でした）。 ■以前のアメーバサーチ Lucene使用（RMI機能を使ってました） 検索対象：6000万件ほど（直近3ヶ月～6ヶ月） スケールアップがしにくいつくり Luceneのバージョンアップもむずかしい（バージョンアップ後はRMIは非推奨化予定でした。使えないなと） 「アクセス過多のため・・・・・」と検索できない事が頻発 QPS（一秒辺りの検索数） 50ぐらい（4セット合計で） 急激にアメブロの記事数が増えていた為、明らかにキャパオーバに陥ってしまっていました。 それで・・・・・・・・・ ユーザの方々からおおいにお怒りの声
FrontPage - Solr - Apache Software Foundation
Solr DocumentationOfficial documentation for the latest release of Solr can be found on the Solr website. Of particular note is the Solr Reference Guide which is published by the project after each minor release. The rest of this wiki is community edited and captures version agnostic information, User submitted Tips & Tricks, historical information on Solr, as well as some areas of Solr not yet co
ECナビ デベロッパー ネットワーク: NavicSearch API で利用しているTokenizer 0.7
Solr 1.4が2009/11/10に公開されました. ECナビではまだSolr 1.4を実際のサービスには利用してませんが, Tokenizerを1.4に合わせて変更したので公開致します. NavicSearch APIで利用している Tokenizerは, Solr付属のCJKTokenizerとほぼ同等の動きをします. ラテン文字についてはスペースで分割してTokenを作成. 非ラテン文字については bi-gram でTokenを切り出します. ソース: ecnavi-tokenizer-for-solr-1.4-0.7-dev.tar.bz2 ECナビ デベロッパー ネットワーク: NavicSearch API で利用しているTokenizer 0.5からの変更点は以下の通りです. Solr 1.4に対応しました.
全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利な情報リスト集
はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日本語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 本エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.