魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
Apache Lucene 使い方メモ - Qiita
1.8.0_20 デモを動かす インストール ここ から zip または tar をダウンロードする。 以後、 F:\tmp\lucene の下に以下のように解凍したと仮定して説明を続ける。 F:\tmp\lucene `-lucene-4.9.0 |-CHANGES.txt |-JRE_VERSION_MIGRATION.txt |-LICENSE.txt |-MIGRATE.txt |-NOTICE.txt |-README.txt |-SYSTEM_REQUIREMENTS.txt |-analysis/ |-benchmark/ |-classification/ |-codecs/ ： （以下略）
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch February 10, 2014 at 01:05 AM | categories: solr, aws, elasticsearch, web | 候補の選定方法 候補を選定するにあたって、以下の特徴をもっていることを前提とした。 LuceneやGroongaを使えば何でもできるが、ここでは対象としない。 ウェブベースのインターフェースを持つ インデックスの更新はほぼリアルタイムに反映される スケールアウトが容易 Solr https://lucene.apache.org/solr/ Luceneをバックエンドにした全文検索システム。バージョン4になってから大幅に機能が増強された。 長所 実績が十分ある 機能豊富 短所 クラスタを構築して運用するには手間がかかりそう S
ElasticSearchの運用とか (1) - なんかかきたい
最近のお仕事的なことですが、ElasticSearchの構築・運用を任されるようになりました。 まかされるというか、実際にはいい感じに全文検索ができる仕組みを作って欲しいといういつもの依頼だったんだけども、全く運用の経験の無いプロダクトだったので色々わからないことだらけ。 最近はKibanaと組み合わせて言い感じのグラフを作るのがWeb屋さんの間で流行っているイメージですが、Kibanaを除いたElasticSearchの細かなところに踏み込んだ情報はあまりない感じで（多分感心があまりないのかも）、結局マニュアルを色々読んでわからないところを補完していった感じです。 同じようにElasticSearchを使って検索機能を作っていきたいような人の参考になればいいなー程度にまとめて行こうと思います。そのうち自分でも見直すことになるだろうし。 一応手元にmarkdownでまとめたものもあるんだけ
elasticsearchでらくらく全文検索 - UNIX的なアレ
検索エンジン選びは大変です！現時点でnanapiではmroongaを使っていますが、もっと検索エンジンらしい機能がほしくなったりします。 またそれ以外にも今後拡張するだろう機能をカバーしきれないような予感が徐々にしているので、ゆるゆると検索エンジンを検証し始めています。 そんななか、elasticsearchがイケてるらしいという情報をキャッチしたので使ってみました。今回はelasticsearchを簡単に動かすまでのチュートリアル的なものを紹介します。 Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic elasticsearchとは？ Apache Lucene上で稼働する全文検索エンジンです。 特徴としては、REST APIをもちJSONですべてやり取りできるところです。このあたりから
O'Reilly Media - Technology and Business Training
More than 5,000 companies count on our digital courses and more to guide their teams through the tools and technologies that drive business outcomes. We can help yours too. New AI policy for O’Reilly authors and talent O’Reilly president Laura Baldwin shares the company’s ethical approach to leveraging GenAI tools and ensuring O’Reilly experts are compensated for their work. See it now It’s time t
文系プログラマによるTIPSブログ
2020-12-31 2020年の振り返り ゲーム 仕事 2020年を振り返りますよ ブログ・SEO 仕事 個人開発 GitHub リングフィットアドベンチャーを買った 辛いスキルランキング 1位 マウンテンクライマー 2位 プランク 3位 スクワット 4位 バンザイスクワット 5位 バンザイプッシュ 思ったより辛いスキル ベント… 2020-05-09 TSLintからESLintに雑に移行する react typescript redux 雑の極みです 2020-02-28 Ionic React+CapacitorでElectron利用時にstaticがずれる件に対応する react 初見殺しなのでメモです 2019-12-21 PostmanでGlobalsの環境変数をリクエスト結果で更新する API postman 毎回手作業で更新しなくていいのです 2019-12-14 REA
検索エンジンの常識をApache Solrで身につける
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
Nutch と Solr の連携 その1 〜 Nutch のインデックスを Solr からのぞいてみる 〜 - Solr, Python, MacBook Air in Shinagawa Seaside
Nutch はクロールしたデータの管理に Lucene 形式 のインデックスを使っています。 このため Lucene を使って Nutch のインデックスにアクセスしたり、Solr を使って検索することができます。 ちなみに3者の関係を整理するとこんな感じです。 Nutch : Webクローラ。内部データの管理に Lucene を使っている Lucene : 全文検索システムを実現するためのJavaのライブラリ Solr : Luceneを使って実装された全文検索システム Java のコーディングが得意な方は Lucene を使ってインデックスの中見ることができますが、そうじゃないボクのような人は Solr を使って見る方が楽かもしれません。 ここではSolr から Nutch の Lucene 形式のインデックスをのぞいてみる方法について書いてみます。 Solrのインストールがまだな方は
SolrのTomcatへのインストールでハマる:お題目うぉっち
2008年04月06日 SolrのTomcatへのインストールでハマる 早速SolrをTomcat6.0の環境にインストールしてみる。 最初は、IBMの記事を参考にしたのだが、「以下のいずれかの方法で、Solr のホーム・ロケーションを設定します」のあたりで具体的に何をすべきかのかがわからなくなってしまった。 とりあえず、apache-solr-1.2.0.war ファイルはダウンロードしてあったので、これを $TOMCAT_HOME/webapps の下に置いてみたり、TomcatのWebアプリケーションマネージャ（http://localhost:8080/manager/html/）から配備してみたりしたが、いずれも失敗。画面が出るはずのURL（http://localhost:8080/solr/admin/）にアクセスしても、404エラーになってしまう。 Webアプリケーションマ
Apache Solrを使ってみた。
Apache Solrというのは、Javaベースの検索エンジンシステムです。 「ソーラ」と呼ぶそうです。どうしても覚えられません。 Solr - Wikipedia 実はモバツイッターにも、秘かにツイッターのログ検索なる機能が追加してありまして、モバツイのエゴサーチなどをして、不具合がないかを調べていたりします。 検索エンジンはmysql + sennaを使っているのですが、自分のマシンのスペックよりも、データ量が増えてしまった状態らしく、ヒット数が多い「tinyurl」などの文字列で検索すると、めっさ遅いという状態になってしまいました。 おそらくmysqlの設定などはまだまだ余地があるんでしょう、と、いろいろ工夫しようとしたのですが、どうせならsenna以外も使えるようになりたいなぁと思って、こちらのtwitter検索で使われているSolrってのがあるというお話を聞いたので、Java久々
全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利な情報リスト集
はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日本語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 本エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オープンソース全文検索サーバー Fess
オープンソース全文検索サーバー Fess
Elasticsearch入門 pyfes 201207
ElasticSearch入門
Elasticsearch Platform — Find real-time answers at scale
はてなブログ | 無料ブログを作成しよう
関口宏司のLuceneブログ