RailsでRDBデータをElasticsearchに超高速で全件登録したい気持ち(未検証) - sasasin’s blog
Rails何もわからない民。RDBのデータ件数が猛烈に多く、Elasticsearchへの全件登録にXX時間かかるので、どうにかしようとしている。以下は妄想メモ。そのうち検証する。 現状から書き換えてみる これがテーブル全件登録。現状これでXX時間かかっている。 __elasticsearch__ は elasticsearch-rails というgemがモデルクラスに生やしてるオブジェクト。ここに import とか index_document などのメソッドが生えている。 import の実装は https://github.com/elastic/elasticsearch-rails/blob/master/elasticsearch-model/lib/elasticsearch/model/importing.rb#L140-L185 Hoge.__elasticsearch
docker-composeでのRails環境にElasticsearchを組み込む - ウェブエンジニア珍道中
dockerを用いたRailsの開発環境に新たにElasticsearhを組み込んだのでまとめます。 Dockerの設定 docker-compose.ymlを以下のように修正します。 version: '2' services: rails: # ~ imageとか元々の設定（省略） ~ # 追加 depends_on: - elasticsearch # 追加 elasticsearch: image: elasticsearch:5.6.10 # 追加 kibana: image: kibana ports: - 5601:5601 depends_on: - elasticsearch Elasticsearchが動くコンテナを追加して、depends_onで起動順を制御しています。 kibanaも入れています、ブラウザ上で操作・確認がしやすいからです。 Rails側の設定 gem
Elasticsearch のインデックスを無停止で再構築する - クックパッド開発者ブログ
こんにちは。ホリデー株式会社の内藤です。 ホリデー株式会社では Holiday（https://haveagood.holiday） という新規サービスの開発・運営を行っています。*1 以前投稿した記事でご紹介したように、Holiday では全文検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス公開後のインデックスの再構築です。 elasticsearch-rails
Elasticsearchのインデキシングに関するパフォーマンス検討
Elasticsearchのインデキシングに関するパフォーマンス検討 原文：performance considerations for elasticsearch indexing Elasticsearchユーザは様々な楽しいユースケースを持っています。小さなログを追加することから、Webスケールの大きなドキュメントの集合をインデキシングするようなことまでです。また、インデキシングのスループットを最大化することが重要で一般的な目標となります。 「典型的な」アプリケーションに対して良いデフォルト値を設定するようにしていますが、次のちょっとした簡単なベストプラクティスによってインデキシングのパフォーマンスをすぐに改善することができます。それらについて記述します。 第一に、制御できないならば、巨大なJavaヒープを使用しない：必要なサイズ（マシンの持つRAMの半分以下）のheapだけを設定し
ElasticSearchのインデクシングを高速化する - サナギわさわさ.json
諸事情でElasticSearchの事ばっかり書いてますが、Solrの方が好きです。 ElasticSearchのインデクシングを高速化するためにやった事を残しておきます。 基本的には↓に書いてあることばかりです。 Performance Considerations for Elasticsearch Indexing | Elastic データ投入方法 データの投入にはBulk APIを使います。 なお、公式では1つのbulk Importのサイズは5~15MBにすることを推奨しています。 curl -XPOST http://localhost:9200/_bulk --data-binary @databatch.json >/dev/null メモリ関係 ES_HEAP_SIZEに実メモリの半分程度を割り当て、mlockall:trueでElasticSearchのメモリがスワッ
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
RailsでElasticsearch: ページネーションと１ページの表示件数を実装 - Rails Webook
前回の記事で、「RailsでElasticsearchを使って簡単な全文検索」を実装しました。 今回は、「ページネーション・１ページあたりの表示件数」について実装していきます。 ページネーションの実装は、Railsのページネーションを実装する有名なgemのkaminariを使って実装します。 目次 データを投入 ページネーションのためのElasticsearchのクエリ Elasticsearchでページネーションを実装 ページあたりの表示件数を変更 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2 elasticsearch-model 0.1.8 elasticsearch-rails 0.1.8 1. データを投入ページネーションのためにデータを増やします。 #
NewRelic / Elasticsearch ではじめるSREに必要な性能監視入門
NewRelic / Elasticsearch ではじめるSREに必要な性能監視入門 https://supporterzcolab.com/event/177/ にて話した資料です！
CircleCI 2.0でElasticsearchを起動しつつテストする - その手の平は尻もつかめるさ
例えばElasticsearchを使ったプロジェクトがあったとして，それをCircleCIで継続的にテストしたいとする．CircleCI 2.0はコンテナベースのCI環境なので，そのプロジェクトが採用している言語のコンテナの上でElasticsearchを動かす必要がある．どうするか． circleci.com CircleCIのドキュメントに記されている通り，docker imageは複数起動することができる．一番目に指定したdocker imageはprimary containerとして取り扱われ，stepsに書く手続きは全てそのコンテナ上で実行される．それ以降にdocker imageを指定した場合はそのimageがprimary containerと共通のネットワーク上で立ち上がり，そのコンテナ上で公開されているポートについてはprimary containerのlocalhos
Circle CIで動かす用のDocker Image for Elasticsearchを作った - kenju's blog
github.com Circle CI 2.0 Betaに移行する中で必要だったので、Docker Imageを作成して公開した。 課題 Circle CIなどのCI環境でElasticsearchを動かそうとすると、メモリが足りずにOOMエラーで落ちることがある。 そうした場合、vm.max_map_countオプションなどをいじってElasticsearchを動かせばいい。 しかし、Circle CIなどでは変更できるシステム設定に限りがある。 解決策 Elasticsearchコンテナを立ち上げるときに indices.fielddata.cache.size を低めに設定する indices.breaker.fielddata.limit を低めに設定する ことで、ある程度メモリ容量が制限されたCI環境でも動くような設定ができる。 それらをまるっとまとめて公開したのが、先のDoc
Elasticsearch を 1.7.5 から 2.3.5 へ移行しました | カメリオ開発者ブログ
白ヤギの開発者の森本です。 白ヤギではニュース記事のキュレーションをする カメリオ API というサービスを開発していますが、検索バックエンドとして Elasticsearch を使っています。 カメリオ API は約1年3ヶ月前に開発を始めたのですが、当時は 1.7 系を使っていました。昨年の夏から秋ごろにかけて 2.0.0 のベータ版がリリースされ、2015-10-28 に GA がリリースされました。現時点の最新バージョン (安定版) は 2.3.5 になります。 Elasticsearch 2.0.0リリース(日本語訳) Elasticsearch 1.x と 2.x は非互換となるため、検索インデックスやアプリケーションの変更なしに移行することはできません。2.0.0 リリース後の翌日に早速 ITS にチケットを作りました。その後どうなったかというと、いまこの記事を書いていること
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
elasticsearch-railsで任意のリクエストを送れるperform_requestメソッドが便利
elasticsearch-railsのソースを軽く読んでいたら、任意のリクエストを送れるperform_requestという便利メソッドがあったので紹介します。 Elasticsearch / Rails / Ruby Blog::PostがElasticsearch::Modelをincludeしているとして Blog::Post.__elasticsearch__.client.perform_request(:get, 'blog-posts/_count').body => {"count"=>2, "_shards"=>{"total"=>5, "successful"=>5, "failed"=>0}} という感じで任意のHTTPリクエストを送れます。 Awesome Printを使えば結果も見やすくなります。 ap Blog::Post.__elasticsearch__.
Elasticsearch 5.xの新機能と、1.xから5.xへのアップグレード - /var/log/soymsk
この記事は、Elastic stack Advent Calendar 2016の11日目の記事です。 Elasticsearch クラスタを1.7 から 5.0.2まで上げたときに、それなりに変更点が多く、苦労しました。 本記事では、そのときのノウハウを元に、 1.xを使っていて、5.xに上げたいと思っている 人を主な対象に、アップグレードの注意点や、1.xからの追加・変更機能について書きたいと思います。 世の中的にすでに2.xの人が多いと思いますが、数ヶ月前にElasticsearch勉強会に参加した際に、まだ1.xを利用している人がそれなりにいたので、今でもまだ役に立つかなと思います。 とはいえ ver2.xからの変更点も含むので、今2.xを使っている人にも参考になるように書きます。 モチベーション Reindex APIが使いたかった。 Kibanaでダッシュボードの共有URL(s
いつも入れているElasticsearchのプラグイン
elasticsearchに、このへん入れるときっと幸せになれるはず・たぶん。 elasticsearch/elasticsearch-analysis-kuromoji/1.6.0 oyrusso/elasticsearch-HQ mobz/elasticsearch-head — toshi_miura (@toshi_miura) 2014, 3月 5 こんなツイートを見かけたので、普段入れてるプラグインを簡単に紹介してみようかと。 ローカルの環境に普段入れているプラグインの紹介です。 ちゃんとクラスタを管理しているというよりは、最新版の動作などを確認するための環境になります。なので、ちょっと視点が異なるかもしれませんが参考になればと。 elasticsearch-analysis-kuromoji URL : elasticsearch-analysis-kuromoji Kuro
ElasticSearch 実戦に向けた学習 その1 バックアップと復元
ElasticSearch導入のための学習とメモ 環境 vagrant1.7.2 centos6.5 さて、その1,その2,その3で検索の基礎は理解できたので、実戦投入に向けた学習に切り替えます。あとは走りながらPDCAを回していきます。 運用で最低限利用しないと行けないのは、これまでの知識に加えて、 バックアップ バックアップデータの復元 ログ ユーザー辞書(必須ではないかな) です。というわけでまずはバックアップから。(ElasticSearchではバックアップのことをスナップショットと読んでいるので、以降「スナップショット」で統一) Snapshot And Restore まずはテストデータの登録 curl -XPUT 'http://192.168.33.19:9200/game/nintendo/1' -d ' { "gama_name" : "mario brothers",
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
elasticsearch-ruby で外部入力から検索時の json 用文字列のエスケープ処理
Elasticsearch の Ruby クライアントである elasticsearch-ruby を使って、例えばウェブページの検索フォームでユーザーの外部入力から検索を行う場合、外部入力された文字列を適切にエスケープすることが必要なはずです。適当にぐぐって調べてみましたけど、NoSQL なデータベースに対するインジェクション攻撃のようなトピックは意外と情報が少ない。 以下これまでに作業を行った Elasticsearch 関連のトピックです。新しいのが上。 Elasticsearch を Ruby から使う | EasyRamble ElasticsearchにMySQLからデータ挿入、JDBC River Pluginのインストールと使い方 | EasyRamble Elasticsearchのクエリとフィルターで簡単な検索を試す例 | EasyRamble Elasticsearc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introduction to Elasticsearch - Alibaba Cloud Document Center
Circle CI 2.0 Beta で Elasticsearch Docker Image を動かす際の知見メモ - kenju's blog