Elasticsearch5系で、シャードunassignedによるstatus redを強引に修復する方法 - Gunosy Tech Blog
はじめまして、Gunosyでサーバーサイドエンジニアをしているmanoと申します。 最近ハマっていることは、Huluで安室奈美恵さんの特番をみることです。引退するなんて・・・本当に惜しいですね。 私は現在ニュースパスというアプリのサーバーサイド開発を担当しています。 ニュースパスでは、記事検索機能等でElasticsearchを使っています。運用周りではcuratorを使っています。 最近そのあたりでハマってしまったことがあったので、今回はそれについて書こうと思います。 起こったこと 開発環境にて、Elasticsearchのノードインスタンスをシャットダウンしたときに、いくつかのシャードがunassignedになりステータスもredとなってしまうということがありました。 それでも検索機能は生きてはいたのですが、それによりレスポンスタイムが大幅に増加してしまっていました。 下の画像は当時の
プロジェクト単位でElasticsearchのローカル開発環境を作成する - $shibayu36->blog;
最近Elasticsearchを触っていて、まずはローカル開発環境を作ることになった。ただ、Elasticsearchはバージョンがかなり変わり、別プロジェクトと利用したいバージョンが異なっていたので、プロジェクト単位で使い分けるにはどうすればよいかを考えた。 やりたいこと プロジェクトごとにElasticsearchのバージョンを切り替えられるようにしたい MySQLだったら同じようなものにmysqlenvなどがある また、他の人が一瞬で環境を整えられるようにしておきたい 利用するプラグインなども含めて一瞬で バージョンを上げる時もローカル環境なら簡単にあげたい 作戦 Elasticsearchはここ からダウンロードして、特定のディレクトリに展開するだけでも利用できる そこでプロジェクトルートのelasticsearch/ディレクトリ以下に展開し、ここに展開したバイナリを利用するように
ElasticSearchの運用とか (2) - なんかかきたい
割と遊びのつもりで書き始めたら意外と注目が集まってしまって遊びじゃない感じになってきましたが、前回の続きでelasticsearchの運用情報を書いていきます。 @johtani さんにTwitterでElasticSearchのアップグレード情報などを色々と教えていただいたので、また後日検証してまとめてみようと思います。ありがとうございました。 今回は設定周りの情報になります。 そういえば後から見直すことを考えるとどの投稿にどういう情報が乗っているか探すのが大変になりそうだから、索引を作る必要がある気がする。そのうち考えるかも。 JVMのバージョンについて java7を使う場合、特定のバージョンでindexが壊れる問題がLuceneで発生するので避ける必要がある。 Apache Lucene - Welcome to Apache Lucene 具体的にはjava7u25以下またはjav
楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
Elasticsearchのインデキシングに関するパフォーマンス検討
Elasticsearchのインデキシングに関するパフォーマンス検討 原文：performance considerations for elasticsearch indexing Elasticsearchユーザは様々な楽しいユースケースを持っています。小さなログを追加することから、Webスケールの大きなドキュメントの集合をインデキシングするようなことまでです。また、インデキシングのスループットを最大化することが重要で一般的な目標となります。 「典型的な」アプリケーションに対して良いデフォルト値を設定するようにしていますが、次のちょっとした簡単なベストプラクティスによってインデキシングのパフォーマンスをすぐに改善することができます。それらについて記述します。 第一に、制御できないならば、巨大なJavaヒープを使用しない：必要なサイズ（マシンの持つRAMの半分以下）のheapだけを設定し
Limiting Memory Usage | Elasticsearch: The Definitive Guide [2.x] | Elastic
There are two rules to apply when setting the Elasticsearch heap size, with the $ES_HEAP_SIZE environment variable: No more than 50% of available RAM Lucene makes good use of the filesystem caches, which are managed by the kernel. Without enough filesystem cache space, performance will suffer. Furthermore, the more memory dedicated to the heap means less available for all your other fields using d
![Limiting Memory Usage | Elasticsearch: The Definitive Guide [2.x] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
ElasticSearchでノードを落とす際にshardの自動再配置を止める作法 - oranie's blog
現行のクラスタを一度止めてデータを別のサーバ群にコピーしてクラスタを再構築したいという要件があったので調べた。 公式ElasticSearch(Ver 0.90.5で確認)のrpm installで作成されるディレクトリ /var/run/elasticsearch /var/lib/elasticsearch /var/lib/elasticsearch/elasticsearch /var/lock/subsys/elasticsearch /var/log/elasticsearch /usr/share/elasticsearch /usr/share/elasticsearch/bin/elasticsearch /etc/elasticsearch /etc/sysconfig/elasticsearch /etc/rc.d/init.d/elasticsearch上記の内、デ
Configuring Elasticsearch | Elasticsearch Reference [6.4] | Elastic
Elasticsearch ships with good defaults and requires very little configuration. Most settings can be changed on a running cluster using the Cluster update settings API. The configuration files should contain settings which are node-specific (such as node.name and paths), or settings which a node requires in order to be able to join a cluster, such as cluster.name and network.host.
第6回elasticsearch勉強会に行ってきましたのでそのメモ : slog
2014年09月17日 01:34 カテゴリ 第6回elasticsearch勉強会に行ってきましたのでそのメモ Posted by steelwool_oxide No Comments こんにちは、スチールです。 なんだかんだもう4-5回参加している気がするElasticsearch勉強会ですが、最近社内で使い始めたQiita:Teamにメモをとったので、それをほぼまるっとgistにコピペしたので公開いたします。 ガーッとメモって大して推敲していないのでなんか変なところあったらコメントください。 こちら ずーっと聞く側だったので、そろそろ第7回で何か話そうかなと思います。 つい最近までSnapshot APIに軽くハマっていたのでその辺なら多少有用な話ができる気がしています。 タグ ：#elasticsearch#勉強会#行ってきた カテゴリなしの他の記事
Performance Considerations for Elasticsearch Indexing
Elasticsearch users have delightfully diverse use cases, ranging from appending tiny log-line documents to indexing Web-scale collections of large documents, and maximizing indexing throughput is often a common and important goal. While we try hard to set good general defaults for "typical" applications, you can quickly improve your indexing performance by following a few simple best practices, de
最近のウェブサービスの検索機能やその先の話 - YAPC::Asia Tokyo 2014
本トークでは、Elasticsearchという検索ミドルウェアを利用して、ウェブサービスの機能性を進化させる話をします。 Elasticsearchは、他の検索ミドルウェアに対して、そのAPIファーストの設計による拡張性の高さや、スケーラビリティの高さ、内蔵のQuery DSLによる高度で複雑なクエリに対する柔軟さ、などの利点があります。また、単にデータを検索する機能にとどまらず、自身がもつ検索機能を基盤にした、集約・集計機能などのより高レイヤーの機能が充実してきています。そして、FacebookやGitHub、Wikimediaなどのさまざまなインターネット関連組織にとどまらず、ゴールドマン・サックスなどの金融業界におけるデータ分析のための採用も進みつつあります。 本トークでは、Elasticsearchに加えて、はてなのサービスで過去に利用してきた検索ミドルウェアもふまえつつ、大量のデ
Curator: 時系列インデックスの管理(日本語訳)
Elasticsearchのcuratorのブログ記事を読んで、日本語でツイートしたところ、Aaron Mildensteinさんから日本語（ローマ字）で返信を頂きました。 せっかくなので、ブログ記事を翻訳してもいいかを尋ねたところ、快くOKを頂いたので、翻訳してみました。参考になればと。（誤訳など見つけたらコメントください。） @johtani Kore no hou ga ii. Nihongo de no Curator RT, arigatou gozaimasu! #elasticsearch #curator #logstash — Aaron Mildenstein (@theuntergeek) 2014, 1月 22 curator: 時系列インデックスの管理 原文：curator: tending your time-series indices 背景 数年前、Elas
elasticsearch-hadoopをもうちょい調べて遅い理由が少しわかった - Yamakatu as a Service
■これまでの話 第4回Elasticsearch勉強会でElasticsearch-hadoopについて発表させて頂きましたが、その際、評価としてHiveの実行速度をHDFSをストレージとして利用した場合と比較してお見せしました。 ここらへんです。 elasticsearch-hadoopをつかってごにょごにょしてみる from Katsushi Yamashita で、ちょっといくらなんでも遅すぎるな、と思って調べていたらわかったことがあったのでメモ。 ■わかったこと 結論から言うと、elasticsearch-hadoopはRead時はPrimary Shardの数しかMapタスクを生成しない。 これはelasticsearch-hadoopのここら辺のソースを読んでもわかります。 ・EsInputFormat.java getSplitsメソッド 1 2 3 4 5 6 7 8 9
Visualizing Lucene's segment merges
If you've ever wondered how Lucene picks segments to merge during indexing, it looks something like this: That video displays segment merges while indexing the entire Wikipedia (English) export (29 GB plain text), played back at ~8X real-time. Each segment is a bar, whose height is the size (in MB) of the segment (log-scale). Segments on the left are largest; as new segments are flushed, they appe
第3回elasticsearch勉強会を開催しました！ #elasticsearchjp
今回はたまたま日本にいたElasticsearchの人をスペシャルゲストに呼べたので、大満足ですｗ 英語の通訳とかちゃんと勉強しないとなぁ。。。 とりあえず、てきとーなメモですが、残しておきます。 参加者数は130人＋スタッフ＋リクルートテクノロジーズ社内の人。という感じでした。アンケート集計はもう少々おまちを。 スライドがそろったら、また、更新すると思いますが、第一報という感じで公開しておきます。 懇親会にも50名も参加していただけて、非常に楽しかったです。 話ができてない方が多数いるかもしれませんが、次回以降、声をかけていただければと。 （物覚え悪いんで、あれですが。。。） 盛り上がってきてて楽しいなぁ。 スタッフの人達の練度も上がってきてるので、すごく楽ができてます。 至らない点とかあれば、こちらにコメントしてもらったりしていただければと。 Geohashing with Elast
【solr】地図検索で超高速にまとめ表示を実現する実装方式【elasticsearch】 - 文系プログラマによるTIPSブログ
特別な機能を使わず、標準機能だけでできますよ〜 一瞬何のことか？と思った方は↓の画像を見て下さい。これです。 位置情報検索を利用して、一定の範囲内に該当するデータが何件あるかをまとめて表示する機能の事です。 実装方法 google mapを用意する boundsからメッシュを構築する メッシュの分割手法 メッシュを1個づつfacetで一括検索する メッシュの真ん中に件数を表示する google mapの表示が検索の始動となる 緯度経度を持つデータが用意しにくい！！ 雑感 実装方法 この画像ではgoogle map clusterを使った例ですが、clusterを使わず、超高速に位置情報検索を実装する方法を検討してみました。主にsolrとelasticsearchで実現可能かと思います。 google mapを用意する 地図はgoogle mapを使います。 googlemap apiには今
Elasticsearch Users - Too many open files warning
Getting the below warning messages continuously. Not sure what should be done. Saw some of the relevant posts asking to increase the number of file descriptors. How to do the same? Even if I increase now, Will I encounter the same issue on addition of new indices. (presently working with around 400 indices, 6 shards and 1 replica). The number of indices tend to grow more. [03:58:24,165][WARN ][clu
Elasticsearch の Query DSL の基本 - ひだまりソケットは壊れない
この記事は 「Elasticsearch Advent Calendar 2013」 の 4 日目の記事です、とかしたかったけど Elasticsearch の Advent Calendar はなさそうなので普通に投稿します。 Elasticsearch でクエリを投げるときにお世話になる Query DSL。 とりあえず match クエリ ぐらいは見様見真似で書けていましたが、基本的な構造をちゃんと理解していなかったので調べてみました。 Query DSL って何? クエリとフィルタって何が違うのか? というような基礎的な話を公式ガイドを見ながらまとめました。 英語の理解が怪しかったりするので変なところは公式ガイドの方を見てください。 参照先ドキュメントの Elasticsearch のバージョン Elasticsearch 0.90 のドキュメントを参照してこの記事を書きました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchを用いたはてなブックマークのトピック生成
http://blog.inouetakuya.info/entry/2014/12/11/180106
