Elasticsearchの古いインデックスを削除するBashスクリプトを書いた - 本日も乙
td-agent(Fluentd)で集めたログをElasticsearchに格納して、Kibanaで見るということをやっています。 とりあえずということで、200G程度のVPSでログ収集環境を構築したのですが、問題なのはElasticsearchにログを格納し続けるとディスク容量を圧迫していまいます。 そこで、elasticsearch/curator を使って古いインデックスを削除しようとしたのですが、CentOS 6.6だと動いてくれません。 $ curator --version Traceback (most recent call last): File "/usr/bin/curator", line 5, in <module> from pkg_resources import load_entry_point File "/usr/lib/python2.6/site-p
Elasticsearchインデックス作成におけるパフォーマンス考慮事項
Update November 2, 2015: If you're running Elasticsearch 2.0, check out this updated post about performance considerations for Elasticsearch 2.0 indexing. 小さなログラインドキュメントの追加から、Webスケールコレクションの大きなドキュメントのインデキシングまで、Elasticsearchユーザーの導入事例は多岐にわたります。多くの場合、インデキシングスループットを最大限にすることが重要な課題です。私たちはできるだけ「典型的」なアプリケーションに適するように、一般的なデフォルトを設定するようにしていますが、ここで説明する簡単なベストプラクティスを用いれば、インデキシングのパフォーマンスを向上させることができます。 まず、できれば巨大なJa
初心者のためのKibanaの詳しい使い方（ダッシュボード・パネル・クエリ・フィルタの作成方法） - Qiita
この記事について 軽い気持ちで触りはじめたKibanaですが、 Kibanaについて日本語解説も少なく、設定で困った事があったのでまとめておきます。 この記事はKibanaのよく使う設定方法にのみ焦点をあてて説明します。 Elasticsearchのセットアップ方法には触れません。 また、使用したkibanaのバージョンは3.1.0です。 Kibanaとは 一言で言えばElasticsearchの検索結果をグラフ表示するツールです。 抑えておくべき事は以下の3点です。 ダッシュボードの作成方法 パネル(グラフ)の作成方法 クエリ・フィルタの作成方法 ダッシュボードの作成方法 http://${Kibanaのあるサーバ}/index.html#/dashboard/file/blank.jsonでアクセスします。 または、トップページのダッシュボードの下の方に「Blank DashBoard
「Elasticsearch での類似文書検索と More Like This Query API 詳解」というタイトルで発表しました - stop-the-world
Elasticsearch 勉強会 in 大阪・京都で発表しました。 最近、興味をもって調べていた More Like This Query API について、改めてソースコードリーディングしながら整理した内容になっています。 Elasticsearch 勉強会 in 大阪（7/13 Yahoo! JAPAN 大阪） Elasticsearch 勉強会 in 京都（7/14 はてな京都オフィス） 大阪と京都でElasticsearch勉強会を開催しました。 ( @johtani さんのブログ) この発表で使ったスライドを Speaker Deck にアップしました。大阪と京都で同内容の発表でしたが、スライドの体裁をよくして見やすくした、京都での発表スライドをアップしています。 Elasticsearch での類似文書検索と More Like This Query API 詳解 // Sp
実践！Elasticsearch - Wantedly Engineer Blog
（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc
Kibana: Explore, Visualize, Discover Data | Elastic
Search and analytics, data ingestion, and visualization – all at your fingertips
今日から始めるfluentd × Elasticsearch × kibana - カジュアルな解析・高速化 - Eureka, Inc.
目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticsearchのインストールとCSVからのデータ挿入 | EasyRamble