Amazon Elasticsearch Service を運用して学んだこと - kakakakakku blog
「Amazon Web Services Advent Calendar 2016」20日目の記事を書くぞー！ 最近 Amazon Elasticsearch Service を本番環境で運用していて，そこそこに運用経験がまとまったので，どこかで LT でもしようと思って先に発表資料だけを作っていたんだけど，年内に発表できそうな勉強会が無くて，このままにしておくのも残念だなと思って，今回 Advent Calendar に資料を公開する形で参加することにした．もし良さそうな勉強会があれば発表したいので是非教えてもらえると！ qiita.com Amazon Elasticsearch Service を運用して学んだこと まとめ 正直言ってハマるポイントも多くある Amazon Elasticsearch Service だけど，Elasticsearch クラスタの運用をフルマネージドに
Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能
Elastic{ON} Tour 2016 東京 参加レポート - Qiita
追記事項メモ 2016/12/19 : Shrink Index APIの使いみちに関して追記 はじめに 12/15に開催されたElastic {ON} Tour 2016 東京に参加しました。サンフランシスコで開催されているカンファレンスのサテライトのようなイベントで、世界中の各都市を回って開催されています。日本での開催は去年に続いて2回目となります。 去年も参加しましたのでどんな感じに変わったのかも絡めつつ、アジェンダに沿ってレポートしてみようと思います。 なお、ユーザ事例については省略します。思ったより分量が多くなったのと、写真撮影、録音、録画がNGというユースケースもあったためです。 1. 早朝トレーニング 参加登録時点で既に満席だったためこれは参加できませんでした。後から動画が公開されるとのことです。 2. 受付、ネットワーキング、AMA (Ask Me Anything) 会場
EFK(Elasticsearch,Fluentd,Kibana)で簡単ログ基盤をdocker-compose使って立ち上げる - Qiita
EFK(Elasticsearch,Fluentd,Kibana)で簡単ログ基盤をdocker-compose使って立ち上げるFluentdElasticsearchDockerKibanaEFK GoogleAnalytics一辺倒のWeb運用から自前のDWHなんかを立てる運用にWeb運用の主戦場が移り変わってきてると感じる今日このごろ。 Web界隈に生きるエンジニアとしてはログ基盤くらいちょろっと調達できなければいけません。 とはいえ何を使っていいのやらと悩むことも多いことでしょう。 勝手に鉄板構成 いろんな選択肢がある中から、下記の選定をしてしまうと楽な気がします。 ログ集める：Fluentd ログためとく：Elasticsearch ログ見る：Kibana Elasticsearchはけしてためとくのが得意じゃないので、ちゃんとためておきたい場合はS3とかファイルとかに出しておきま
Elastic{ON} Tokyo 2016レポート ～ 日立IoTプラットフォームにおけるElastic Stackの活用事例 〜 #elasticon - Taste of Tech Topics
はじめまして、金澤と言います。ブログ初投稿です。 普段はElastic Stackを使って経営情報の可視化などをやっています。 さて、第4弾は日立製作所による、工場ラインの可視化への活用事例です。 具体的には、エンジン部品の加工時に取得したセンサーデータを可視化し、 不良品率が上がっていないか 上がっているとすればその原因は何か、 といったことを明らかにするものです。 加工の様子を動画で詳しく紹介してくれましたが、 部品がベルトコンベアで届いて、機械によって削る。 削り終わったら、つまみあげて削りカスを飛ばす。 最後に検査用カメラで写真を取って検査する、 という一連の工程があるそうです。 そして、これらの工程に対して、 各工程でPLC（シーケンサ）と呼ばれる制御装置（このデモでは4台）を使い、データを取得する。 一次処理をした結果を、ITプラットフォームに送信して、データを1つにまとめる。
（レポート）Elastic{ON} Tour Tokyo 基調講演 #elasticon | DevelopersIO
こんにちは、藤本です。 本日は Elastic{ON} Tour Tokyo に参加してきました。基調講演＆製品紹介のレポートです。 ようこそ セールスディレクター 須田 孝雄 須田さんより本日のアジェンダ、概要の説明 ELKからElastic Stackへ Elastic co-founder & CTO Shay Banon Elastic Stack の歴史 2010年：Elasticsearch の開発開始 2012年：Elasticsearch で会社設立 2013年：Kibana、Logstash の開発開始 2014年：Elasticsearch GA をリリース、Marvel をリリース 2015年：Elastic に社名変更、Found の提供開始、Packetbeat をリリース 2016年：ELK（Elasticsearch、Logstash、Kibana） を El
Elasticsearchのインストールからデータ投入まで - Qiita
最近、仕事関係でElasticsearchを使い始めました。 メモとして、データ投入からスコアリングまで使った・学んだことを書いてみようと思います。 全部書くのは結構長くなりますので、前後編に分けて書きます。 前編はインストールからデータの投入まで、 後編は検索とスコアリングの話しようと思っております。 ##インストール とりあえず、必要なものをインストールします。 開発環境はCentOS7です。 Elasticsearch requires at least Java 8. Specifically as of this writing, it is recommended that you use the Oracle JDK version 1.8.0_73. バージョン8以上のJavaが必要です。 ###Javaのインストール まずはJava 8をインストールします。 こちらを参考
Elasticsearch 5.xの新機能と、1.xから5.xへのアップグレード - /var/log/soymsk
この記事は、Elastic stack Advent Calendar 2016の11日目の記事です。 Elasticsearch クラスタを1.7 から 5.0.2まで上げたときに、それなりに変更点が多く、苦労しました。 本記事では、そのときのノウハウを元に、 1.xを使っていて、5.xに上げたいと思っている 人を主な対象に、アップグレードの注意点や、1.xからの追加・変更機能について書きたいと思います。 世の中的にすでに2.xの人が多いと思いますが、数ヶ月前にElasticsearch勉強会に参加した際に、まだ1.xを利用している人がそれなりにいたので、今でもまだ役に立つかなと思います。 とはいえ ver2.xからの変更点も含むので、今2.xを使っている人にも参考になるように書きます。 モチベーション Reindex APIが使いたかった。 Kibanaでダッシュボードの共有URL(s
Elasticsearch Command Line Interface (ES CLI) | DevelopersIO
久しぶりのブログエントリ…。今回は Elasticsearch の API をコマンドラインで、パチパチ操作するためのいわゆる CLI を作ったのでその紹介です。 開発で Elasticsearch を使っていると、開発環境、ステージング環境、本番環境、などなど色々な環境が存在しますよね。Amazon ES の v4 認証や、Shield （Elastic）の認証も越える必要もあります。そもそも API が多いので覚えられません。よく使うオペレーションは簡単に実行したい。と色々悩みが多いです。 これらの悩みを解決するため、今回作成した ES CLI は以下の特徴を持っています。 複数環境を切り替えられる v4 認証や、Shield の認証に対応 help でコマンド一覧表示 ターミナルで指定しやすいパラメータ指定 インストールが簡単 柔軟にカスタマイズできる それがこれ elasticse
東京メトロのオープンデータをElasticsearch + Kibana (5.0.2)で可視化してみる（Java Client） - 烏滑稽
JJUG CCC 2016 fallブーストークで大谷さんがElastic Advent Calendar枠まだありますって言ってて、勢いで登録してしまった。 qiita.com 実は時間もネタもなかったことに後から気付きつつ速攻でなんかやっていきます！ 3時間くらいでなんとかなったらいいな！ 何かいいサンプルデータないかなー 電車の遅延傾向とかパッとグラフで見れたらいいなーと思いつき、 以前どこかで聞いた気がして調べて見つけたのが東京メトロのオープンデータです。 東京メトロオープンデータ開発者サイト 東京メトロの路線情報や駅情報をAPIで参照できます。 APIを利用するためには開発者登録をすると最大2営業日ほどでアクセストークンが取得できるとのことだったんですが自分がやったら半日で登録してくれました、ありがたい。 APIは路線IDで路線を検索したりLat Lonで駅検索したりいろいろでき
Elasticsearchのデータを別のElasticsearchに入れるいくつかの方法 - Taste of Tech Topics
こんにちは、 @snuffkin です。 この記事は、Elastic stack Advent Calendar 2016の8日目です。 qiita.com 皆さんは、Elasticsearchのデータを、別のElasticsearchに入れたいことってありませんか？ 私は実際に、 各自がアドホックに分析するため、個人用のElasticsearchを立てているので、そこにコピーしたい 遠隔地にあり、直接アクセスできないElasticsearchのデータを確認したい ということをしたい場合があります。 今回は、このようなケースで使える方法をいくつか紹介します。 正攻法はsnapshot機能を利用することかもしれませんが、ちょっとしたコピーをしたいときには敷居が高いのではないかと思います。 ここでは、もう少し簡易に実行する方法を紹介します。 (方法1) Logstashでコピーする まずは、
Elasticsearch の nested 型のハイライト
本投稿は、一つ前の「Elasticsearch多言語化その2」の補足。 ゴール やりたい事は、以下のようなフィールドに対する検索結果のハイライトをすること。 nested 型で、中身は複数の “attachment” 型 attachment 型の “content” フィールドには、content.{ja,en,…} というサブフィールドを作成し、各言語毎の analyzer で処理する マッピング定義は以下の通り。（elastic4s の DSL をそのままコピペしたが、まぁ大体理解してもらえるかと。） val messageMapping = mapping("message").fields( "title_v3" typed StringType fields( "en" typed StringType analyzer "english", "ja" typed String
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Elasticsearch 5.0の便利機能紹介？
Elastic stack Advent Calendar 1日目の記事になります。 Elasticsearch 5.0が10月末にリリースされました。 リリースのブログでいくつか紹介されているのですが、そこでは紹介されていない機能について2、3紹介しようと思います。 その前に、5.0、あれ？その前は2.xじゃなかったっけ？？と困惑されている方もいるかと思うので、簡単に5となった経緯の紹介をしようかと。 バージョン番号 なぜ2から5に飛んだのかという話ですが、このスライドがその紹介になっています。 https://speakerdeck.com/johtani/elastic-stack-5-dot-0-alpha1-alpha5?slide=5 Elastic{ON} 2016のキーノートでも紹介がありましたが、KibanaやLogstashとElasticsearchを組み合わせて使う
ElasticSearchで検索のプロになる！06.検索精度上げのための設定 - Qiita
前回ではtemplateを使ってインデックスに対して特定のフィールド名に対してMappingする方法を試してみました。 最初はこれでも満足なのですが ある程度動いてくると、検索の精度に関して色々チューニングしたくなってくる。 それについて記載していきます。 まずはよくあるアルファベットの大文字、小文字 テンプレートを弄って設定を変更します。 まずはオリジナル。 { "template":"search*", "settings":{ "analysis":{ "analyzer":{ "ja-ma-analyzer":{ "type":"custom", "tokenizer":"ja-ma-tokenizer" }, "ja-2gram-analyzer":{ "type":"custom", "tokenizer":"ja-2gram-tokenizer" } }, "tokenize
Elasticsearch 一目で分かるアーキテクチャ - Qiita
全体像 物理的なインデックス Elasticsearch の物理的なインデックスは、クラスタ、 ノード、シャードの 3 つの要素から構成されている。 クラスタ ( ≒ ElasticSearch サーバー群 ) 複数のノード ( ElasticSearch サーバー ) を一つの ElasticSearch として動作させることができます。クラスタ構成にすることで、大量のデータを複数のノードに分散して保持することが可能です。クラスタは同一のプロセス名 (デフォルトでは elasticsearch ) を指定することで構成できます。 ノード ( ≒ ElasticSearch サーバー ) Elasticsearch の 1 プロセス ( ≒ サーバー ) に相当します。基本的には 1 サーバーに、1 プロセス動作しますが、複数のノードを起動することも可能です。 シャード 各インデックスを分
ElastAlert による Elasticsearch のインデックス監視・通知 | DevelopersIO
こんにちは、藤本です。 Elasticsearch を利用していて、インデキシングされるドキュメントのデータを監視したいことはないでしょうか。例えば、よくユースケースの紹介に挙げられるアクセスログを Elasticsearch にインデキシングしているケースでは、500番台のステータスコードが5分間に10回以上記録があった時に、Slack で通知したい。ログファイルの集約に Elasticsearch にインデキシングしている場合、ERROR のメッセージを含むメッセージを検知した時に、メール通知したい。など、Elasticsearch のインデックスを監視・通知したいケースは多々あるかと思います。 先日、X-Pack の Watcher による Elasticsearch のインデックス監視・通知をご紹介しました。 Elastic StackのX-Packを試す（Watcher編） 今回
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログイン - はてな
Elastic stackで始めるログ解析入門
Guest
