LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
RDS for MySQLのスロークエリーログをAWS LambdaでElasticsearchに取り込む | DevelopersIO
はじめに 藤本です。 Elasticseachに取り込むネタが続いています。 前回のELBのアクセスログをAWS LambdaでElasticsearchに取り込むに続いて、今回はRDS for MySQLのスロークエリログをElasticsearchに取り込む実装をご紹介します。 概要 MySQL Serverはスロークエリーログにより指定した秒数を超えるクエリを記録することができます。スロークエリログはパフォーマンス劣化の解析、クエリの適切性、DBのマシンパワーの適切性のチェックに役立ちます。RDS for MySQLも例外ではありません。パラメータグループを設定することにより、スロークエリログを有効にすることができます。それに加えてRDS for MySQLの場合、AWSのAPIによりデータベースに接続せずともスロークエリログを取得することができます。 スロークエリログフォーマット
Elasticsearchに触れてみたい人がやることをまとめてみた - カイワレの大冒険 Second
Elasticsearch（以下ES）を触ってみたい人が周りにもちょくちょくいるので、書いてみる。半分は備忘録。 1. まずはインストール 公式サイトのインストールページ にRPMとかがあるので、インストールする。 このページにあるように、レポジトリの登録をして、インストールしてもよい。 2. 起動、動作確認をする 「/etc/elasticsearch/elasticsearch.yml」は特にいじらなくてもESは動くようになっている。 (2014/06/30: 追記) ただし、cluster.nameを設定してないと、同一クラスタ名のものが同一ネットワークにいるとクラスタを組んでしまうので、cluster.nameだけは設定しておこう。 セットアップガイドにもご丁寧に書かれているが、CentOSであれば、以下で起動できる。 1 $ sudo service elasticsearch
謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで - GMOインターネットグループ グループ研究開発本部
2015.05.28 謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで 次世代システム研究室のDevOpsネタ担当（Embulkのコード読んでRuby復習中）のM. Y.です。 前回の記事（ERRORログが多すぎるWebアプリに出会ったら）では、ログ形式が統一されていない、大量のERRORレベルのログを吐き出すWebアプリに運悪く出会ってしまった場合に、そこから何とかログの傾向を把握するためのアプローチについてご紹介しました。 あれから、このアプローチを実践するためのログ監視システムを社内で実際に構築してみました。その結果、Embulk + Elasticsearch + Kibana + PostgreSQLという組合せで、割と手軽に、実用的なものを作れそうなことが分かりましたので、今
入門記事：Elasticsearch1.4.0とKibana4.0.0の環境構築 - Qiita
この記事には最新版があります Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する まえがき Elasticsearch Advent Calendar 2日目の記事です。 今思えば、実案件に投入したこともないのに参加してしまったなぁと内心ビビっているのですが、このAdvent CalendarをきっかけにElasticsearchやKibanaを触ってみようと思った方が、ストレスなくElasticsearchを体験できるような記事を書ければと思います。 環境構築の方法 今回の記事では2通りの環境構築について紹介します。ひとつはVagrantを使用する例、もう一つはAnsibleを使用する例となります。 事前準備 Vagrant、Ansibleのどちらを使うにしても、この記事向けに作成したGitリポジトリーをcloneする必要があります。
Field data types | Elasticsearch Guide [8.14] | Elastic
Each field has a field data type, or field type. This type indicates the kind of data the field contains, such as strings or boolean values, and its intended use. For example, you can index strings to both text and keyword fields. However, text field values are analyzed for full-text search while keyword strings are left as-is for filtering and sorting. Field types are grouped by family. Types in
![Field data types | Elasticsearch Guide [8.14] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
ElasticSearchの運用とか (2) - なんかかきたい
割と遊びのつもりで書き始めたら意外と注目が集まってしまって遊びじゃない感じになってきましたが、前回の続きでelasticsearchの運用情報を書いていきます。 @johtani さんにTwitterでElasticSearchのアップグレード情報などを色々と教えていただいたので、また後日検証してまとめてみようと思います。ありがとうございました。 今回は設定周りの情報になります。 そういえば後から見直すことを考えるとどの投稿にどういう情報が乗っているか探すのが大変になりそうだから、索引を作る必要がある気がする。そのうち考えるかも。 JVMのバージョンについて java7を使う場合、特定のバージョンでindexが壊れる問題がLuceneで発生するので避ける必要がある。 Apache Lucene - Welcome to Apache Lucene 具体的にはjava7u25以下またはjav
elasticsearch-kopfの紹介（概要）
なんだか、ドタバタしてて久しぶりの更新です。 ベルリンの旅行記みたいなのも書きたいのですが、まずはこちらかと。 elasticsearch-kopfプラグインの紹介です。 今回は概要の説明だけになります。機能が結構多いので。 elasticsearch-kopfとは？ _siteプラグインの一つで、クラスタ管理用のプラグインになります。 headプラグインやHQプラグインと同様です。 このようにシンプルな画面で、スッキリとしています。 緑を基調にした画面構成はElasticsearchの緑色を意識してるんでしょうか？ 上記の画像に簡単なコメントを入れてあります。 メニュー KOPF：KOPF自体の設定（接続先とリフレッシュインターバルの変更） cluster：クラスタ管理、情報（デフォルト表示画面） rest：RESTリクエスト送信、結果表示画面 aliases：エイリアス管理 analy
Elasticsearch インデックス・エイリアス
リインデックスってどうやるんだろう？と思い調べていたところ、エイリアスの方が気になってしまったので先にまとめ。 インデックス・エイリアスとは？インデックス・エイリアスはその名の通りインデックスに別名をつけられる機能のこと、同じエイリアス名を複数のインデックスにつけることもできるし、１つのインデックスに複数のエイリアス名をつけることもできます。FAST ESP のサーチプロファイルっぽい！または、リレーショナルDBのビューみたい！なイメージの機能です。 実際の設定は、各インデックスに対してエイリアス名を設定するのですが、理解するイメージは下の図の方がイメージしやすいかと思います。 インデックス・エイリアスエイリアスを使わない場合は、直接インデックスを指定して検索するわけですが、クライアントからエイリアス宛に検索するようにすることで、検索対象のインデックスをElasticsearch側でコント
国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
Elasticsearchのhead plugin - ほわいとぼーど
Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。 logstash形式にはしたばっかりでまだデータ溜まってないので、 自力でlogstash形式になるようにログの日付と同じindexを作って入れて Kibana3でlogstash形式で見てみましたが普通に動きました。 日付も@timestampではなくログから入れたrequest_time指定で問題なく。 ※このrequest_timeとかいう名前付けが紛らわしいかもしれないことを 今更ながら気づきましたが今の所は勘弁してやってください。 Apache2ログにおける日付の部分を抽出したもののことです。 きっとFluentd設定を説明する回があったらこの話もするはず
Cluster機能を使う – AWSで始めるElasticSearch(2) | DevelopersIO
はじめに 出張ブロガーの@smokeymonkeyです。今回はElasticSearchのCluster機能を使ってみました。 Cluster設定 ElasticSearchの設定は/etc/elasticsearch/elasticsearch.ymlで行いますが、このファイルの冒頭には以下のように記載されています。 Most of the time, these defaults are just fine for running a production cluster. ということで細かい設定せずにこのままいっちゃいます。 まず、ElasticSearchをセットアップした2台のEC2を用意し、セキュリティグループで9200/tcp、9300/tcpのInboundをオープンします。 ElasticSearchはAPI over HTTPで9200-9300/tcpを、クラスタ間の
ElasticSearch を yum でインストールする - Qiita
概要 yum を利用した ElasticSearch のインストール方法です。 コンパイルは面倒だし、service スクリプト作りたくない。 手順 リポジトリの追加 sudo vim /etc/yum.repos.d/elasticsearch.repo バージョン 1.0.x を使いたい場合 [elasticsearch-1.0] name=Elasticsearch repository for 1.0.x packages baseurl=http://packages.elasticsearch.org/elasticsearch/1.0/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=1
CentOSに全文検索エンジンelasticsearchをインストールする - Qiita
elasticsearchをインストール 2013/9/24時点での最新バージョンであるelasticsearch0.90.5をインストールします。 最新バージョンに関しては公式サイトで確認してください。 wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.tar.gz -O elasticsearch.tar.gz tar -xf elasticsearch.tar.gz rm elasticsearch.tar.gz mv elasticsearch-* elasticsearch
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
main
Loading...
is there any way to import a json file(contains 100 documents) in elasticsearch server.?
Ninja 2.0.0 released!
SSSSLIDE
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
