はじめに 前の記事で AWS CloudTrail でログを elasticsearch に放り込んでみたものの以下のような点が宿題になった。 AWS CloudTrail のログは JSON 形式だけど複数の操作が一つのファイルに収まっている その為、elasticsearch の bulk API を使ってデータを放り込む elasticsearch の bulk API を使う場合にはデータにひと手間加える必要がある これらをとりあえず以下のようにして解決した。他にもっと効率の良い方法があると思うので教えて下さい！！ 参考 bulk api jq 数値、アルファベットからランダムなn文字の文字列を生成する 標準入力を処理するプログラムを書く Ruby/MD5関数でハッシュ値生成 CloudTrail x Stackdriver CloudTrail x splunk AWS Clou

はじめに こちらの記事では、GroongaとElasticsearchの単純な検索性能、更新性能、 ディスク使用効率を比較しました。 その結果では、Groongaの検索速度がElasticsearchよりも数倍ほど速く、Elasticsearchの更新速度がGroongaよりも数倍ほど速かったです。 なお、前回の記事では、Elasticsearchでフレーズ検索がされていなかったり*1、punctuation、whiespaceが転置索引に入っていなかったため、追加検証結果を追記しています。 シーケンシャルなスクリプトではGroongaの更新速度のほうが遅かったですが、これは、GroongaとElasticsearchが利用しているLuceneの転置索引の作成方法や管理方法の違いによるものです。 Groongaにおける転置索引 Groongaでは、即時更新に強く更新にかかる処理コストが低く

elasticsearchをインストール 2013/9/24時点での最新バージョンであるelasticsearch0.90.5をインストールします。 最新バージョンに関しては公式サイトで確認してください。 wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.tar.gz -O elasticsearch.tar.gz tar -xf elasticsearch.tar.gz rm elasticsearch.tar.gz mv elasticsearch-* elasticsearch

最近のお仕事的なことですが、ElasticSearchの構築・運用を任されるようになりました。 まかされるというか、実際にはいい感じに全文検索ができる仕組みを作って欲しいといういつもの依頼だったんだけども、全く運用の経験の無いプロダクトだったので色々わからないことだらけ。 最近はKibanaと組み合わせて言い感じのグラフを作るのがWeb屋さんの間で流行っているイメージですが、Kibanaを除いたElasticSearchの細かなところに踏み込んだ情報はあまりない感じで（多分感心があまりないのかも）、結局マニュアルを色々読んでわからないところを補完していった感じです。 同じようにElasticSearchを使って検索機能を作っていきたいような人の参考になればいいなー程度にまとめて行こうと思います。そのうち自分でも見直すことになるだろうし。 一応手元にmarkdownでまとめたものもあるんだけ

割と遊びのつもりで書き始めたら意外と注目が集まってしまって遊びじゃない感じになってきましたが、前回の続きでelasticsearchの運用情報を書いていきます。 @johtani さんにTwitterでElasticSearchのアップグレード情報などを色々と教えていただいたので、また後日検証してまとめてみようと思います。ありがとうございました。 今回は設定周りの情報になります。 そういえば後から見直すことを考えるとどの投稿にどういう情報が乗っているか探すのが大変になりそうだから、索引を作る必要がある気がする。そのうち考えるかも。 JVMのバージョンについて java7を使う場合、特定のバージョンでindexが壊れる問題がLuceneで発生するので避ける必要がある。 Apache Lucene - Welcome to Apache Lucene 具体的にはjava7u25以下またはjav

（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc