タグ

ブックマーク / blog.johtani.info (10)

  • 第3回elasticsearch勉強会を開催しました! #elasticsearchjp

    今回はたまたま日にいたElasticsearchの人をスペシャルゲストに呼べたので、大満足ですw 英語の通訳とかちゃんと勉強しないとなぁ。。。 とりあえず、てきとーなメモですが、残しておきます。 参加者数は130人+スタッフ+リクルートテクノロジーズ社内の人。という感じでした。アンケート集計はもう少々おまちを。 スライドがそろったら、また、更新すると思いますが、第一報という感じで公開しておきます。 懇親会にも50名も参加していただけて、非常に楽しかったです。 話ができてない方が多数いるかもしれませんが、次回以降、声をかけていただければと。 (物覚え悪いんで、あれですが。。。) 盛り上がってきてて楽しいなぁ。 スタッフの人達の練度も上がってきてるので、すごく楽ができてます。 至らない点とかあれば、こちらにコメントしてもらったりしていただければと。 Geohashing with Elast

    第3回elasticsearch勉強会を開催しました! #elasticsearchjp
  • Elasticsearch Marvelの紹介と第一印象

    昨晩、Elasticsearchから初のプロダクトとなるMarvelがリリースされました。ということで、さっそく触ってみて、簡単な紹介と感想を書いてみました。 Marvelって? Elasticsearch社が初のプロダクトとしてリリースした、Elasticsearchクラスタモニタリングツールです。 次のような特徴があります。 plugin形式で提供 GUIがKibana メトリックスはElasticsearchに保存 SenseがChrome以外でも使える プロダクション環境で利用する場合は有料ですが、開発用途では無料で利用できます。 現時点(2014/01/29)では、0.90.9以上のバージョン(1.0.0.RC1含む)で利用が可能です。 なにができるの? Elasticsearchクラスタに関するメトリックスを保存、可視化できるプロダクトです。 ドキュメント数やJVMの状況、クラ

    Elasticsearch Marvelの紹介と第一印象
  • apache-loggen + fluentd + elasticsearch + kibana = ログ検索デモ

    もう何番煎じだ?ってくらい書かれてますが、コリもせず書いてみました。 Elasticsearch+Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。 参考URL memorycraftさんのブログ Kibana Elasticsearch fluentd apache-loggen インストールと起動 今回はCentOSへのインストールです。 基的にはmemorycraftさんのブログの流れのままです。 elasticserchのインストールと起動 ダウンロードして、起動するだけ。 お試しということで、-fオプションにてコンソールにログ出力。 curl -OL https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.1.

    apache-loggen + fluentd + elasticsearch + kibana = ログ検索デモ
  • Kibana3というのもありまして

    前回は3番煎じぐらいでしたが、今回は初記事かな?(だといいな) Kibanaには、前回の記事で書いたものとは別に開発中のKibana3というのが存在します。 Kibana3って? Kibana2はRubyで書かれていましたが、Kibana3はHTMLJavaScriptで構成されています。 ですので、ApacheなどのWebサーバに配置することで、利用が可能となります。 ただ、HTMLJavaScriptのため、ブラウザ上で動作するためブラウザが動作するマシンからElasticSearch(通常だとhttp://マシン名orIPアドレス:9200/とか)にアクセスできなければいけないという制限があります。 この条件さえクリア出来れば、Kibana3ではKibana2よりも様々なパネルが用意されていて、色々できそうなのでお勧めです。 インストール ElasticSearchやログについて

    Kibana3というのもありまして
  • https://blog.johtani.info/images/entries/20131112/About_es_routing.pdf

  • 第2回elasticsearch勉強会を開催しました! #elasticsearchjp

    第2回を開催しました! すごい、140人くらいくらいの参加登録者(参加者は100人ちょっと!)がいて、びっくりです。 ステキな会場を提供していただいた、リクルートテクノロジーズさん、運営していただいた方々、スピーカーの皆さん、参加者の皆さん当にありがとうございました。 今回も素敵な看板ありがとうございます。 今回もしっかり楽しめたので、次回も頑張ります! 今回は、elasticsearch-jpMLの紹介とかをできたのでよかったかなぁと。 ぜひ、活用してください!どんな質問でもいいので。 あと、スライドに入ってた例のもよろしくです。 ということで、懇親会も盛り上がったし楽しかったです。 今後も場の提供+自分の勉強のトリガーとして、開催していくので、ご協力お願いします! 聞きたい話など、MLや@ツイートしていただければと。 elasticsearchのRouting機能:株式会社シーマー

    第2回elasticsearch勉強会を開催しました! #elasticsearchjp
  • elasticsearch-extended-analyzeプラグインを開発中

    お久しぶりです。 気づいたらまた、結構ブログを書いてなかったです。。。 今回は、今開発しているElasticsearchのプラグインに関するお話です。 いやぁ、名前決めるの難しいですね。これで英語的に合ってるか不安ですが、elasticsearch-extended-analyzeというプラグインを作っています。 どんなもの? Solrの管理画面のanalysisに相当する機能が欲しくて作り始めました。 Elasticsearchにはanalyze APIというAPI(名前あってるのかなぁ?)が存在します。 これは、文字列を投げると、指定したアナライザやトークナイザでどのようなトークンに分割されるかを調べることができるAPIです。 例えば、elasticsearch-analysis-kuromojiをインストールしたElasticsearchに対して、以下のcurlコマンドを実行します。

    elasticsearch-extended-analyzeプラグインを開発中
  • 日本語Wikipediaをインデクシング(Kuromojiバージョン)

    前々回紹介した、日Wikipediaのデータをインデックス登録する記事の続きです。 今回は、Kuromojiのアナライザを利用してインデックス登録してみます。 余談(Proxy環境でのプラグインインストール) ElasticSearchのpluginコマンドはJavaで実装されています。(org.elasticsearch.plugins.PluginManager) プラグインのダウンロードには、java.net.URL.openConnection()から取得URLConnectionを使用しています。 ですので、pluginのインストールを行う際に、Proxy環境にある場合は以下のようにコマンドを実行します。 ./bin/plugin -DproxyPort=ポート番号 -DproxyHost=ホスト名 -i elasticsearch/elasticsearch-analysi

    日本語Wikipediaをインデクシング(Kuromojiバージョン)
  • 第1回ElasticSearch勉強会を開催しました! #elasticsearchjp

    ElasticSearch勉強会 第1回を主催しました。 昨年のpyfesでなんちゃって資料で喋って、1年たちました。 ElasticSearchの書籍(英語)も出てきて、今年はElasticSearchが面白くなりそうだし、使ってる人たちから話も聞きたいなぁということで、主催しました。 思った以上に興味のある方がいらっしゃったようで、100人応募のところ、チケットがすぐ完売してしまうほど。。。 しかも、当日もほぼ満員ということで、大変な盛況ぶりでした。 スピーカーの皆様、参加された皆様、会場を提供していただいたリクルートテクノロジーズさん、ありがとうございました!(たぶん、90人くらいいらっしゃってたかと。) こんなステキな案内板も用意してもらいました。スタッフのみなさんありがとうございます! トゥギャっても頂きました。まとめていただいてありがとうございます! 自分の発表や個々の発表に関

    第1回ElasticSearch勉強会を開催しました! #elasticsearchjp
  • ElasticSearchにプラグインで日本語Wikipediaデータを入れてみました

    久々のブログはElasticSearchネタです。勉強会開催する予定だったりすので、もう少し触っておきたいなと。 お手軽に検索するデータとして、よくWikipediaのデータを使っています。 ElasticSearchにはelasticsearch-river-wikipediaという便利なプラグインがあり、Wikipediaのデータを簡単に検索可能な状態にできます。このRiverを利用して日語のWikipediaのデータを入れたので、メモを取っておきます。 まずは、river-wikipediaで日語のデータをインデクシングしてみるまでの説明です。 日語特有の設定(Kuromojiを利用したインデクシング)などはまた後日。 プラグインのインストール 対象とするElasticSearchは現時点で最新版の0.90.3とします。 最新版でRiver動かないなぁとつぶやいた影響かどうかは

    ElasticSearchにプラグインで日本語Wikipediaデータを入れてみました
  • 1