Logstashを利用したApacheアクセスログのインポート
JJUG CCCや第7回Elasticsearch勉強会のKibana4のデモにアクセスログを利用しました。 ただ、セッションでは、どうやってElasticsearchに投入したのかという詳しい話をしていませんでした。 本記事では、データ取り込み時に利用したLogstashの設定ファイルについて説明します。 Logstashの設定の説明に入る前に、全体の流れを。 「ApacheアクセスログをKibana4により可視化」です。 材料の準備 「ApacheアクセスログをKibana4により可視化」に必要な材料は次の通りです。 （今回は起動するところまでいかないので、実際に必要なのは次回以降になります。） Java 7（u55以上を1つ） Logstash 1.4.2（1つ） Elasticsearch 1.4.0（1つ） Kibana4 Beta2（1つ） Apacheのアクセスログ（適量）
インデックステンプレートとLogstash
前回の「Logstashを利用したApacheアクセスログのインポート」の続きです。 前回の記事では、Logstashの設定ファイルについて説明しました。 今回は「Elasticsearchに設定するインデックステンプレート」について説明します。 テンプレートの設定 Elasticsearchでは、登録するデータの特性に合わせてMappingを定義する方がデータを効率良く扱うことができる場合があります。 この場合、通常ですと、インデックス作成時にMappingを指定します。 ただ、今回は、インデックス名に「年」を含める形で指定してあります。 「年」はLogstashで処理したデータによって決まります。このため、あらかじめMappingを指定してインデックスを作成するのは難しいです。 このような場合に便利な機能として、「インデックステンプレート」があります。 インデックステンプレートとは 実
Elasticsearch 日本語で全文検索 その２
Elasticsearch では、すでに日本語で全文検索する為のトークナイザーやノーマライズなどの加工処理で使用するフィルターなどがビルトインまたは、サードパーティ製のプラグインとして多数存在します。 ここでは、日本語全文検索で使用しそうなトークナイザーやフィルターなどを説明します。 主要モジュールNGram Tokenizer N-グラムを提供するトークナイザーです。Elasticsearch にバンドルされています。Japanese (kuromoji) Analysis for Elasticsearch 日本語形態素解析を提供するプラグインです。各種 Analyzer、Tokenizer、TokenFilterが含まれます。cjk_width Token Filter 半角・全角などを統一するためのフィルターです。Elasticsearch にバンドルされています。Lowercas
Elasticsearch 2.4から5.0.1にアップグレードしていろいろはまった - wyukawa's diary
手元でカジュアルに運用しているElasticsearch 2.4(2.4.1だったかも)をえいやと5.0.1に上書きアップグレードしていろいろはまったのでメモっておく。 その前にElasticsearch 5がどんな感じなのかはwyukawa's tumblr, johtaniさんとElasticsearchについて話しました Guest ...を聞くと良いと思います。まあ宣伝です。 まあこういうのは2つクラスタ用意してblue green deploymentするのが安全だと思います。 ただどっちにしろクライアントの対応状況にも気をつけたほうが良いです。REST API使ってるやつならだいたい大丈夫だと思いますが、Java系だと互換性が無いんじゃないかな。 僕の環境ではfluent-plugin-elasticsearchから書き込んでますが、アップグレード作業中はデータを止めたほうが良
Developers.IO 2016 C-2 「Elasticsearchで自由自在に検索・分析できるようになるためのヒント」
Developers.IO 2016 C-2 「Elasticsearchで自由自在に検索・分析できるようになるためのヒント」
企業・業界情報プラットフォームSPEEDAにおけるElasticsearchの活用
1. The document describes SPEEDA's use of Elasticsearch to improve search performance over their previous MySQL solution. 2. Key points include how Elasticsearch allowed them to handle a large volume of search queries for 1000 companies and 1000 motors with real-time performance. 3. It also discusses their use of Elasticsearch features like phrase prefix searching and analyzer configurations to su
niconicoの検索を支えるElasticsearch // Speaker Deck
niconicoでのElasticsearch運用事例的なお話。 第7回elasticsearch勉強会 #elasticsearch #elasticsearchjp elasticsearch.doorkeeper.jp/events/16837 報告ブログ記事 http://ch.nic…
Qiita/Qiita Teamの検索システムがパワーアップしました - Qiita Blog
salam! (アゼルバイジャン語でこんにちは) 迫り来る冬の気配にビクビクしている yuku_t です。 本日Qiitaの新検索システムが公開されました！ので、それによって新しく使えるようになった機能の紹介をしたいと思います。 おしながき旧検索システムの問題点新機能の紹介Qiita、Qiita Team共通の新機能検索スニペットのハイライト表示タイトル、本文、コードからの検索OR検索マイナス検索Qiitaだけの新機能限定共有記事の検索Qiita Teamだけの新機能プロジェクトも検索コメントからの検索タグの階層絞り込み締めの挨拶旧検索システムの問題点これまでのQiitaの検索システムの使い勝手はお世辞にも良いとは言えないような代物でした。問題点いくつか挙げると 検索スニペットが表示されないため、ヒットした投稿を実際に表示して中身を確かめなければならないruby と検索した時に ruby
elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6つのブログ記事をピックアップ（追記あり） - Y-Ken Studio
LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic
Fluentdでelasticsearchの一般ログ・スロークエリログを収集する設定 - Y-Ken Studio
FluentdのtailプラグインでElasticsearchのログを収集する方法を紹介します。 収集対象ログ /etc/elasticsearch/logging.ymlにて設定された動作でログを次のファイルに出力します。 /var/log/elasticsearch/elasticsearch.log /var/log/elasticsearch/elasticsearch_index_search_slowlog.log /var/log/elasticsearch/elasticsearch_index_indexing_slowlog.log slowlogに関しては/etc/elasticsearch/elasticsearch.ymlにて設定した閾値時間を超えて処理したクエリを記録できますが、デフォルトでは設定が行われていません。後々のパフォーマンス観察を容易にするためにも設
Chef で Elasticsearch クラスタを EC2 上に作る - Wantedly Engineer Blog
エンジニアの内田（@spesnova）です。 「実践！Elasticsearch」 の第二回として、今回は Chef を使って Elasticsearch クラスタを AWS の EC2 上に構築する方法を紹介します。 Chef の基本的な部分については説明を省きます。 目次 test-kitchen 環境準備 単体の Elasticsearch サーバーを立てる Elasticsearch プラグイン込みで構築する Nginx を追加してアクセスを制限する EC2 上に Elasticsearch クラスタを立てる test-kitchen 環境準備 Elasticsearch クラスタ構築は test-kitchen を使って進めて行きます。 demo 用の test-kitchen 環境を準備します。 Ruby, Chef, Berskfile VirtualBox ($ brew
実践！Elasticsearch - Wantedly Engineer Blog
（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc
Reactive, real-time log search with Play, Akka, AngularJS and Elasticsearch
UPDATE: I’ve moved my blog away from WordPress. This post is available on my new blog at: http://www.dreweaster.com/blog/2013/07/08/reactive-real-time-log-search-with-play-akka-angularjs-and-elasticsearch/ So, I’ve decided to contribute an Activator Template to TypeSafe (will submit soon, promise!). Having recently become more and more involved in Elasticsearch, I saw a great opportunity to put to
ElasticsearchでCentOS上にNgram全文検索サーバを構築する - (その2)Ngramアナライザを設定する - オープンソースこねこね
前回に引き続きElasticsearchの設定を行います。 elasticsearch-headプラグインをインストールする いろいろ設定を試していたりすると、設定内容やデータの確認のためにコンソールからcurlを実行してREST APIを実行するのが面倒になります。そこでElasticsearchにはWebUIからデータや設定内容を参照するための機能がプラグインで用意されているので、これを導入します。 elasticsearch-head インストールは以下のコマンドを実行するだけでOKです。 $ sudo /usr/share/elasticsearch/bin/plugin --install mobz/elasticsearch-head あとはブラウザから http://localhost:9200/_plugin/head/ にアクセスすればWebUIからデータの操作ができるよ
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
日本語Wikipediaをインデクシング（Kuromojiバージョン）
前々回紹介した、日本語Wikipediaのデータをインデックス登録する記事の続きです。 今回は、Kuromojiのアナライザを利用してインデックス登録してみます。 余談（Proxy環境でのプラグインインストール） ElasticSearchのpluginコマンドはJavaで実装されています。（org.elasticsearch.plugins.PluginManager） プラグインのダウンロードには、java.net.URL.openConnection()から取得URLConnectionを使用しています。 ですので、pluginのインストールを行う際に、Proxy環境にある場合は以下のようにコマンドを実行します。 ./bin/plugin -DproxyPort=ポート番号 -DproxyHost=ホスト名 -i elasticsearch/elasticsearch-analysi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク全文検索の精度改善
SSSSLIDE
http://blog.yoslab.com/entry/2014/11/18/203159
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
