Elasticsearch のクエリとフィルタについて - ボクココ
ども、@kimihomです。 今回は Elasticsearch の Query と Filter について自分の理解した範囲で書いてみることにする。 クエリ と フィルタ の違い 本家の英語ドキュメントを読むと、以下のように書かれている。 As a general rule, use query clauses for full-text search or for any condition that should affect the relevance score, and use filter clauses for everything else. 軽く訳すと、一般的なルールとして、フルテキスト検索か関連するスコアに影響する条件があるときは クエリ を使い、それ以外はフィルタを使う。 とある。どの程度、検索結果に関連性が高いかを示すスコアが大事な時は query を使うという感
elasticsearch-rails0.1.4を使ってRails4.1.5でN-gram検索する
Elasticsearch / Ruby / Rails この記事ではレシピ検索をする場合を例に検索機能を追加します. 検索機能を追加するモデルを作る まずは基本となるRecipeモデルを作成します $ rails new search_recipe $ cd search_recipe $ bundle install $ bundle exec rails g model recipe title:string description:text url:string $ bundle exec rake db:create $ bundle exec rake db:migrate $ bundle exec rails console > Recipe.create(title: "ミックス赤玉で豚玉を作ってみた", description: "業務スーパーで買ったのは卵(ミックス赤
Fluentdで各種ログをS3とElasticsearchにまとめる - BitArts Blog
各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい！」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを経由してElasticsearchとS3に保存する構成にします。 Elasticsearchのインストール Fluentdで集積したログは保存するだけならS3で良いのですが、手軽にビジュアライズしたいので、今回はKibanaを使えるようにElasticsearchにも保存するようにします。今回はCentOSに導入するので、公式のyumリポジトリからインストールします。 $ sudo rpm --i
amacou's blog — ローカルで動かしているRailsアプリでfluentd+elasticsearch+kibana3と連...
ローカルで動かしているRailsアプリでfluentd+elasticsearch+kibana3と連携させてみる fluentdとかelasticsearchとか触ってみたくなったので、全てをローカルのMacの中に入れて触ってみた。 以下作業ログです。 fluentdのインストールfluentdをgemから入れて起動する とりあえずconfファイルはいじらないで動かす $gem install fluentd $fluentd --setup ./fluent #./fluent/fluent.confを作成 $fluentd -c ./fluent/fluent.conf #fluentdを起動 railsの修正fluentdにログを流す方法はいろいろあるみたいだけど、ログをLTSV(Labeled Tab Separated Value)形式に変えてからそれをfluentdのsour
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。ElasticsearchDockerNorikraKibanafig このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かりま
福岡で働くインフラエンジニア: centos6.5でfluentd+Elasticsearch+kibanaをansibleで構築する
20140818-01sshの鍵で接続できる環境を用意するこれで作成した環境を利用する構築のベースとなるOSはdockerから提供されているcentos(6.5)が前提となります※構築はansibleのコマンドラインから行い、後でplyabookにまとめることを想定してますfluentdfluentdインストールansible -i hosts localhost -u dep --private-key=~/.ssh/id_rsa_h2sp -m shell -a 'curl -L http://toolbelt.treasuredata.com/sh/install-redhat.sh | sh'fluentd設定td-agent.confをローカルに作成する内容は以下のとおり<source> type forward port 24224 </source> <match log.*
今日から始めるfluentd × Elasticsearch × kibana - カジュアルな解析・高速化 - Eureka, Inc.
目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ
Kibana3で同じダッシュボードを対象indexを変えて沢山作る - Qiita
はじめに 色々な種類のログをElasticSearchに貯める場合に、indexを分けるのか、同一indexでtypeを分けるのか、という点について、stackoverflowの記事に以下のようにありました。 個々のログのサイズが大きいのならindexを分けることで、検索を効率よく実行できる そうでないならtypeを分けると、沢山のindexを持つ際のストレージ容量のオーバーヘッドを避ける事ができる indexを分けると、同じようなダッシュボードで対象indexを変えたものを沢山作りたくなります。その方法を考えてみました。 ここでは、題材としてHadoop daemonのログを利用しており、NameNode, DataNodeと言ったdaemonごとにindexを分けるケースを想定しています。(ちなみに、ログ自体はfluent-plugin-elasticsearchで格納しており、flu
CloudTrail のログを Kibana で可視化して改善のヒントを探す | はったりエンジニアの備忘録
7 月から東京リージョンでも使えるようになった CloudTrail（一部のサービスはまだ未対応）。 API 呼び出しのすべてが記録されるのでセキュリティ監査の証跡ログとして利用されることが多いと思います。 オンプレミスで同じことをやろうとするとコストも労力も馬鹿になりませんが、CloudTrail ならポチッと有効にするだけです。素晴らしいですね！ セキュリティ監査の証跡ログだけではもったいないので、他の活用方法を考えてみました。 CloudTrail のログをどう活用するか CloudTrail のログには AWS CLI / SDK からのリクエストはもちろんのこと、Management Console の操作も記録されています。 Management Console も裏側で API を叩いているからです。 API を使って構築や運用の自動化を進めると Management Con
「関連する○○」機能を手軽に実現できる。そう、Elasticsearch ならね。 - クックパッド開発者ブログ
セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使
Hello! Elasticsearch. – Medium
Elastic Stack (Elasticsearch) Advent Calendar 2020 の 12月21日のエントリーです。
Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この３つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。 データの収集や解析を行
Kibana3を環境構築だけで終わらせない(前編) - Qiita
まえがき 先日、ElasticSearch勉強会に参加して刺激をうけたので、自分でもなにかやってみようと思い、 勉強会でも少し触れられたり、Rebuildでも話題に出ていた、Kibana3について調べてみました。 環境構築から一歩踏み出して、実際に使うときに知っておきたいと思ったことを書いてみます。 Kibana3はおろか、ElasticSearchもfluentdもあまり使ったことがないので、内容に間違いなどあれば指摘していただけるとうれしいです。 Kibana3の環境構築と前提知識 環境構築については、すでに手順を公開しているかたがいるので、 今回は下記の記事を参考に環境構築しました。 Kibana3 + Elasticsearch + Fluentd を試した OSはこの記事とは違って、CentOS6.4を使っていますが、基本的にはこの記事のとおりに進められました。 少し違うのは、R
Kibana: Explore, Visualize, Discover Data | Elastic
Search and analytics, data ingestion, and visualization – all at your fingertips
Kibana 3 + Rails + Fluentdのサンプルアプリを作ってみた - y_310's diary
miyagawaさんのPodcast Rebuild: 19でKibanaの話があってちょっと盛り上がり始めてるので、簡単に動作を試せるサンプルアプリセットを作ってみました。 https://github.com/y310/kibana-trial git cloneしてREADMEに書いてある手順を実行していくと大体動くと思います。 railsからfluentdにログを送る部分は、こんな感じでrack middlewareを使って送ります。 # application_controller.rb class ApplicationController < ActionController::Base around_filter :collect_metrics def collect_metrics yield # ensureを使うのは例外時のログも捕捉するため ensure # co
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
