OSSで始めるセキュリティログ収集/oss-securitylog-builderscon2017osqueryの紹介 https://builderscon.io/tokyo/2017/session/ce1bf3ee-33bd-4899-897d-ba3c4364c1c5
Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
オープンソースのダッシュボード＆グラフ作成ツール「Grafana 2.0」がアルファ版に到達
「Grafana 2.0」の開発にあたっては、警告表示やパネルのPNGレンダリング、ユーザー管理／認証のサポートに関する作業を行うとともに、従来から多くのユーザーを悩ませてきたセットアップを、より簡易にする努力が行われている。 現段階では、「Grafana 2.0」はGitHub上のレポジトリにおいて「開発」ブランチに位置づけられており、公式なバイナリパッケージは作成しておらず、ドキュメントも整備されていない。バイナリパッケージやドキュメントは、ベータ版に到達した時点での作成を予定する。また、現段階での機能を試せるプレビュービルド版を試せるサーバも用意している。 バックエンドはGo言語で書かれており、sqlite3データベースが標準で組み込まれているため、Elasticsearchには依存しない。ダッシュボードストレージにInfluxDBまたはElasticsearchを使用している場合は
Graph ExplorerでGraphiteのデータをいい感じに扱う
全国1億2000万人の監視ツール好きのみなさんこんにちは。 Graph ExplorerはGraphiteと連携して、Graphiteのデータを簡単に探してグラフ化してくれるツールです。GitHubで公開(https://github.com/vimeo/graph-explorer)されています。 Graphite標準だと、グラフ数が増えてくるとデータを探すのが著しく困難ですし、複数のデータをグループ化したりするのも、いちいち手作業でやらねばならず効率的ではありません。Graph Explorerを使うことでそういった問題を解決できます。 動作環境Graph Explorerを動作させるためには、当然のことながら既に構築済みのGraphite環境が必要です。 またその他に検索機能を実現するために、ElasticSearchが必要になります。アプリケーション自体はpythonのbottle
Railsでelasticsearchとsearchkick(retire)とacts-as-taggable-onでラクをしてfacetsした話 - ikeikeikeike's unk blog.
タグを付けてfacetsするところまで。コードは全く書きません。 便利でいいですね。 gem "searchkick" # full text search gem 'acts-as-taggable-on' # For tags インストール後migration実行 $ rake acts_as_taggable_on_engine:install:migrations $ rake db:migrate モデル定義 class Product < ActiveRecord::Base searchkick # For full text search powerd by elasticsearch. acts_as_taggable # Alias for acts_as_taggable_on :tags # for searchkick reindex data. # def se
elasticsearch-rails0.1.4を使ってRails4.1.5でN-gram検索する
Elasticsearch / Ruby / Rails この記事ではレシピ検索をする場合を例に検索機能を追加します. 検索機能を追加するモデルを作る まずは基本となるRecipeモデルを作成します $ rails new search_recipe $ cd search_recipe $ bundle install $ bundle exec rails g model recipe title:string description:text url:string $ bundle exec rake db:create $ bundle exec rake db:migrate $ bundle exec rails console > Recipe.create(title: "ミックス赤玉で豚玉を作ってみた", description: "業務スーパーで買ったのは卵(ミックス赤
ElasticSearchの運用とか (3) - なんかかきたい
監視周りの情報とかをペタペタと書きました。 ステータス監視 Munin https://github.com/claygregory/munin-elasticsearch 色々あるけど、これが有力そう。 Plugin/HQ https://github.com/royrusso/elasticsearch-HQ headプラグインと機能が被っている気がしなくもない。便利な管理ツール。 Plugin/head http://mobz.github.io/elasticsearch-head/ 色々できるノードステータス監視ツール。便利 Plugin/bigdesk https://github.com/lukas-vlcek/bigdesk HQやheadと似たようなElasticSearchクラスタの状態監視ツール。 HQやheadと比べてモニタリングの機能のみに注力しているイメージ。
最新インフラエンジニア技術勉強会に行ってきました #dli_infra | こえむの編集後記
昨夜、ドリコムさんで行われた「最新インフラエンジニア技術勉強会 〜Fluentd, Elasticsearch,Chefの実践実例〜」に足を運んできました。 タイトルにもありますように、Chef, モニタリング, Fluentd, そして elasticsearch が使われている現場の情報を伺える機会となりました。 それでは、いつものようにノートをアップしておきます。 概要 2014-05-23 ドリコム 本社 (目黒アルコタワー) 19:30-20:00 ひらしー ドリコムのInfrastructure as Code 20:00-20:30 mickey Winning the metrics battle 20:30-21:00 外山 寛 Fluentd プラグイン開発講座 21:00-21:30 yoshi_ken MySQLと組み合わせて始める全文検索エンジン「elastics
ElasticSearchの運用とか (1) - なんかかきたい
最近のお仕事的なことですが、ElasticSearchの構築・運用を任されるようになりました。 まかされるというか、実際にはいい感じに全文検索ができる仕組みを作って欲しいといういつもの依頼だったんだけども、全く運用の経験の無いプロダクトだったので色々わからないことだらけ。 最近はKibanaと組み合わせて言い感じのグラフを作るのがWeb屋さんの間で流行っているイメージですが、Kibanaを除いたElasticSearchの細かなところに踏み込んだ情報はあまりない感じで（多分感心があまりないのかも）、結局マニュアルを色々読んでわからないところを補完していった感じです。 同じようにElasticSearchを使って検索機能を作っていきたいような人の参考になればいいなー程度にまとめて行こうと思います。そのうち自分でも見直すことになるだろうし。 一応手元にmarkdownでまとめたものもあるんだけ
Hello! Elasticsearch. – Medium
Elastic Stack (Elasticsearch) Advent Calendar 2020 の 12月21日のエントリーです。
elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6つのブログ記事をピックアップ（追記あり） - Y-Ken Studio
LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する | DevelopersIO
はじめに 先日お伝えしました通り、ELBのアクセスログが取得出来るようになったのですが、すぐさまfluent-plugin-elb-logというfluentプラグインがリリースされました。さすがfluentd界隈、対応が早いです。 ということで、今回はELBのアクセスログをfluentd経由でElasticsearchに取り込み、それをKibanaで表示したいと思います！ セットアップ Elasticsearch Elasticsearchは最新のrpmパッケージを更新サイトから取得し、rpmコマンドでインストールします。 $ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.noarch.rpm $ sudo rpm -ivh ./elasticsearch-1.
Fluentd 2013年開発・状況まとめ / 2014年に向けて | Post Moratorium
Fluentd 2013年開発・状況まとめ / 2014年に向けて ワイワイ！Fluentd Advent Calendar 2日目担当の @kzk_mover です。このエントリでは2013年 Fluentd の開発・コミュニティの状況まとめをお届けします。 2013年開発まとめFluentdコア自体は2013年、191 commit (そのうち @repeatedly が 84 commit)。ドキュメントの方は326 commitあります。コア以外にも、2012年年末に約70だったプラグイン数は、2013年12月1日現在に約3倍の206個となっています。 Fluentdのコア自体は10回リリースされ、td-agentは6回リリースされています。大体Fluentdが月1回、td-agentが月に2回の計算になります。また、@repeatedlyがTD社に入社し、td-agentのメンテ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibana入門