【まとめ】ディープラーニングを使った異常検知 - Qiita
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
FAQ | Prometheus
Getting startedInstallationConfigurationConfigurationRecording rulesAlerting rulesTemplate examplesTemplate referenceUnit Testing for RulesHTTPS and authenticationQueryingBasicsOperatorsFunctionsExamplesHTTP APIRemote Read APIStorageFederationHTTP SDManagement APICommand LineprometheuspromtoolMigrationAPI StabilityFeature flags VisualizationExpression browserGrafanaConsole templates InstrumentingC
サーバのログ監視ツールを使いこなそう
ログを取得しても、監視していなければ意味がない。しかし、常時監視するのは現実的ではない。異常の発生をメールで通知させるなどの対策を行っておこう。（編集局） 前回はログの基本的な設定について説明しました。今回は、出力されたログをサーバの運用に生かす方法を検討します。 本来、ログは常に監視しておくものであって、異常時のみ確認ればよいというものではありません。ただし、常時監視できる管理者はほぼいないでしょうし、大量のログが出力されるサーバを監視するのは不可能でしょう。 であれば、少しでも労力を削減しつつ確実に必要な情報を拾う方法を考えなければいけません。そこで、ツールを利用したログの管理方法を説明します。ツールにはそれぞれ一長一短があるので、どのツールを使用するのか、あるいはツール同士を組み合わせて使用するのかを考えてみてください。 ログチェックの前提条件：時間合わせ 前回も説明したとおり、ログ
Nagiosと連携して運用自動化！ 事例と適用ポイント
Nagiosと連携して運用自動化！ 事例と適用ポイント： OSS「JobScheduler」で実現するこれからの運用自動化（5）（1/3 ページ） 最終回となる今回は、JobSchedulerの日本での活用事例を紹介し、さらにJobSchedulerを組み込んだ簡単なシステムを実際に開発してみようと思います。 これまで4回にわたった連載で、JobSchedulerの機能についてかなり詳細なレベルで理解できたのではないでしょうか。 最終回となる今回は、JobSchedulerの日本での活用事例を紹介し、さらにJobSchedulerを組み込んだ簡単なシステムを実際に開発してみようと思います。読者の皆さんの日々の業務や、所属される会社のビジネスの中で、「こういう風にJobSchedulerを活用すれば運用の自動化が図れるのではないか？」と思い浮かべながら、読み進めていただければ幸いです。 Na
Four Linux server monitoring tools
Here is four strong monitoring tools i would like to present for you. htop - interactive process viewer You may know the standard tool for watching real time processes on your machine top. If not, run $ top to see it in action, and $ man top to read the manual. The htop is a widely extended version of top, with a big overview (eg. full commands, visualization, gui and ui), a mouse-clicking interac
Docker コンテナにアプリケーションを立てて Graphite でいい感じに可視化するまで - wtatsuruの技術方面のブログ
このときにやった可視化部分の話。急いで作ったのでいろいろ雑な部分が多い。 開発合宿でDockerとMesosを使っていい感じにリソース提供とデプロイするやつを作ってた - wtatsuru's blog はじめに 元のやつから内部情報を削ったサンプルを置いておきます。適当にサーバ名など修正すれば使えるかもしれません。 https://github.com/tatsuru/docker-sample-app 全体の仕組みについてはここの図がわかりやすいと思います Docker + Mesos + Marathon + Graphite + Fluentd + Sensuを組み合わせたデプロイ管理ツールの話 - ゆううきブログ やりたいこと 目的はアプリケーションの現状を俯瞰できるダッシュボードを作ること。 それぞれのDockerコンテナは短命なので、下記の情報をうまく集約してやる必要がある。
fluentd の監視エージェントを動かしてみた - ようへいの日々精進XP
はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監視 in_monitor_agent.rb 監視エージェント自体もプラグインなんですな。 設定 td-agent にて試した。td-agent.conf に以下を設定して td-agent を再起動。 <source> type monitor_agent bind 0.0.0.0 port 24220 </source> 以上。 試す ざくっと見た感じだと各種プラグインのステータスを JSON 又は LTSV フォーマットで出力する。
1,000人超の大規模開発者イベント「YAPC::Asia Tokyo 2013」を支えたネットワークインフラ構築の舞台裏～プロフェッショナルのボランタリーが生み出したチカラ｜gihyo.jp … 技術評論社
1,000人超の大規模開発者イベント「YAPC::Asia Tokyo 2013」を支えたネットワークインフラ構築の舞台裏～プロフェッショナルのボランタリーが生み出したチカラ 1,000人を支えたネットワークインフラ 今年9月に開催されたPerl開発者のためのイベントYAPC::Asia Tokyo 2013」。過去最大となるのべ1,000名を超える参加者が集まりました。非常に高い品質のセッションが数多く見られ、gihyo.jp読者の皆さんの中にも会場まで足を運んだ方がいらっしゃるのではないでしょうか。会場では、快適なネットワーク環境が用意され、発表者から聴講者までインターネットを十分に活用できたかと思います。 ここでは、その来場者に向けたインターネット接続サービス提供を実現した専用の会場ネットワーク環境の構築について、準備から当日の模様までを紹介します。 リアルの熱気とネットの熱気の
monit について調べたのでメモ - ようへいの日々精進XP
はじめに td-agent の監視と万が一の時の自動起動に monit を使いたいと思って調べた monit とは？ 個人的な解釈としては monit とは以下のような機能がある。 指定されたプロセスの監視 指定されたプロセスが停止した場合には自動的にプロセスを再起動する 公式サイトはこちら。 monit -h とりあえず monit -h でどんなオプションがあるかを確認。 Usage: monit [options] {arguments} Options are as follows: -c file Use this control file -d n Run as a daemon once per n seconds -g name Set group name for start, stop, restart, monitor and unmonitor -l logfile
監視ソフトをNagiosからSensuに切り替えて2ヶ月経ったのでまとめた - Glide Note
新規サービス用の監視をNagiosからsensuに切り替えて2ヶ月経ったので、 導入時の調査で社内で公開してたissueと、投入して2ヶ月間運用した記録を公開しておこうと思う。 というか以前Sensuの事を書くと公言していたのに、すっかりサボっていて 昨日@ma0eさんのブログを見て下記のやり取りを思い出して急いで書いた… @ma0e We started using it. @glidenote will report the detail soon, I think. — kentaro (@kentaro) 2013, 10月 30 @kentaro @glidenote that would be nice — Mitsutoshi Aoe/maoe (@ma0e) 2013, 10月 30 導入環境はCentOS 6.4で、利用しているsensuのバージョンは0.12.1-1にな
FnordMetricはGrowthForecastの夢をみるか | しんめいブログ
そんな話題ではないであろうFnordMetricをいじってみてわかったことをいろいろ FnordMetricって？ 公式ページによると “FnordMetric powers highly customizable real-time analytics dashboards（高度にカスタマイズ可能なリアルタイム分析ダッシュボード）’’ つまりありとあらゆるデータをリアルタイムにグラフ化できるツールって感じです このページに簡単なチュートリアルがのってます もっとわかりやすく ユーザーの最終ログイン時刻 ユーザーの男女比率 アイテムの売上、人気度 ページ別の閲覧数、人気度 ・・・ 上記の様なデータを このようなjson形式のデータで送信（HTTP,TCP/UDT等が使える）することで、平均や単位時間あたりの量等をリアルタイムに集計しグラフ化することができます。 クライアントライブラリもr
Sensu | Observability Pipeline
The Observability Pipeline that delivers monitoring as code on any cloud Consolidate monitoring tools & fill gaps in observability. Eliminate data silos & automate diagnosis & self-healing — from bare metal to Kubernetes. $ sensuctl create -r -f monitoring/ check "node-exporter" created check "tls-cert" created asset "sensu-plugins/sensu-plugins-ssl:1.0.0" created filter "oncall" created handler "
GrowthForecast - Lightning fast Graphing / Visualization
GrowthForecast is a web tool that let's you graph all sorts of metrics via a WebAPI. Our simple API let's you create and update charts in real time, customize your charts through a Web interface, and create charts that combine multiple metrics. You can graph your MySQL data with 1 line of code $ crontab -l */5 * * * * curl -F number=`mysql -BN -e 'select count(*) from member' game` http://example.
Event Handlers
Up To: Contents See Also: State Types, Host Checks, Service Checks Introduction Event handlers are optional system commands (scripts or executables) that are run whenever a host or service state change occurs. An obvious use for event handlers is the ability for Nagios to proactively fix problems before anyone is notified. Some other uses for event handlers include: Restarting a failed service Ent
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Mackerel サーバ監視［実践］入門: 井上大輔, 粕谷大輔, 杉山広通, 田中慎司, 坪内佑樹, 松木雅幸: Digital Ebook Purchas
Stop using Nagios (so it can die peacefully)
Weathermap
GitHub - asmuth/clip: Create charts from the command line
fnordmetric.io
GitHub - pburkholder/sensu-talk: sensu presentation