OpenTelemetryについての現状まとめ （2020年6月版） - YAMAGUCHI::weblog
はじめに こんにちは、StackdriverあらためGoogle Cloud Operations担当者です。ここ最近は業務でOpenTelmetry関連をほそぼそとやってきたんですが、ようやくOpenTelemetryも安定版リリースのめどが立ってきたので、これまでと現状と今後を簡単にまとめておこうと思って書き始めたら、全然簡単じゃなくて10000文字超えました。（なおこのシリーズは今後も続きそうな気がするのでタイトルに日付を振っておきました） TL;DR 分散トレースとメトリクスの計装フレームワークとしてOpenTelemetryというものがCNCF Sandboxプロジェクトとして進行中。これはOpenTracingとOpenCensusのマージプロジェクトであり、各々の正式な後継版である。 とはいうものの、まだ仕様もstableリリースになっておらず、当然各言語向けのライブラリも安
Mackerelで家庭内ネットストーカーシステムを作ってみた - hnwの日記
本エントリはMackerel Advent Calendar 2017の23日目の記事です。 自宅の無線LANの利用状況をMackerelで監視するようにしたところ、予想以上にキモい仕組みができました。たとえば、家族の誰か（正確には誰かのスマートフォン）が外出するとSlackに通知を飛ばすことができます。 同じことをしている人は多くないと思うので、その知見を紹介します。 システム概要 まずは我が家のネットワーク構成を紹介します。 インターネットに接続しているブロードバンドルータがあり、無線経由でスマートフォンやPCがぶら下がっているような、ごく普通のネットワーク構成です。唯一変わっている点は、ブロードバンドルータ上でLinuxおよびMackerelエージェントが動いていることでしょう。 このルータの詳細は本稿では省きますが*1、ザックリ言うとRaspberry Pi 3を無線LANアクセス
サーバレスアーキテクチャによる時系列データベースの構築と監視 / Serverlessconf Tokyo 2017
サーバレスアーキテクチャによる時系列データベースの構築と監視
PostgreSQLの内部構造と監視の話 - そーだいなるらくがき帳
Geeks Who DrinkとPostgreSQL Conference Japan 2017での資料です。 nulab.connpass.com PostgreSQL Conference Japan 2017 (2017-11-03) | 日本PostgreSQLユーザ会 詳しく知りたい人は下記の本がおすすめです。 ただし注意点は9.3相当なのでプロセスの仕組みがちょっと違います。 待望の新刊出ました！10系ベースなのでぜひ読んでみてください。 ※2018/10/07 追記 読み応えのある内容になったかなと思います。レベル感で言えばOSS DB Goldの試験出る範囲です。特に内部構造は覚えて置いて損は無いでしょう。 speakerdeck.com 内部構造の中で取り扱っていないところにAUTOVACUUM、TOASTとレプリケーションがあります。AUTOVACUUMはPostgre
自律分散監視システムとそれを利用したネットワークグラフ可視化への挑戦 - Hatena Developer Blog
はじめに はてなサマーインターン2017の大規模システムコースの成果報告をします。 今年の大規模システムコースではメンターのid:masayoshiさんとid:y_uukiさんの下、自律分散監視システムとそれを利用したネットワークグラフの可視化に取り組みました。自律分散監視システムでは単純なクラスタリングによる死活状況の確認だけではなくアプリケーションレベルの疎通確認を行えるものを実現しました。またどのようにしてクラスタを形成するかという問題に取り組む内に、サービス間のネットワーク上のつながりを取得できるようになり、その情報でサーバー間の関係性の可視化を行いました。この記事では、それらの詳細を説明します。 はじめに 自律監視システムの実現 中央サーバー型の監視システム 自律分散監視システム アプリケーションレベルの相互監視 どうやってクラスタを形成するか？ 実験 ネットワークグラフの可視化
Gnocchi – Metric as a Service — Gnocchi 4.2.1.dev96 documentation
Gnocchi – Metric as a Service¶ Gnocchi is an open-source time series database. The problem that Gnocchi solves is the storage and indexing of time series data and resources at a large scale. This is useful in modern cloud platforms which are not only huge but also are dynamic and potentially multi-tenant. Gnocchi takes all of that into account. Gnocchi has been designed to handle large amounts of
Linuxメモ : topの代わりとして使えそうなコマンド（glances, ctop, gtop, htop, vtop, cpustat）を試してみる - もた日記
glances インストール 使い方 ctop インストール 使い方 gtop インストール 使い方 htop インストール 使い方 vtop インストール 使い方 cpustat インストール 使い方 GitHubを眺めていたらtopの代わりとして使えそうなコマンドが色々あったので試してみる。 glances Glances - An Eye on your system（公式ページ） github.com glancesは色々な情報を表示できるモニタリングツール。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install glances 使い方 glancesで起動できる。図のように色々な情報がまとめて表示可能。 ブラウザで確認できるWebサーバモードや、リモートマシンを監視するクライアント／サーバモードもあるようだ。 ctop ctop（公式ページ
Monitor your entire infrastructure in high-resolution and in real-time.
Why Netdata? Netdata is different. Our mission is to help you simplify and optimize your IT operations. Netdata provides high-fidelity data, real-time visualizations, reliable alerts, anomaly detection for every metric and a monitoring experience that is affordable and works out of the box. We take care of all the monitoring complexity, so you can focus on your infra! Open Source, at the core Netd
CPU使用率は間違っている | Yakst
Netflixのパフォーマンスエンジニアである筆者からの、topコマンドなどで表示されるCPU使用率(%CPU)は、いまや本当の使用率を表しておらず、チューニングなどのための指標として使えないという指摘。なぜそうなってしまったのか、何を見れば本当のCPU使用率がわかるのかをわかりやすく解説した記事。 私たちみんながCPU使用率として使っている指標は非常に誤解を招くもので、この状況は毎年悪化しています。CPU使用率とは何でしょうか？プロセッサーがどのくらい忙しいか？違います。CPU使用率が表しているのはそれではありません。私が話しているのは、あちこちで、あらゆる人たちに、あらゆる監視製品で、あるいはtop(1)でも使われている、"%CPU"という指標のことです。 あなたの考えているであろうCPU使用率90% : 実際 : "stalled"(訳注 : 以下ストールと言う)とは、プロセッサーが
X-Pack Machine Learningを試してみました - Taste of Tech Topics
みなさんこんにちは！ @tereka114です。 本日、待望のX-Pack Machine Learningがリリースされました。 X-Pack Machine Learning X-Pack Machine Learningとは インストール 実際にやってみた 解析準備 Single Metric Job Multi Metric Job おまけ PrelertとX-Pack Machine Learningの違い より簡単に設定ができる 解析途中や解析後に生データを確認できる モデルが可視化できる 最後に X-Pack Machine Learning X-Pack Machine Learningとは X-Pack Machine LearningはElastic Stackで時系列の異常検知を行える機械学習の製品です。 特徴として、教師なし学習による異常検知モデルの生成や周期、トレ
高度に発達したシステムの異常は神の怒りと見分けがつかない - IPSJ-ONE2017 - ゆううきブログ
名古屋大学で開催されたIPSJ-ONE2017 で登壇しました。 IPSJ-ONEというのは、情報処理学会の各研究会から選ばれた日本の若手トップ研究者17人が集まり、自身の研究を高校生でもわかるように発表するイベントです。 1000人ぐらい入る講堂で、しかもニコニコ生放送で配信されるというとても大掛かりなイベントです。 ちなみに、昨年は、同じ研究会からの推薦で、 id:matsumoto_r (matsumotory) さんが登壇されています。 IPSJ-ONE 2016で登壇してきた - 確実に時代は変わってきている #ipsjone - 人間とウェブの未来 発表 「高度に発達したシステムの異常は神の怒りと見分けがつかない」という、一見何の話かわからないやばそうな話なんですが、大真面目に話してきました。 スライドを以下に公開しています。ただ、スライドだと何の話をしているかおそらくわからな
任意の web ページの任意の領域をウォッチし続けることのできる LINE bot である fuba antenna を作った - fuba のはてなダイアリー
タイトルの通り作りました。fuba antenna という名前です。1000 万円ねらいです。とりあえずまずは以下の QR code からフォローしてください。もしくは @hpr0973c で検索してください。 どういう bot なの？ こんな感じで任意の web ページのウォッチしたい領域が延々と LINE に送られてきて読み流せるのでたいへん便利です。 つかいかた add [url] で URL を登録するとキャプチャがもらえるので、その画像の中のウォッチしたい部分（いまのところ、1つのDOMノードとして表現できる部分だけです）を切り抜いて、画像として返信します。キャプチャの画質変化には弱いのでできるだけ拡大縮小とか圧縮とかされないように切り抜いてください！ いい感じに切り抜けるまでためした後は、言われるがままに設定します。 すると URL が登録されてるので、3 時間 / 24 時間
Slackで全チャンネルの全発言を取得する方法 - Qiita
はじめに 2016年12月現在、SlackAPIでは公式に全チャンネルの全発言をリアルタイムに取得する方法が用意されていません。 つまりこれはSlackが我々に叩きつけた挑戦状ではないでしょうか？（？） 全能感を味わうツールを作りたかった私は試行錯誤の上、検索APIを利用する方法で全チャンネルの全発言を取得することができたので、今回作ったツールを含め紹介します。 slackの検索APIについて https://api.slack.com/methods/search.all を使用します。 実は中身は… この検索APIのバックエンド実はsolrなんです！様々なクエリを投げていろいろ実験してるときに白状しました！ このリクエストは - 昨日以降の発言 - タイムスタンプでソート とだけ指定してSlackの検索APIを殴っています。 なんとこれだけで、10秒くらいの遅延はあるもののほぼリアルタ
次世代監視の大本命！ Prometheus を実運用してみた - Qiita
こんにちは！freeeでインフラゾンビをやっている @sugitak です。ゲームではレベルを上げて物理で殴る派です。 freee ではたまにインフラエンジニアの数が減るのですが、その減ったインフラエンジニアはインフラゾンビへと進化し、社内を闊歩します。インフラゾンビは主に開発チームに所属して、アプリっぽいインフラの仕事をインフラからアプリ側へと持っていきます。デプロイとか、Dockerとか、Jenkinsとかの、いわゆる DevOps 系のところですね。こうすることで開発者は手を出せるものの自由度が増えるし、インフラはより本来のインフラとして純度を上げていける、 so, win-win ってわけです。 さて、そんなわけで監視です。freee Engineers Advent Calendar 2016の9日目の記事として、 Prometheus による監視が最高なのでみんなもっと使おうと
母親はどこまで息子のTwitterを監視しているのか？ | オモコロ
中学生・高校生のオモコロ読者のみなさん、こんにちは！ セブ山おじさんだよ！ みなさんは、物心ついた時からすでに身近な場所に「インターネット」が存在していて、水道や電気と同じように、ライフラインのひとつとして「ネット環境」が整っていた世代ですよね。 成人してから初めて「インターネット」というものに触れたセブ山おじさんからしてみると、君たちはすごく恵まれていて、とっても羨ましいよ。いいなぁ。 でもね、「インターネットが身近にある」っていうのは、「親バレ」というもっとも恐ろしいことと隣り合わせだと僕は思うんだ。 友だちの前で調子コイてる姿とか、夜中に書いたポエムとか絶対に、親にバレたくないよね？ この記事を読んでいる君は「ウチの親はパソコンに疎いから大丈夫ッスよw」と思っているかもしれないけど、それって本当かな？ あなたのネット上での活動や発言なんて「親は何も知らないし、何も見てもいない」って果
Trifecta by ldaniels528
Trifecta is a Command Line Interface (CLI) tool that enables users to quickly and easily inspect, publish and verify messages (or data) in Kafka, Storm and Zookeeper View project on GitHub Trifecta is a Command Line Interface (CLI) tool that enables users to quickly and easily inspect, verify and even query Kafka messages. In addition, Trifecta offers data import/export functions for transferring
Monitoring and Tuning the Linux Networking Stack: Receiving Data | Packagecloud Blog
Monitoring and Tuning the Linux Networking Stack: Receiving Data TL;DR This blog post explains how computers running the Linux kernel receive packets, as well as how to monitor and tune each component of the networking stack as packets flow from the network toward userland programs. UPDATE We’ve released the counterpart to this post: Monitoring and Tuning the Linux Networking Stack: Sending Data.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
arXivTimes Indicator
OSSで始めるセキュリティログ収集/oss-securitylog-builderscon2017
golang で書かれたプロセスのリソースを外部から監視/操作できる「gops」 - Qiita
