「入門 監視」社内輪読会から1年経過して 〜参加メンバーの意識の変化と今後〜 - BASEプロダクトチームブログ
はじめまして。 BASE株式会社 SRE Groupに所属している富塚(@tomy103rider)です。 先日、弊社CTOが 「もうさばき切れない」アクセスが激増したECプラットフォームにおける負荷対策 https://devblog.thebase.in/entry/bsucon という記事を公開しました。 社内ではこのアクセス激増をきっかけに「サービスの監視をどうしていくか」「サービス/システムのアラートに対してのアクションはどうあるべきか」といったような監視に関する話題も改めて盛り上がっています。 そんな中でふと1年くらい前にBASE BANK 株式会社の東口 (@hgsgtk)が社内で主催した「入門 監視」輪読会に参加したことを思い出し、その輪読会がどういう会だったかなど、改めて輪読会を振り返ってみようと思います。 「入門 監視」輪読会の目的は何だった？ この輪読会を開催するにあ
SORACOM AirとRaspberry Pi 3 B+でIoT遠隔環境監視システムを作ってみた。 – アキバのアミュレット店員がやってみた
近年「IoT」という言葉を聞く機会が増えてきました。「IoT」は「Internt of Things」の略で，日本語に直訳すると「モノのインターネット」。その名の通りモノがインターネットにつながっている仕組みのことです。 色々なモノが常時インターネットに接続されると，接続されたモノをネットワークを通じて操作したり，センサーの情報をリアルタイムで取得・分析することができます。代表的な例に，自動車の自動運転技術などがあるでしょうか。 ビジネスで何らかのデータを分析して経営判断の材料にすることは，日常的に行われていると思います。これからは，今までなかなか扱うことができなかったデータを取ってそれをクラウド上に集め，より高度かつ詳細な分析を行うことができるかもしれません。 筆者が注目しているIoTプラットフォームの一つに「SORACOM Air」があります。SORACOM社の概要についての説明は省き
以下の文章は、電子フロンティア財団の「Big Tech to EU: “Drop Dead”」という記事を翻訳したものである。 Electronic Frontier Foundation 欧州連合の新しいデジタル市場法（DMA）は複雑で多面的な規制だが、その本質は、一般市民がテクノロジーをコントロールしやすくすることにある。 DMAは、大手の「ゲートキーパー」テック企業に対し、サードパーティのアプリストアを認めるよう義務づけている。つまり、端末の所有者であるユーザは、端末にインストールするソフトウェアの提供者を自分で決められるようになるのだ。 別のルールでは、テックゲートキーパーが他のプラットフォームと相互運用可能なゲートウェイを提供することを義務づけている。これにより、あるチャットサービスの利用を止めて競合サービスに乗り換えても、以前のサービス上の人々とのつながりを維持できる（将来的に
![EUデジタル市場法：ビッグテックからの返答「クソくらえ」 | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/ac2b18011c5c760c7c3b86188a8bb8a88127805f/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Feu-flag-11.png)
GitHub - openobserve/openobserve: 🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces, RUM, Error tracking, Session replay).
🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces). OpenObserve (O2 for short) is a cloud-native observability platform built specifically for logs, metrics, traces, analytics, RUM (Real User Monitoring - Performance, Errors, Session Replay) designed to work at petabyte scale. It is straightfor
監視とオブザーバビリティ 〜 悩む前に確認しておくべきこと / 20230926-ssmjp-monitoring-and-observability
2023年9月26日開催の「ssmonline #37」での発表「監視方法論」のうち、一部を抽出して公開しました。 当日ツッコミ枠でご参加いただいたみなさん、ご視聴いただいた皆様ありがとうございました。
DNS水責め攻撃と監視 / DNS water torture attack Monitoring and SLO
mackerel Meetup #14 Tokyo - 2023/07/11
はじめに SRE部 ECプラットフォームSREチームの小林 (@akitok_) です。 ZOZOTOWNでは、マイクロサービス間通信におけるトラフィック制御のために、Istioによるサービスメッシュを導入しています。本記事ではZOZOTOWNのマイクロサービスプラットフォーム基盤（以下、プラットフォーム基盤）において、Istioをいかにプロダクションレディな状態で本番に投入していったか、その取り組みを紹介します。 なお、Istioによるサービスメッシュを導入した背景については、以下の記事で紹介しています。 techblog.zozo.com はじめに What is Istio? Istioをプロダクションレディにするまでに直面した3つの課題 どのようにリソース消費量を見積もるか Data Planeサイジング Envoyプロキシのチューニング 負荷試験 Istioベンチマーク試験 サー
Microsoftは10月14日(米国時間)、Windowsで提供しているシステム監視ツール「Sysmon」のLinux版「Syemon For Linux」をオープンソースとして公開した。SysmonはMicrosoftがWindowsシステムの管理者やアプリケーション開発者向けに提供しているユーティリティ「Windows Sysinternals」の一部であり、疑わしいアクティビティのログを記録して分析できるようにするコマンドラインベースの監視ツールである。Linux版Sysmonの公開は、Windows Sysinternalsの25周年を記念して行われた。 Wiondowsのユーザーは、Syemonを利用することでプロセスの開始や終了、ネットワークへの接続、デバイスへのアクセス、ファイルへのアクセスなどのログを記録できるようになる。記録したログは、Windows PowerShel
[レポート] オペレーション、監視(Monitoring)、可観測性(Observability)… AmazonのCTOはAWS re:Invent 2020のキーノートでどう語ったか？ キーワードを拾ってみた #reinvent | DevelopersIO
昨年12/18（日本時間では12/19）、AWS re:Invent 2020におけるのDr. Werner Vogels（ヴァーナー・ボーガス氏）のキーノートは皆さんご覧になられたでしょうか。 氏のキーノートセッションは毎回恒例ですが、例年だと開発環境や実行環境・AWSインフラについての話にフォーカスがあたっている印象でした。その中で「Everything fail, all the time」や「You build it, You run it」のような名言・格言が語られてきました。 ところが今回は「Developer Keynote」と銘打った上で、よりオペレーション段階の話に長く時間が割かれました。MLやインフラに特化したキーノートが別にあったことも要因のひとつでしょう。 どんなことが語られたのか？ 個人的に気になったキーワードをひろってみました。 なお記事中の訳は基本的にぼくの解
![[レポート] オペレーション、監視(Monitoring)、可観測性(Observability)… AmazonのCTOはAWS re:Invent 2020のキーノートでどう語ったか？ キーワードを拾ってみた #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ff0ae3d489a3ff18121e329779daf6be5562ed5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F01%2F202012-report-reinvent-keynote-observability-eyecatch.jpg)
空き巣対策からペットや赤ちゃんの見守りまで、出先で現地の様子を確認できるネットワークカメラの人気が高まっています。横浜に本拠地を置くアトムテックが開発したネットワークカメラ「ATOM Cam 2」は、2980円という安価な価格設定ながら、防水・暗視カメラ・動体検知といった便利機能が詰め込まれているとのこと。実際に「ATOM Cam 2」を使って安価な小型カメラの性能を確かめてみました。 ATOM Cam 2 (アトムカム ツー) - 完全防水・防塵＋カラーナイトビジョン | ATOMシリーズ | ATOM Tech（アトムテック） https://www.atomtech.co.jp/series/atomcam2/ ・目次 ◆開封 ◆設置方法 ◆初期設定 ◆基本機能 ◆動体検知の設定 ◆カラーナイトビジョン ◆その他の機能 ◆まとめ ◆開封 「ATOM Cam 2」のパッケージはこんな感
DMM meetupは、多種多様な生命が彩るジャングルのように毎回個性豊かな様々なテーマを題材に、共に学び、遊び、楽しめるイベントです。今回はオンラインサロン事業に焦点をあて、事業部メンバーが課題と取り組みについて話しました。仲里氏は、オンプレミスからクラウドに環境を移行したときについて発表をしました。 オンプレミスのオンラインサロン事業部が抱えていた課題 仲里新吾氏：ここからは私、仲里から発表します。題材は「オンプレ（オンプレミス）環境からクラウドへ」です。はじめに軽く自己紹介をします。DMM入社後、水の販売を経て、出会いサービスの担当。それから競輪などのサービス担当を経て、現在はオンラインサロンのバックエンドに参加しています。 今回のトピックですが、まずはじめにクラウド移行の目的、そして移行内容、これからのこと、最後にまとめとなります。 まずオンラインサロンで抱えている課題です。担当し
家族がいると自宅の様子が気になる、けれども監視カメラを設置するのは家族のプライバシー的に行き過ぎた感あり、もう少し緩やかな監視ができないか？と考えた際、照度の変化に着目したソリューションを思いついた。 つまり、家族が帰宅して部屋の電気を付けた、外出のため消灯した、電気を消して寝静まったといった状態の遷移を「照度の変化」によって検知し、スマホに通知する、といった具合だ。 概要 Nature Remo 3は外出先からスマートフォンで家電を制御するためのスマートリモコン製品のひとつであるが、照度や温度センサーが取得した情報を Nature Remo Cloud API によりクラウドから取得できる、という大変素晴らしい特徴がある。 自宅に設置したNature Remoの照度を、AWSのLambda関数により一定時間毎に取得してDynamoDBに蓄積する。前回取得した照度と比べて急激な変化があった
「オブザーバビリティ・エンジニアリング」という本が出版されました #o11yeng - YAMAGUCHI::weblog
はじめに こんにちは、Cloud Operations担当者です。このたび私が翻訳として関わった「オブザーバビリティ・エンジニアリング」という本がオライリー・ジャパン社より出版されました。本日より書店ならびに各社オンラインストアでご購入いただけます。 オブザーバビリティ・エンジニアリング 作者:Charity Majors,Liz Fong-Jones,George MirandaオライリージャパンAmazon www.ohmsha.co.jp 電子書籍版についてはオライリー・ジャパンのサイトよりePub、PDFの各種フォーマットにてご購入いただけます。 www.oreilly.co.jp また上記書籍情報ページに質問は報告を行うための連絡先も記載されておりますので、なにかありましたらそちらよりお問い合わせください。 TL;DR 「オブザーバビリティ・エンジニアリング」はオブザーバビリティ
ECSやEKSのメトリクスを一括取得するContainer Insightsが一般公開！既存ECSクラスタも追加設定可能に！ | DevelopersIO
「これで… これでAWSのコンテナワークロードは、全て、すべて丸見えなんやで… ﾊﾞﾀｯ」 しばらくまえにパブリックプレビューとして提供されていたContainer Insightsですが、ついにGA（一般公開）の運びとなりました!! Container monitoring for Amazon ECS, EKS, and Kubernetes is now available in Amazon CloudWatch 従来のCloudWatchでは取得できなかったタスクやコンテナ単位のメトリクスが、Container Insightsによって取得できます。 さらにGAによって、既存のECSクラスタも追加設定が可能になっており、既に構築済みのクラスタに対して「1分」でContainer Insightsがお手軽に利用できます！！まずは、手元の環境でONにしてもらい、そのメトリクスの便利さ
マルチテナント環境における Sentry のエラーグルーピングテクニック - Hatena Developer Blog
マンガメディア開発チームの id:mizdra です。普段はWebアプリケーションエンジニアとして、マンガビューワ「GigaViewer」の開発に携わっています。GigaViewerの提供は2017年に始まり、執筆時点で12の出版社、14のサイトに導入いただいています。 GigaViewerでは、多数のマンガサイトを素早く構築するため、マルチテナントアーキテクチャを採用しています。データベースを始めとしてコードベースに至るまで、多くの部分をサイト間で共通化しています。 マルチテナントアーキテクチャは、プロダクトを多数のプラットフォームに効率よく展開できるメリットがある一方で、アーキテクチャ特有のさまざまな困難もあります。この記事では、マルチテナント環境でSentryを利用したときに発生するグルーピングの問題を解説し、その問題にGigaViewerがどのように対処したのかを紹介します。 なお
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、社内IaaS（Infrastructure as a Service）の構築・運用などを行っている奥野です。私たちのチームはヤフー内のIaaS基盤の開発及び運用を担当しています。 IaaSとはサーバーやストレージ、ネットワークといったインフラリソースを仮想的に定義し、ユーザーへ提供するサービスです。ヤフーのIaaS基盤は社内のユーザーやサービスに対して幅広く提供しており、ヤフーがエンドユーザーに対して公開している多くのサービス（Yahoo!ニュースや、ヤフオク!など）もこのIaaS基盤を利用しています。 本項では、「構築編」と「運用編」という前後編でこのヤフーのIaaS基盤についてご紹介します。 本記事では「運用編」と
zx + Datadog + GitHub Actions でフロントエンドのコードベースの健全性を可視化する
フロントエンドのダッシュボードを作ってみたらいい感じだったので紹介です。 作ったもの zx と Datadog、GitHub Actions を使って以下画像のように、フロントエンドのコードベースの各指標を可視化するダッシュボードを作りました。 値はデモ用に書き換えています 現在、計測している指標はこちらです。 Vue SFCファイルにしめるTypeScriptの割合 Vue SFCファイルにしめるComposition APIの割合 strict: trueにした場合のType Errorの数（tsc & vue-tsc） Jestの各種カバレッジ 各指標は毎朝9時に更新していて、時系列での推移も確認できます。 なぜ作った？ 技術的負債解消等コードベースのリファクタリングの活動は、機能追加に比べ進捗を把握しにくい、成果が伝わりにくいという問題があり、それを解消したいと考えたからです。 こ
こんにちは・こんばんは・おはようございます、エンジニアのid:aerealです。 この記事では筆者が開発に参加しているサービスの監視フレームワークをOpenTelemetryへ移行した際の体験を紹介します。 OpenTelemetryとは OpenTelemetry is an Observability framework and toolkit designed to create and manage telemetry data such as traces, metrics, and logs. What is OpenTelemetry? サイトの説明にある通り分散トレースやメトリクス、ログなどの指標を扱う監視フレームワークです。 OpenTracingやOpenCensusなどを継承・統合したプロジェクトと言うと合点がいく方も多いのではないでしょうか。 OpenTelemet
はじめに AWSでシステムを運用しているとサービスやリソースの状況を確認するためにCloudWatchメトリクスを利用する機会も多いと思います。 今回はCloudWatchメトリクスの情報を閲覧する上で、意外と知られていない便利な機能や活用事例について紹介していきます。 マネージメントコンソールの操作 ・グラフを日本時間で表示できる マネージメントコンソール上でCloudWatchメトリクスを参照する際に、デフォルトのタイムゾーンであるUTCでグラフを表示している場合がありますが、実はタイムゾーンを日本時間に変更する事ができます。 画面上部のCustomをクリックするとポップアップが表示されますが、ポップアップの右上部分にUTCの表示がプルダウンになっており、UTCかLocal time zoneのどちらかを選択できるようになっています。 ここでLocal time zoneを選択してAp
非インフラエンジニアがPrometheusとGrafanaで簡単サーバモニタリング - RAKUS Developers Blog | ラクス エンジニアブログ
概要 Prometheus未経験の非インフラエンジニアが、Grafanaでサーバモニタリングができるようになるまでの 軌跡を記録します。 とりあえず、モニタリングができることが目標なので運用面の考慮等はしていませんが、参考になれば幸 いです。 概要 きっかけ Prometheusとは Grafanaとは 今回構築する環境の構成 ①prometheus server ②exporter ③Grafana インストール 前提条件 ②exporterのインストール （１）ソースをダウンロード （２）ダウンロードしたソースを解凍する （３）node_exporterを起動する （４）node_exporterの起動確認 ①prometheus serverのインストール （１）ソースをダウンロード （２）ダウンロードしたソースを解凍する （３）Prometheusの設定ファイルを編集する （４）p
リモートワークでサーバー監視にあたる上で便利なMackerelの機能・三選 - Mackerel お知らせ #mackerelio
MackerelチームCREの吉田(id:syou6162)です。今日はリモートワークで便利なMackerelの機能を紹介しようと思います。 今見ているグラフをSlackに投稿 & チームメンバーに共有する 物理的に同じ部屋で開発 / 運用をしている場合、大きな画面にMackerelのダッシュボードを映しているという方も多いのではないでしょうか(WILLER様の事例)。同じ画面を見ながらグラフを見ると議論が捗る一方、リモートワークでGoogle MeetやZoomを使うなどやり方を変える必要がありますし、メンバーの自宅の回線状況によっては、画面そのものを共有をするのも帯域的に難しい場合もあるかと思います。 そういったときに是非利用して欲しいのがグラフの共有機能です。一番お手軽なのは「グラフを通知チャンネルに投稿する」機能です。グラフの画面にあるカメラのボタンをポチっと押すだけで、グラフを簡
tl;dr 先日GCPの料金レポートを見たら、それまで無料だったUptime Checks(死活監視サービス)の利用料金がなんと100万円を超えていて面食らった。 GCPの一部サービスが、22年10月から料金改定を行うことはニュースや公式のアナウンスでかなり事前に知っていたが、GCSやネットワーク周りのみの認識だった。 しかし実際、それまで完全無料のぶっ壊れサービスだったUptime Checksもしれっと10月から1リクエストにつき0.0003ドル(無料枠あり)の課金がなされるようになっていた。 円安時代、クラウドインフラの利用料金は開発者を悩ます大きな種の一つである。個人、公式のブログなど、料金改定をアナウンスする様々な記事をあたったが、この事実を事前にアナウンスしている記事を見つけることができなかった(要検証)ため、今後どうすればこのような事態を回避できるか検証した。（情報求む！）
SLI/SLO運用の実践 shimesabaによる指標モニタリング - KAYAC engineers' blog
カヤックSREの池田です。 先月は、カヤックのプロダクトの一つ『Tonamel』で導入したエラーバジェット算出ツール『shimesaba』の話をしました。 techblog.kayac.com github.com 今回は、実際にどのようにSLI/SLOを運用しているのか？という内容をshimesabaを使った設定例を交えつつ話します。 SLI/SLOの運用にお悩みの方の助けになれば幸いです。 最初のSLI/SLOはどう決定したのか？ SLI/SLOの運用を始めるにあたって、多くの人が悩むのは以下の２つだと思います。 一体何をSLIとすれば良いのか？ 最初のSLOはどのくらいにしたら良いのか？ つまりは、最初の1歩をどうしたら良いか？と言う話ですが、こちらに関しては２つ参考になるものがあります。 『SLO決定のためのArt of SLO』 https://sre-next.dev/2022
こちらが何を聞いても、一事が万事この調子です。その後、スケジュールに押し切られる形でシステムはリリースされ、現場は火の海となりました。 鳴りやまない監視アラーム…… 対処方法のわからない障害…… 使い道のわからない体裁だけ整った手順書の数々…… 右往左往する運用メンバーと構築メンバー…… 結局、運用が安定するまで半年以上の期間がかかりました。 その頃は「運用設計」という言葉も概念もまだ浸透しておらず、残業によるマンパワーで運用を安定稼働させるしか術はありませんでした。 （この時にこの本があったら、どれだけ指標になったかと今なら思います）。 運用を取り入れた設計構築へのチャレンジ この経験から、運用が大変な理由の諸悪の根源はシステムリリース時にあると考え始めました。いま思えば、初めに入った楽園のような現場は、目的のはっきりした手順書しかなく、トラブル時の連絡先も明確でした。“楽園システ
2019年9月11日、クックパッド株式会社にて「Cookpad Product Kitchen #3」が開催されました。今回のテーマは「IoT技術を利用したサービス開発の裏側」。私達の生活に徐々に浸透してきたIoT製品。ハードウェアとソフトウェアを連携させ、新たな価値を提供されている裏側には、どんな工夫や知見が存在しているのか？ 自社でIoTサービスを開発しているIT企業4社のエンジニアが集い、サービス開発にまつわる裏話を語っていただきます。プレゼンテーション「IoTと監視」に登壇したのは、600株式会社 ProductQuality Managerの岡前直由氏。講演資料はこちら 無人コンビニ600を支える技術 岡前直由 氏（以下、岡前）：それでは「IoTと監視」と題しまして600株式会社の岡前が発表させていただきます。よろしくお願いいたします。 最初に、弊社のサービスについて簡単にご紹介
女性声優と自動化 - Qiita
この記事は「Wake Up, Girls! Advent Calendar 2019」18日目の記事です この記事では推しの声優の情報を自動的に収集する仕組みである @yoppinews bot の開発や運用についてご紹介します。 1. はじめに: 趣味を自動化して怠惰なファン活動をしよう 声優のファン活動のなかで、どのような作品やイベントに出演するのかといった情報をおさえておくのは重要でありながら意外にも時間やコストを要します。 チケットの争奪戦が予想される場合、オタクはひっそりと情報を仕入れそっと eplus で抽選に申し込みます。気づけば行きたかったイベントの抽選は終わっているなんてことが初期にはよくありました（遠い目）。 だいたい同じ演者を追っている人間を twitter でフォローしておくと関連する情報が入ってきてベンリですが、声優オタク人生は山あり谷あり他界ありで、「お前が一番
家や店舗、オフィスのセキュリティを強化したいけれど、民間のホームセキュリティサービスや本格的な防犯カメラはなかなか手が出ない…。そんな人でも導入しやすいのが、高精度なホームセキュリティ「Hex Home（ヘックスホーム）」（デバイス基本セット1万8000円／税別）です。 家庭のWi-Fiさえあれば、特別な配線や工事も必要なく、コンパクトな親機と子機のみをコンセントにセットしてアプリをダウンロードするだけ。Wi-Fi電波の反射を利用することで、人の侵入などの異常を高精度で検出し、通知してくれます。 【次ページ】シンプルな仕組みで誤報のない高精度の検出率▶ 12
「New Relic実践入門」感想、あるいはなぜ監視SaaS使うんだっけという話 - Kengo's blog
New Relic アニキこと清水さんから共著書「New Relic実践入門」をいただきました。ありがとうございます。清水さんにはかつてRDBMSの性能調査をいかに効率的かつ実践的にするかご教示いただいた恩があるのですが、今もその道を追求し活躍されていると知れて嬉しく思います。 破壊的イノベーションを現場の「あたりまえ」にする本書 さて本書は「Part 1. New Relicを知る」「Part 2. New Relicを始める」「Part 3. New Relicを活用する」の3部で構成されていますが、特に「Part 1. New Relicを知る」が割り切った構成になっています。「監視とは何か？」「既存手法にはどのような限界があったか？」「近年の技術革新による新たな課題は？」といった背景をすべてすっとばし、いきなり「オブザーバビリティとは何か？」の説明から入っているのです。まるでTyp
課題 Lokiとはなにか？ ログ転送の仕組み ログ可視化の仕組み 使ってみてわかってきたこと Grafanaでログをササっとみられるのは楽 『indexを作らない』の意味 ログから作成するメトリクスと統計情報 nginx-module-vts GrafanaのSlackが温かい 現在のLoki環境 VMの情報 コンテナの構成 負荷状況 今後 こんにちは！インフラユニットの小林です。 今回はログ監視ツール『Loki』の導入事例を紹介をします。 課題 これまでもログ可視化集約ツールを使っていたのですが、メモリ使用量の多さや気が付いたら落ちていたりして、VMのランニングコストや運用負荷が課題とされていました。 またUIが非常にリッチなツールだったんですが、我々のやる事と言えば『ApacheやNginxのログからステータスコードやリクエストタイムを可視化』したり、『アプリケーションでエラーが起きた
揺らぐ通信インフラへの信頼 今年、最も衝撃的だったのは、相次ぐ通信インフラの障害だったのではないでしょうか？ 絶大なる信頼を寄せていた通信インフラが障害で接続障害に陥る、というのは、日本人としては驚きの事態でした。 私たちの心の中には、「品質の日本」という自負みたいなものがあります。 サイレント障害 ネットワーク上で発生する、エラーとして検知されない障害を「サイレント障害」と云います。 その多くは、自社のインフラだけを見ていて、その稼働状態だけでシステム稼働の正常・異常を判断することが原因です。 携帯網については、有線回線とは異なる複雑な仕組みと、電波を使っているという事もあって、サイレント障害の検出のソリューションは、End-to-Endの通信監視・計測による手法が以前より世界で普及していました。 それを販売していたのは、ドイツにあるSIGOSという会社です。 世界で一番はじめにWebパ
Amazon Web Services ブログ コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 コンテナ化されたアプリケーションとマイクロサービスの適応が増えるに従い、監視と管理の負担がますます増えます。ビルダには Amazon Elastic Compute Cloud (EC2) のインスタンスなどのより長期にわたるインフラすトラクタに使用されるため、同じレベルの監視が期待され、要求されています。対照的に、コンテナは比較的短命で、通常は継続的なデプロイが求められます。これにより、信頼性をもって監視データを収集し、パフォーマンスやその他の問題を分析することが困難になり、このことが修復時間に影響を与えます。さらに、ビルダはさまざまなツールを使用してこの分析と検査を実行し、一連のインフラストラクチャとアプリケーションのメトリック、ログ、およびその他のトレース全体でコンテキスト
こんにちは。SRE部の塩崎です。七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例するという特徴があるため、意図せずに大量のデータをスキャンしてしまい大金を溶かしてしまうことを懸念する人もいます。 qiita.com そのため、課金額が大きすぎるクエリを発見した際にSlackへ通知する仕組みを作りました。GCP Organization内の全プロジェクトで実行されたBigQueryの監査ログをリアルタイムにチェックすることによってこの仕組みは実現されています。本記事では作成したシステムを紹介します。 なお、本記事は以下のQiita記事に着想を得た
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE の Business Platform 開発担当フェローの Matsuno です。 今回は Spring Boot でアプリケーションを開発した場合のメトリクスの勘所についてご紹介しようと思います。 我々のチームでは Kotlin + Spring Boot での開発がデファクトスタンダードとなっているのですが、正直まだまだこのテクニカルスタックで開発しているエンジニアは日本では少ないのです。そこで、実際の運用の雰囲気を感じていただければと思いまして今回の記事を書くことにしました。 メトリクス取得の基本 我々のチームではメトリクスの格納先として Prometheus を利用しています。 Prometheus で格納し
AWS Configコスト上昇の原因を調査：QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ
SQLは口ほどにものを言うーRedashによるクエリ共有、監視、データ連携によるチーム効率化ー - LayerX エンジニアブログ
こんにちは。DX事業部の花村(@naomasabit)です。先日の投稿でユーザーの利用状況確認のためにAWSのQuickSightを利用していると書きましたが、並行して分析ツールのRedashも利用しています。Redashの良い点としてクエリベースでの分析、監視アクション、スプレッドシートとのデータ連携が存在します。 SaaSチームの運営において、これらを活用したユースケースについて伝えていきます。 アドホックな分析クエリの共有によるコミュニケーション効率化 監視アクション設定によりデータ不整合にすぐ気づける体制整備 複数チームからのデータソース連携によるヘルススコアダッシュボード作成 最後に - Redashと他の分析ダッシュボードツールの併用について アドホックな分析クエリの共有によるコミュニケーション効率化 Redashでは、まずクエリベースでアドホックな分析クエリの共有が可能です。
企業のシステム管理者にとって、ネットワーク監視などの日々の運用は欠かせない。企業システムはインターネットやLANの利用を前提としており、ネットワークにトラブルが発生すると業務に支障を来してしまう。 そこでシステム管理者はネットワークの疎通を調べたり、機器の挙動を確かめたりする。そのために手順書を用意し、手作業で実施するシステム管理者も少なくない。例えばネットワークコマンドを順番に入力して、毎回手順書に従って機器の死活監視などを実施するという具合だ。 しかし手作業でネットワークコマンドを実行していると、管理対象の機器やコマンドの種類が増えるにつれて手間や時間がかかるようになる。さらに手作業ではミスも発生しやすい。 こうした面倒な手作業はプログラムによって自動化するに限る。人気プログラミング言語のPythonには、ネットワーク管理のためのモジュール（ライブラリー）が用意されている。これを利用し
AWS Config が高いと感じたら。AWS Config のコストを15分の1に下げた話 - ABEJA Tech Blog
切っ掛けと問題の認識 AWS Config のカウント数の監視 対象外にしたいリソースが見つかったら AWS Config 側で除外する 実際のコスト削減効果 なぜもともとコストが高かったのか まとめ こんにちは、ABEJAの村主です。ABEJAアドベントカレンダー2023の18日目の記事です。今回は、意外にも高額になりがちなAWS Configのコスト削減について、どのように対応したかをご紹介します。特に、AWS Configのコストを大幅に減らすためのアプローチについてお話しします。また、CloudWatch で AWS Config のカウント量を可視化する方法はあまり見かけなかったのでブログにしておきました。 切っ掛けと問題の認識 最初に気づいたのは、AWS Cost Explorer を確認していたときです。そこで見たAWS Configのコストは、1日あたり約$15、月間では約
システム運用の際にご活用いただける2つのハンズオンを公開しました！- Monthly AWS Hands-on for Beginners 2020年7月号 | Amazon Web Services
Amazon Web Services ブログ システム運用の際にご活用いただける2つのハンズオンを公開しました！- Monthly AWS Hands-on for Beginners 2020年7月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。7月も最終週ですが、みなさまいかがお過ごしでしょうか？この記事を書いている時点で関東はまだ梅雨が明けておらず、毎日じめじめした日が続いています。こんなときこそ新しいことを勉強しようと、私は “ゲーミフィケーション” について勉強しています。この AWS Hands-on for Beginners でも、皆さまに楽しく学習を継続していただけるような仕組みを作りたいなーと考える日々です。何かいい案が降りてくることをお待ちいただければと思います。 さて、今月も下記の2つの新ハンズオンを追加しております。 A
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EUデジタル市場法：ビッグテックからの返答「クソくらえ」 | p2ptk[.]org
Istioによるサービスメッシュをどのようにプロダクションレディにするか - ZOZO TECH BLOG
Microsoft、システム監視ツール「Sysmon」のLinux版オープンソースで公開
3000円以下でゲットできる小型防水監視カメラ「ATOM Cam 2」は高画質＆低遅延でコスパ抜群でした
反省点は事前の洗い出しとテスト項目の不足 DMMがオンプレからAWSに移行したときの苦労
Nature Remo＋AWS＋LINE Notifyで緩やかな自宅監視（１）
月間800億PVを支えるIaaS基盤の舞台裏（運用編）
実践OpenTelemetry - Classi開発者ブログ
知っておくと便利なCloudWatchメトリクスの機能と活用事例 - Qiita
注意！GCPのUptime Checksの利用料金が1ヶ月で100万円増えてた話 - Qiita
運用でカバーするシステムから、想定の範囲内でまわせるシステムへ | gihyo.jp
冷蔵庫の監視とサーバー監視はどう違う？ 無人コンビニ「600」を支えるアーキテクチャ
Wi-Fiの電波を反射させて自宅を監視ってたしかに手軽！ | ＆GP
Lokiで本番環境のログ監視を始めました - WILLGATE TECH BLOG
Webパフォーマンスの振り返り 2022年 - Webパフォーマンスについて
コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 | Amazon Web Services
BigQueryの監査ログをリアルタイムに監視して使いすぎを防止してみる - ZOZO TECH BLOG
https://relay.sh/
Spring Boot アプリケーションにおけるメトリクスの取り方の基本
次世代エージェントに対応したOSS監視ソフト「Zabbix 4.4」、外部サービスとの連携も改善
Pythonで面倒な手作業を不要に、ネットワーク機器を一括監視