監視について思うとこ - y-ohgi's blog
TL;DR 監視はユーザーにサービスを提供できているかを観測するための行為 SLI/SLOを定めて、SLOを守れるようにモニタリングする ダッシュボードは定常的に表示しておくものと障害時に活用するものを作ると良い アラートはレベル分けして人間が対応しなければならないものだけ人間へ通知する 監視とは サービスを健全に動作させ続けるために監視を行います。 「健全に動作している」の定義はサービスによって異なり、ユーザーにWebページを見せることができることだったり、バッチが正常に終了することだったりします。 最終的にユーザーに正常にサービスを提供できていることを観測するために行うことに変わりはありません。 さてユーザーにサービスを提供するために何を監視しましょうか？ クラウド前提であれば個人的にリソースベース（CPU/Memory）より、 SLI/SLOをベース に監視する事が望ましいと考えてい
次世代の監視技術 - Telemetry技術のご紹介 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの三島です。 本記事では、次世代の監視技術として期待されるTelemetry技術についてご紹介します。 この記事について 本記事では下記の3点を共有します。 従来の監視技術が抱える課題とTelemetryの可能性 Telemetryの技術概要と、各社の実装状況 NTT Comのネットワーク上で検証し得られた知見と、期待されるユースケース 従来の監視技術が抱える課題 ネットワーク運用においては、障害検知やパフォーマンス分析のため監視技術が重要となります。 従来のネットワークでは、SNMP（Simple Network Management Protocol）と呼ばれる技術が広く利用されています。 SNMPの仕組みを図1に示します。SNMPはUDPベースなネットワーク監視技術です。データモデルはMIB（Management Information Base）と
PySpa統合思念体です。 某チャットで、「今時のOSSのプロジェクト管理とかのベストプラクティスが書いてある本ないかな、陳腐化早そうだしないか」みたいな話題が投入されました。その中で、エキスパートPythonプログラミングとか、Pythonプロフェッショナルプログラミングとかは思い出して紹介したけど、他の人からはShip It、Manage It、Release It三部作とか、達人プログラマーとかも出てきました。 このあたりの源流を辿ると、そういえば今流行ってる開発の源流としてはエクストリームプログラミングの開発系のプラクティスの遺伝子を受け継いでいるのが多いよな、そういえば当時から見て今ってどう変わっているのかな、という話題に。せっかくなので20年前を思い出しつつ、当時と今でどういう風に変わってきたのか適当にまとめてみます。 20年前の状況 XP白本こと、eXtreme Progra
Twitterフォロー&条件付きツイートで「バリーくんぬいぐるみ」を抽選で20名にプレゼント！ 応募期間は2019/11/29～2019/12/31まで。詳細はこちらをご覧ください。 今すぐツイートするならこちら→ フォローもお忘れなく！ 【IIJ 2019 TECHアドベントカレンダー 12/14（土）の記事です】 こんにちは、IIJ 金子です。 本日は、無線LAN 5GHz帯でのDFSの発生状況を可視化してみようというお話をします。 はじめに 無線LANを運用していると気になるのは、外来レーダー波により引き起こされるDFS、そしてそれに起因してAPが行うチャネルの移動です。 「今自分がいる場所で、無線LANのDFSを引き起こすようなレーダーはどれくらい打ち込まれているのかしら？」とそんな疑問がふと沸いてきたので、ものは試しにと実際に測ってみることにしました。 無線LANとDFSについて
すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築
はじめに ログ集約・可視化・検索ツールとしてはELKスタックを利用するケースが多いが、これをLokiに置き換えることでより軽量にログを集約することができるようになる。 Grafana Lab社が開発したLokiは、ログのストリームに対してタグ付けし保存する仕組みを持つ。Prometheusと親和性がたかく、水平展開、高可用性、マルチテナントが可能。 構成 各クライアントからのsyslogは514/udpポートで送信される。これをrsyslogデーモンで受け5514/tcpポートへ転送する。fluentdは5514/tcpポートで受信したsyslogをさらにlokiへ転送する。 +------------------------------------------------+ | | | +---------+ | +--------+ 514/udp | | | | | client +
id:sora_h です。最近は RubyKaigi の Organizer や Wi-Fi NOC をやっていましたが… 何屋なんだろう? 一応 Software Engineer (Site Reliability, Corporate Engineering) を名乗っていますが…。あっ RubyKaigi から戻ってからは学者をやってますね。落ち着いたら本業を思い出していこうと思います。 さて、Cookpad は 2010 年より RubyKaigi に協賛していますが、近年は Wi-Fi Sponsor など*1として携わっています。実体的には、 id:sora_h (筆者) が RubyKaigi 前にほぼフルタイムで Wi-Fi の準備に提供されたり、細々とした機材、一部の回線・ラックスペースの提供を行っています *2。 本稿では RubyKaigi 2023 Wi-Fi ネ
GCP のログ大全2019
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 5 日目の記事です。 GCPにおけるログのライフサイクルGCPにおけるログのライフサイクルは、収集・集約・活用・保管の大きく4つのフェーズに分類できると考えております。まずそれぞれのフェーズの中でどのようなことができるのか、皆様に知っておいておきたいことについて説明します。 収集フェーズログを発生させる元のシステムから集めてくるフェーズです。ログの発生元がどこであれ、最終的には Stackdriver の Logging API にログを送ることで収集を行います。もちろんGCPのサービスで発生するログは自動的に収集されますが、GCP上のユーザアプリケーションのログや、オンプレミスや他クラウド環境からのログは、Logging エージェントかLoggin APIの
面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ
入門 EKS on Fargate - Qiita
プロダクションで EKS on Fargate を(できるだけ)使うことを目標に EKS on Fargate に入門します。 Managed Node Groupとの使い分けなどについてもまとめます。 ※ 本記事は 2019/12/14 時点の情報に基づいています。 Fargate、EKS on Fargateとは FargateはAWS上で「仮想マシンの管理なしにコンテナをデプロイできるサービス」です。 元々はAWS独自のコンテナオーケストレーションシステムであるECSの一機能と思われていましたが、EKS on Fargateが登場した今では、「ECS・EKSどちらでも動く、コンテナ化されたワークロード向けのサーバレスコンピュートエンジン」という体でブランディングされているようです。Fargateの公式ページ冒頭でも以下のように紹介されています。 AWS Fargate is a se
※本記事は2022年5月13日に公開された記事の翻訳版です。 ※この記事はSecurity Tech Blogシリーズ: Spring Cleaning for Securityの一環で書かれています。 こんにちは。Security EngineeringチームのDavidです。 この記事では、メルカリが独自に実施しているSOC（セキュリティオペレーションセンター）の取り組みを紹介します。少しでも読者の脅威検出の取り組みをスタートするきっかけになれたらと思っています。 はじめに 一般的に、サイバーセキュリティは、防止(Prevention)、検出(Detection)、対応(Response)の3つの主要原則に分類されます。最近のブログ投稿やオンライン登壇では、SecurityチームとMicroservice Platformチームが主にセキュリティの防止の側面 [1] について触れてきま
皆さんは、日々の運用の中で発生するログについてどのように管理していますでしょうか。 ログを周期的に圧縮してサーバ内に保存し、かつ一番古いログを削除（ログローテーション）する ログを定期的にクラウド内の外部ストレージに転送して管理する（CloudWatchエージェント / Fluentd / etc.....） など、考えれば考えるほど様々な案が上がります。 今回はログ転送において、私が実際に業務の中でぶつかった問題について紹介します。 本記事の概要としては、下記になります。 AWS Network Load Balancer + syslogを用いた負荷分散を構成する際には、意図した負荷分散が正しく行えているか確認するべきである。 送信元サーバで定期的にAWS Network Load Balancerへ再接続する設定を加えることで、送信先サーバの偏りの緩和や、耐障害性の向上ができる。 今
私がこれを書く動機 私はKaigi on Railsのオーガナイザーのひとりです。Kaigi on Rails 2023は物理会場にて開催されることが公開されました。そうなるともちろん、会場でのインターネットについてはどうなる、どうする、という問題が出てきます。それに備えて、先輩イベントであるRubyKaigiを参考にしようというわけで、自分の理解のために書くことにしました。 おことわり 私はRubyKaigi 2022のネットワークをお手伝いしましたが、ケーブルの巻き直し、APの設営、撤収時の諸々を手伝ったのみです。よってこれから言及する内容については、一般参加者に毛が生えた程度の事前知識しかありません。 またこれから読み解くコードにおいて、コメントする内容の正確性は一切ないものと思って読んでください。 RubyKaigiのネットワークについて RubyKaigiのネットワークにおけるL
rsyslogとjournaldのこと
デーモンは、図中の中上のユーザプロセスにあたり、syslog(3)を呼んで/dev/logにメッセージを送る。syslogdはこれを経由してメッセージを受け取り、facilityとlevelに応じてファイルに書くとかなんとかするわけだ。ではjournald導入で何が変わったのだろうか？ journaldは元々syslogdのいた位置を占め、いったんすべてのメッセージを受け取る。またjournaldはこれ以外にも、たとえば systemd経由で起動したデーモンのSTDERRも受け取るようにできている。またjournaldは、syslogdが集めなかったメタ情報も集める。非常に細かな大量の情報を集めて、受け取ったメッセージと共にジャーナルとして保管する。このジャーナルは、デフォルトでは一時的な保管場所 /run/log/journal に保管される。この保管場所は小さいので時間が経つとすぐに消
こんにちは。CSIRT の吉山です。 私は2020年の4月にセキュリティエンジニアとして新卒入社し、現在は主にログ基盤（SIEM）の構築・運用やインシデント対応などの業務に取り組んでいます。 今回はそのログ基盤構築や運用、その他検証で得た知見などについて紹介します。 まず初めにログ基盤の技術的な概要についてここで簡単に触れておきます。 ちなみに基盤構築の背景などについては、以前に同じく CSIRTの松田が記事にしているのでこちらもぜひ一読いただければと思います！ buildersbox.corp-sansan.com 構成 ログの集め方 ログの取り込みスクリプト（es-loader） について ユーザーの管理と権限設定 アラーティング コスト 基盤の負荷 検証について 課題 最後に 構成 基盤は AWS 上で構築しており、Amazon OpenSearch Service (以下、Open
GCP連載#1 Stackdriver Loggingへ良い感じのログ出力方法を考える | フューチャー技術ブログ
はじめにGCPをテーマにした連載企画を始めるということで、初回はStackdriver Loggingの活用方法をまとめます。1記事でまとめるには手が余るほど様々な機能があるため、初回はログの出力とビューア周りといったアプリケーション開発者視点での機能に絞って説明していきます。利用コードはGoで書かれていますが、汎用的な内容なので他の言語でもある程度通じる内容にしているつもりです。 連載企画は以下の10本をほぼ連日投稿する予定です。お楽しみに！ Stackdriver Loggingへ良い感じのログ出力方法を考える（この記事です） Istio on GKEではじめるサービスメッシュ Goでサーバーレスな管理画面アプリを作る Cloud Life Sciencesを見てみた 【もう鍵なくさない】GCPのSecret ManagerとBerglasで幸せになる Forseti Config V
Elasticsearchの最新版は7.xであることに、どういうわけか前回の記事を公開してから気づいたので、大慌てで書き直しをした。やっぱり本家のインストールガイドをきちんと読まないといけないよな、ということで改めてFlutentdでsyslogを集めてKibana7で閲覧する環境を整えてみる。 全体の構成はこんな感じだ。 受信サーバのインストール受信サーバはCPU2コア、4GBメモリ、20GBディスクのサーバを用意した。どれぐらいのスペックが適切なのかよくわからなかったので、適当に準備してみたというのが正直なところだ。これにCentOS7.xを新規に入れて、最新状態にupdateしたところから始める。 Elasticsearch7のインストール最初にyumのrepoファイルを作成する。手動で作成することになるので、コピペ用にバッチ風のテキストを用意しておこう。 cat <<EOL >/e
1コンテナ上で、nginxとfluentdを動かした話。 どうして複数プロセスを起動してはいけないの Dockerコンテナではプロセスを1つだけ起動させる、とは有名なContainerベストプラクティスですが、これはどうしてでしょう。いろいろ理由があると思いますが、明確な技術的理由として、DockerではCMDオプションやENTRYPOINTオプションで起動したプロセスがコンテナ上のPID1になるからだ、と思っています。 試しに、nginxのコンテナを起動してプロセスを確認してみると、PID1は、nginxのmaster processとなっています。 $ docker run --rm -d --name nginx nginx $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 1d4d0754f57a n
構想は半年ほど前？ここ一ヶ月ほど集中して開発に取り組んでいた、Fluentd向けApache Arrowプラグインがようやく動くようになったので、今回はこちらのモジュールについてご紹介します。 そもそもPG-Stromは、IoT/M2M領域で大量に発生するデータを高速に処理できますというのがセールスポイントで、GPU-Direct SQLはじめ、各種の機能によってそれを実現しているワケですが、実際に運用する際には、発生したデータを『どうやってSQLで処理できるようDBにインポートするか？』という問題があります。 例えば、PostgreSQLに一行ずつINSERTするというのも一つの解です。ただし、単純なI/Oに比べると、DBへの書き込みはどうしても処理ボトルネックになりがちです。 そこで、大量に収集するログデータを、少ない時間ロスで（つまり一時ファイルに保存したデータを再度DBにインポート
この記事は SmartHR Advent Calendar 2019 7日目の記事です。 最近 Heroku から ECS Fargate に移行するプロジェクトを担当しました。そちらが一段落したので、移行する上で検討したこと、どのように実現したかを共有します。 SmartHR では、いくつかの機能ごとにチームが分かれており、リポジトリもインフラもチームごとに分けて開発が進められています。私のチームで開発しているアプリケーションはもともと Heroku の上で動いていたのですが、最近 ECS Fargate に移行するプロジェクトを完了しました。 この会社に来るまで、 Heroku を使ったことは無かったのですが、Heroku の印象として、インフラ周りの運用は全てお任せして開発に集中できるという観点では最高だなというところです。 ただ、 Heroku のレールから外れたことをしようとする
この記事はAWS for Games Advent Calendar 2022の25日目の記事です。 皆さんはログの扱いに慣れておりますでしょうか？ 必要なログは全て綺麗に ETL していつでもばっちり見れる状態です！ となっていればどんなに良いことか、、中々後回しにされがちな部分かと思います。弊社でも様々なゲームが平行稼働している中、 大量のログがローテートされてサーバから消えていく タイトル別でうまくいい感じに一か所で管理したい 何かインシデントが起きた時、急いでいる時にサーバに SSH してログを漁りたくない さっと見れるようにしたい みたいな話がありつつも、中々手を付けられずにいました(主に syslog 周り)。今回 AWS さんの協力もあり、技術取得の一環で検証をスタートしてみました。「ログを S3 に集めて、 Glue でなんやかんや加工してみて、 Athena でいい感じに
![AWS上でログを収集[S3]→加工[Glue]→閲覧[Athena]してみた！](https://cdn-ak-scissors.b.st-hatena.com/image/square/96f7b0374db19c1bde6f7622a5d504a40a1b8173/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00035-aws-log-etl%2Ffeature.png)
[Loki]Grafana Loki を素振りしたメモ Grafana Loki が ちょっと前に v1.0.0 がリリースされて GA になっていた ので素振りしました。 試したバージョンは v1.2.0 です。Kubernetes とかはよくわからないのでスルーしてます。 概要 Grafana Loki は Grafana Labs で作られているログストレージ＆クエリエンジンです。単体だとログを貯めるしかできませんが Grafana でデータソースとして指定して貯めたログを閲覧できます。 Loki へログを送るには Promtail というエージェントを使います（他にもいくつか公式でサポートされている方法はあります）。 似たようなプロダクトでは「EFKスタック」として知られる ElasticSearch/Fluentd/Kibana が有名です。 Grafana と Loki Gra
週刊Railsウォッチ（20200217前編）Railsのオプション引数退治、HSTSのデフォルトmax-ageが1年から2年に変更、semantic_logger gemほか｜TechRacho by BPS株式会社
2020.02.17 週刊Railsウォッチ（20200217前編）Railsのオプション引数退治、HSTSのデフォルトmax-ageが1年から2年に変更、semantic_logger gemほか こんにちは、hachi8833です。皆さま息災でいらっしゃいますか。 元記事: 新型コロナウィルス、海外からのVIPが来日中止などIT業界でも影響が出始め。バルセロナのMWCも中止に（記事更新） － Publickey（Publickeyより） つっつきボイス:「たしかに相当影響でかそう😰」「いろんなものが届かなくなったりしそう🏷」「人が大勢集まるイベントも影響受けそうですし🥺」 RubyKaigiまでに落ち着いてくれるといいのですが。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋の
# docker info Client: Context: default Debug Mode: false Plugins: app: Docker App (Docker Inc., v0.9.1-beta3) buildx: Docker Buildx (Docker Inc., v0.9.1-docker) Server: Containers: 0 Running: 0 Paused: 0 Stopped: 0 Images: 0 Server Version: 20.10.22 Storage Driver: overlay2 Backing Filesystem: xfs Supports d_type: true Native Overlay Diff: false userxattr: false Logging Driver: json-file Cgroup Dr
最近自分はdeep learningやデータサイエンスの環境構築も基本的にdockerで行うようにしています。 dockerfileさえあれば他のVMでも簡単に同じような環境が作れるので重宝しています。 しかし、docker imageって何気にサイズがでかいのでストレージの容量がすくない端末やVMだとimageをたくさん作ったときにすぐ容量がなくって辛いです… そこで今回はdocker imageの保存先を変えてみたいと思います。 docker imageの情報はデフォルトの設定を変えていなければ基本的に /var/lib/docker/配下に保存されます。 この保存先のパスをマウントされたディスクなどに変更してあげればいいわけです。 docker の環境ファイルの場所を確認 docker info で環境ファイルの場所を確認できます。 $ docker info Containers:
ログ収集ツールの比較 - Qiita
ログ収集ツールとしてはFluentd、Logstash、Flume等が挙げられる。ファイルやメール、syslog、DB、センサからログデータを読込み、必要なログをフィルタして、jsonやxmlに整形してアウトプットする機能を持つ。 メリット プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる 単体でログのフィルタ、バッファ、ルーティングができる 2000+を超える企業に利用されている 日本語の情報が多い デメリット 単体で動作するためfluentdが落ちたらバッファしているログが消える 想定外のログが入力されると大量のスタックトレースが吐かれる 引用：http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡単にカスタマイズできる F
Amazon Elastisearch Serviceで作ったSIEMにDeepSecurityのログを統合する - freee Developers Hub
この記事はfreee Developers Advent Calendar 2020 20日目の記事です。 freee PSIRT専属エンジニアのEiji Sugiuraです。 クリスマスまで1週間を切りましたね。 この時期に思い出すのは、まだ子供達が小さかった頃のクリスマスです。 その年の12/24 21時すぎ、子供達が寝静まったあと、準備をはじめました。 ラッピングの材料を広げ、Amazonで調達しておいたプレゼントの中身が入った箱を開けて、さて包もうとしたときのことです。 ん？ 息子に贈るはずだったNINTENDO DSのソフトにしては、固いパッケージ、 CDのパッケージのような... いや、実際のところ自分で頼んだCDだったわけですが...。プレゼントが荷物として届いたことを気づかせないため、無造作に段ボール箱を積み上げた中に箱も開けずに隠していたことが仇となりました。 Amazo
EKSで「CloudWatch Container Insights」を利用できるように設定する | DevelopersIO
みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 CloudWatchの新機能として、ECSやEKSなどのコンテナワークロードのパフォーマンスとログデータを収集して分析することができる Container Insights が2019年9月にリリースされました。 Container Insightsの概要とECSで利用する設定手順については、リリース時に執筆されたブログ記事で紹介されています。 ECSやEKSのメトリクスを一括取得するContainer Insightsが一般公開！既存ECSクラスタも追加設定可能に！ | Developers.IO 今回は、EKSでContainer Insightsを利用できるように設定してみました。 構成 設定手順 AWSドキュメント では、EKSでのContainer Insightsの設定方法について、2通りの方法が案内されています
こんにちは、Яeiです。 今回は現役エンジニアである私がFluent Bitって何だという話についてまとめたいと思います。 最近巷で良く聞くFluent Bitと呼ばれるものがありますが、そもそもこれって何なのか調査しましたのでシェア致します。 最後はdocker-composeを用いたサンプルも用意しましたので見てみて下さい。 Fluent Bit 概要は公式サイトに分かりやすく書かれておりますので興味のある方は一読しておくとよいでしょう。 参考 fluentbitfluentbit また、各種ドキュメントは以下公式資料に詳しく書かれておりますのでこちらを参考にしてもらえればと思います。 参考 Fluent Bit ドキュメント 概要 Fluent Bitとは、 アプリケーションから出力されたログファイルや標準出力ログなどのデータを収集し、フィルタリングして複数の宛先に送信できるツールと
各サーバーのログを収集、集約して、集約したログをリアルタイムで閲覧するためのソリューションを調べてまとめてみました。 ログの収集、集約のためのコンポーネント syslog系列 (ログの収集、集約、保存) MSG のフォーマットは、フリーフォーマットなので CEF も使えるが JSON も一行にすれば送る事ができる。 各サーバー上の syslog を転送する事で、一つの syslog サーバーにログを集約する事ができる。UDP で送信される。 logger コマンドで標準入力を syslogd にログを送る事ができる。 syslogd にログをアプリケーションから送るには、logger コマンドや、各言語毎の関数を使う。C言語の場合は、syslog という関数が準備されている。Java の場合は、Logger クラスが準備されている。 syslog 単体では、最終的にはファイルか、RDB (
ECS の Daemon サービスで動かしている Fluentd を Logging Driver の接続先にすると Draining 時にコンテナが終了しないことがある問題とその対策
標題のとおり、ECS の daemon サービスで動かしている Fluentd を logging driver の接続先にすると、draining 時に Docker container with fluentd logging driver never stops if it can’t connect to fluentd · Issue #44511 · moby/moby で言及している問題が起きて、Fluentd が復活しない限り、logging driver で Fluentd を利用しているコンテナが無限に生き続けることになります。 本エントリーでは問題の再現方法と対策について解説します。 Issue についての解説 どうしてコンテナが終了しないかについての自分なりの仮説はコメントに書いたとおりです。 次のように 3 つの goroutine が関係していそうです。 gor
Fluentdの監視 - grep Tips *
Fluentdの監視項目 Fluentdの監視をしたい項目は四つ。 port監視 バッファーに蓄積されているキューの数が上限に達していないか バッファーに蓄積されている合計サイズが上限に達していないか 再送を試みた回数が上限に達していないか 1のport監視はTCP通信であればZabbixの「シンプルチェック」で簡単に確認できる。 net.tcp.service[tcp,,24224] in_monitor_agentプラグイン 2, 3, 4を監視する方法として、in_monitor_agentプラグインを使用する。 https://docs.fluentd.org/v1.0/articles/in_monitor_agent 以下のようなsyslogからAmazon CloudWatch Logsにログを転送する設定があるとする。 <source> @type syslog port
GKE はどのようにログを収集しているのか
Ubie で SRE をしている @kamina_zzz です。 Ubie では Kubernetes を GKE で運用しているんですが、GKE だと container の STDOUT がいい感じに Cloud Logging へと集約されていますよね。 この経路、以前は Fluentd が使われていたんですが、近年は Fluent Bit が使われています。 Fluent Bit になってからどのようにしてログを集約していい感じに Cloud Logging へ送信しているのか気になってしまったので今回はこの辺りをまとめてみます。 さしあたって今回使用するバージョンはこんな感じです。 Kubernetes: v1.18.16-gke.502 Fluent Bit: v1.3.11[1] GKE にバンドルされてるバージョンがこれ はじめに そもそも Fluent Bit の用語や仕
Oracle Linux8にDocker CEをインストールしてコンテナ仮想環境を構築する手順 - そういうのがいいブログ
・Oracle Linux8にDockeをインストールしてコンテナ仮想環境を構築したい。 ・具体的な手順を教えてほしい。 こういった疑問に答えます。 本記事の内容 Oracle Linux8にDocker CEをインストールしてコンテナ仮想環境を構築する手順 サトナカ (@souiunogaii) この記事を書いている私は、某SIerに勤務しながら、 WEB系エンジニア・インフラエンジニアに憧れて、プログラミングおよびインフラ技術の勉強をしています。 こういった私が、解説していきます。 私が実機で試したコマンドや画像を載せて書いています。 記事の信頼性担保に繋がると思います。 本記事の内容 Oracle Linux8にDocker CEをインストールしてコンテナ仮想環境を構築する手順 Install Docker Engine on CentOS 前提条件 手順①：古いバージョンをアンイン
はじめに クリアコードはFluentdの開発に参加しています。 Fluentdは主にLinux上やWindows Server上でのユーザーが多いです。 Fluentdの使われ方で特に多いのがLinuxで動いているサーバーのログの取得です。 筆者畑ケがFluentdでLinuxのcapabilityを扱えるようにした話をまとめてみます。 FluentdでLinuxのcapabilityを扱う機能はFluentd v1.12.0に入る予定です。 capabilityとは Linuxにはcapabilityという権限チェックを部分的にバイパスする機能があります。 この機能は、rootまでの権限は欲しくないけれど、システムの特定のパーミッションがあるように振る舞うユーザーやプロセスが欲しい時に有用です。 例えば、Linuxのsyslogのログファイルが/var/log/syslogにあるとすると
AWS Security Hubで OT、産業用 IoT、クラウドにまたがるセキュリティ監視を実現する | Amazon Web Services
Amazon Web Services ブログ AWS Security Hubで OT、産業用 IoT、クラウドにまたがるセキュリティ監視を実現する この記事は Ryan Dsouza によって投稿された Implement security monitoring across OT, IIoT and cloud with AWS Security Hub を翻訳したものです。 はじめに 産業デジタルトランスフォーメーションは、ビッグデータ、IoT、機器間通信、機械学習の活用により、競争力を高め、プロセスと収益性を最適化することができます。産業用 IoT（IIoT）ソリューションから価値を得るためには、生産環境の継続的なデジタル化と先進的な相互接続性が重要です。この新しく拡大する「物理とデジタルの融合」による接続は、大きな進歩を可能にする一方で、新たなリスクも発生させるため、適切に管理
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20年でソフトウェア開発の景色はどのぐらい変わったのか？ - Qiita
IIJ飯田橋オフィスでDFSはどれくらいおきているのか？ | IIJ Engineers Blog
Dockerのログ収集方法の調査 - Qiita
Grafana + Loki + Fluentdで実装するSyslogサーバー
RubyKaigi 2023 Wi-Fi: 足回り徹底解説 - クックパッド開発者ブログ
メルカリでのDetection EngineeringとSOAR | メルカリエンジニアリング
AWS Network Load Balancer + syslog転送における注意点
RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ
全社統合ログ基盤を構築して得た知見 - Sansan Tech Blog
Fluentd/Elasticsearch7/Kibana7でsyslogを管理してみる
コンテナで複数プロセスを起動させる - goodbyegangsterのブログ
Fluentd向けApache Arrowプラグインについて - KaiGaiの俺メモ
Heroku で動いている Rails アプリを ECS Fargate に移行する - Qiita
AWS上でログを収集[S3]→加工[Glue]→閲覧[Athena]してみた！
Grafana Loki を素振りしたメモ - ngyukiの日記
ただただ初心者がdockerを使ってみるだけ - Qiita
docker imageの保存先を変更する - 機械学習エンジニアの備忘録
今更ながらFluent Bitって何だ！？となったので調べてみた話
リアルタイムのログ収集アーキテクチャーを調べる | エンジニアの何でもメモ帳
FluentdでLinuxのcapabilityを処理するには - 2020-11-27 - ククログ