k8sハニーポットとログ出力の話 - エムスリーテックブログ
本記事はエムスリー Advent Calendar 2019 - Qiitaの24日目の記事です。 こんにちは。エムスリーエンジニアリンググループの木村です。 業務ではBIRというチームでアンケートシステムの開発をやっています。 今回は個人的に構築しているk8sハニーポットシステムとそこで生じたログ出力の問題について話をしようと思います。 ハニーポット まずハニーポットとは何かですが、一言でいうとインターネットからの攻撃を敢えて受けるサーバです。 通常通用されるサーバでは、ファイアーウォールやアンチマルウェアソフトウェアを利用して攻撃を防御し、サービスを安定して運用することが求められますが、ハニーポットはその逆です。 敢えて攻撃を受け、それを記録することによりネットワーク上でどのような攻撃が流行しているのか、その手口などを観測・分析することが目的になります。 ネットワーク構成 現在の私の自
S3でログ収集(logrotate) - 雑多なインフラエンジニア日記
セキュリティ要件等で、各サーバのログを長期保存しなければいけない場合、 サーバ上(EBS)に全ログを保存するとエライことになるので、S3に退避する 方法をメモ。 Linux標準の logrotate + s3cmd を駆使して実現できます。 # 巷で話題のfluentdやfluent-agent-liteも検討しましたが、やりたい事は # 単純で、EC2外に大量の過去ログを保存したいだけなので、logrotateでさく # っと実装。 /etc/logrotate.d/syslog の場合 /var/log/messages /var/log/xxxx { copytruncate sharedscripts postrotate /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true ends
ピクシブ広告サーバー開発・運用の軌跡 2015春インターン講義資料
2015春インターン講義資料 これの続編です ピクシブ新広告サーバー構築物語 // Speaker Deck https://speakerdeck.com/catatsuy/pikusibuxin-guang-gao-sabagou-zhu-wu-yu
Fluentdの知られていない6つのこと - Boost Your Programming!
Fluentdの知られていない6つのこと 本当に知られていないかはわからないです。 公式にはあまり説明されていなかったり調べてもなかなか見つからないことが多いと個人的に思ったものを集めました。 機能や言葉の細かい説明は省いているのである程度使っている人が対象です。 out_copyはshallow copy Fluentdで最初に使うであろうビルドインされているout_copyプラグインですが、実はデフォルトではメッセージをdeep copyしないため意図しない結果になることがあります。 <match test> type copy <store> type record_modifier tag test.aa foo bar </store> <store> type retag tag test.bb </store> </match> <match test.{aa,bb}> ty
ログ解析にNorikraを使ってみた - hase log
この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告 でした。 18日目は@sitotkfmさんのSpark StreamingでHyperLogLogを実装してみたです。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。 @kakerukaeruさんにやろうぜ！って誘われたので参加してみました これを機にブログもっと更新したいと思います！ 今回のテーマは、Norikraというミドルウェアで、業務でログ解析をする際に使ってみた所かなり便利だったのでNorikraの魅力を少しでもお伝えできればいいなと思いテーマに選びました。 これおかしくね？みたいなのがあったらバシバシ指摘して頂きたいです。 環境構築と使い方は、わかりやすくまと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentdでログが欠損する可能性を考える : sonots:blog
