GCP のログ大全2019
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 5 日目の記事です。 GCPにおけるログのライフサイクルGCPにおけるログのライフサイクルは、収集・集約・活用・保管の大きく4つのフェーズに分類できると考えております。まずそれぞれのフェーズの中でどのようなことができるのか、皆様に知っておいておきたいことについて説明します。 収集フェーズログを発生させる元のシステムから集めてくるフェーズです。ログの発生元がどこであれ、最終的には Stackdriver の Logging API にログを送ることで収集を行います。もちろんGCPのサービスで発生するログは自動的に収集されますが、GCP上のユーザアプリケーションのログや、オンプレミスや他クラウド環境からのログは、Logging エージェントかLoggin APIの
Linuxで全コマンドの実行履歴を記録する方法いろいろ | 俺的備忘録 〜なんかいろいろ〜
以前に、いろいろとLinuxでコマンドの実行履歴をログに記録する方法について書いてたので、まとめてみることにした。 1.シェルのhistoryを利用する まぁ、基本といえば基本。 シェルのhistory機能を使って記録しておくというもの。 ただ、デフォルトだとファイルへの書き出しがセッションクローズ後で、タイムスタンプもついてないので、そのままでは使いにくい。 また、コマンドの実行ユーザが権限を持っているので、ファイルを直接編集できるのもよくないかも。 2.bashの機能を用いる bash 4.1以降だと、実行したコマンドをsyslogで記録させることができるようになっている。 ただ、CentOSやUbuntuだとそのままでは利用することはできず、コンパイルしなおす必要がある。 yumやapt-getでアップデートができなくなるので、何かしらの脆弱性が見つかるとコンパイルしなおす必要が出て
Amazon Elasticsearch Serviceを使ったログ収集基盤の構成を考えてみた
みなさんこんにちは。@ryuzeeです。 6月10日にAmazon Web Services企業導入ガイドブックが発売になっていますのでよろしくお願いします。 さて今回はAWS上でログ収集と分析をする際に、Amazon Elasticsearch Serviceを使う前提とした場合だとどのような構成案がありそうかいくつか考えてみたのでご紹介します。 なお、検討の材料にしている全体の構成としては、複数のVPC(またはAWSアカウント)があって、さらにオンプレ側とDirect ConnectやInternet VPNで接続しているような、よくあるそれなりの規模の構成になります。 各VPCの中には複数のサブネットがあり、そのうちのいくつかはプライベートサブネットに分かれているものとします(個人的にはインターネットゲートウェイの有無しか違いがないので、プライベートサブネットあまり作りたくない)。
ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO
はじめに こんにちは、中山です。 先日AWS Summit Tokyo 2016に参加してきました。セッションを聴講している際にスピーカーの方が面白そうなツールを紹介されていました。awslogsというPython製のツールです。これはAmazon CloudWatch Logsをターミナルから直感的に検索するためのツールです。早速使用してみたのでレポートします。 検証環境 awslogsコマンドを利用するためにCloudWatch Logsの設定が必要です。検証環境構築用のコードをGitHubに上げておきました。以下のコマンドで実行可能です。 $ git clone https://github.com/knakayama/awslogs-demo.git $ cd awslogs-demo $ ssh-keygen -f site_key -N '' $ terraform apply
Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
Log Parser Studio : ログ解析に便利なLog Parser を、GUI で使えるようにするMicrosoft のフリーのツール - troushoo
概要 Microsoft のフリーのツール Log Parser Studio を紹介紹介します。 Log Parser Studio は、ログ解析に便利なフリーのCUI ツールLog Parser を、GUI で使えるようにするツールです。 内容 以下、次のセクションに分けてLog Parser Studio を紹介します。 ・Log Parser とは？ ・Log Parser Studio とは？ ・Log Parser Studio のインストール方法 ・Log Parser Stuido の基本的な使い方 Log Parser とは？ Log Parser とは、マイクロソフトからフリーで公開されているCUI のツールです。 色々なフォーマットのファイル(例：XML、IIS ログ、イベントログ、ファイルシステム等々)に対して、SQL文のような構文で、クエリの実行・結果の取得ができ
統合ログ管理を今すぐ簡単に始められるツール EventLog Analyzer
今すぐ簡単にはじめられる統合ログ管理ツール インストールから最短10分でログ管理システムを構築！イベントログやSyslog、その他あらゆるログを一元管理し、セキュリティ強化を実現。 製品概要資料ダウンロード ManageEngineのログ管理ツール「EventLog Analyzer」は、ログ管理に求められる多様な機能を備えた統合ログ管理ソフトウェアです。 ログの収集・圧縮・保管を自動的に行えるため、ログ収集とストレージの節約を両立できます。また、直感的に操作しやすい画面から、指定条件でログを検索・必要に応じて展開することも可能です。 さらに、セキュリティ上問題のあるログを検出した際にアラート通知する機能や、主要コンプライアンス規格に適合した内部監査向けのレポートを出力する機能も備えています。 2021 Gartner® Peer Insights™ for Security Inform
【セッションレポート】『ログからひも解く、AWSのす・べ・て！！』 #cmdevio2015E | DevelopersIO
Eトラックの1本目は、 『ログからひも解く、AWSのす・べ・て！！』というタイトルで、アマゾン データ サービス ジャパン株式会社酒徳知明様、関山宜孝様にお話いただきました。 ひとくちにログと言っても、Apacheなどのミドルウェアで記録するログ、アプリケーションで記録するログなど様々なログがあります。 AWSであっても、Amazon RDSやElastic Load Balancingなどのサービスが記録するログがあります。 一方で、AWSの特徴的なロギングサービスとして、Management ConsoleなどでAWSのリソースを変更した時などにログを取得するAWS CloudTrailがあります。 今回のセッションでは、AWS CloudTrailの活用方法を中心に、最近追加されたAWS Configに関するトピックをお話いただきました。 当日のスライドはこちらからダウンロード願いま
ElasticsearchとKibanaではじめる検索＆アナリティクス
JJUG CCC 2014 Fall発表資料。 ※ライブでもをやりながら説明した資料なので、
『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［パネルディスカッション編］ | gihyo.jp
鈴木：先のセッションで権限があったから入れましたという話が挙がっていましたが、インフラエンジニアだから入れられるというのは結構あると思います。 道井：インフラエンジニアは基本どこのサーバでもSSHログインできるため、勝手にFluentdを入れて、勝手にログをもってくることができます。 伊藤：待って、この話はあまり一般的でないと思う（会場：笑） 吉田：僕の会社も同じような感じです。2、3年前に、ログ解析やクエリログの収集をしたくなり、トレジャーデータのFluentdが良さそうだというのが分かりました。木曜にメールをして、翌月曜には全台にデプロイが完了していました。 伊藤：それはインフラエンジニアとしての業務にあたっていたんですか？ 吉田：趣味です。 伊藤：なぜ、皆さん趣味でやってるんですか（苦笑） 鈴木：僕はもともとはサーバサイドエンジニアで、インフラエンジニアの人にFluentdを入れるか
Octopussy
Features LDAP supported for Octopussy Users & Contacts Send Alerts by Email, IM(Jabber), NSCA(Nagios) & Zabbix_sender Export Reports by Email, FTP & SCP Create Map to show your architecture Input & Output Plugins for Reports Reports Scheduling ‘RRDTool’ to graph syslog activity Lot of Services already supported: Bind, Cisco Router, Cisco Switch, DenyAll Reverse Proxy, Drbd, F5 BigIP, Fortinet FW,
opensshのsftp serverでログを取る - Chroot user編 - うまいぼうぶろぐ
see also. openssh の sftp server でログを取る 普通のユーザはinternal-sftp -f authpriv のようにしてsyslogのfacilityを指定するだけで良い。けどchroot しているuserの場合にはログが出ない。理由はchroot ディレクトリの下にsyslogd のsocketがないから(/dev/log)。 追記 chroot 環境の/etc/localtime がないとログの時刻がずれるのでコピーしておく。 # cp /etc/localtime /path/to/chroot/etc/localtime 解決策1 - chrootディレクトリが"/" と同じパーティションにある場合 /dev/log のhardlink を作る。 # mkdir /path/to/chroot/dev # ln /dev/log /path/to
HowTo: The Ultimate Logrotate Command Tutorial with 10 Examples
HowTo: The Ultimate Logrotate Command Tutorial with 10 Examples Managing log files effectively is an essential task for Linux sysadmin. In this article, let us discuss how to perform following log file operations using UNIX logrotate utility. Rotate the log file when file size reaches a specific size Continue to write the log information to the newly created file after rotating the old log file Co
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間数万のログをいい感じにするアーキテクチャ
404 - Page not found
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kibana入門
サービス改善はログデータ分析から
