fluentdでログが欠損する可能性を考える : sonots:blog
Lessの便利な使い方
最近 Stop using tail -f (mostly) や 「tail -f」を使うのは情弱、情強は「less +F」を使う などless押しな記事が幾つか上がっているんだけど、タイトルが煽り気味なのか若干反感を呼んでいるようなのでless派が職場で肩身の狭い思いをしないようにもう少し便利な使い方を紹介したい。 tail -fの様なScroll forward less +Fで起動またはless起動中にF 元記事にもあるtail -fと同様の振る舞い。正直この機能と検索だけでいいのであればtailで十分。lessの便利なところは様々な機能との組み合わせにあって、これから紹介する機能は基本的にこのモードと組み合わせが可能だ。あと、less開いてFのほうがタイプが面倒くさくないのでおすすめ。 1行で表示する (改行しない) less -Sで起動またはless起動中に-Sr(-Sでモード切
並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 | DevelopersIO
AWS Summit NYCが始まりました！ オランダ負けて残念だったね〜、で始まりました、AWS Summit NYCです！そして、早速新機能の発表です！その名もCloudWatch Logsです。 CloudWatch Logsとは？ CloudWatch Logsは、独自のアプリケーションやAWSサービスのログを収集して解析する機能です。EC2にエージェントをインストールしてログを飛ばす事ができます！この仕組みは、Amazon Kinesisの機能を使って実現しているようです。 主な機能は以下の２つです。 アプリケーションとシステムのログをリアルタイムにモニタリングすること ログデータのアーカイブ CloudWatch Logsのコンセプト CloudWatch Logsの全体像を理解するためにコンセプトとなるキーワードを並べてみます。 ログイベント：ログイベントは、監視されているア
エンジニアでもターミナル作業ログを残したい!! - 目の前に僕らの道がある
今まで下記のようにexecで標準出力と標準エラー出力を作業ログに残すという事をしてたんですが、実際に打ったコマンドは出力されないので、ちょっと不便だなーと思ってました。 exec > >(tee --append /tmp/$(date +"%Y.%m.%d")_$(id --user).work.log) 2>&1 ちょっと調べて見るとscriptコマンドを使うとコマンドを含めて出力できることを知りました。 これで作業ログを残すのがはかどる! script --append --flush /tmp/$(date +"%Y.%m.%d")_$(id --user).work.log チームメンバーにこのログをtailさせておけば、画面共有も出来たりもします。 (その用途ならホントはwemuxとか使った方が良いんでしょうけどね。。 tail -F /tmp/$(date +"%Y.%m.%
ansibleのログをfluentdに流す — そこはかとなく書くよん。 ドキュメント
ansibleのログをfluentdに流す¶ Chef のログを Fluentd に流す という記事を読みました。Ansibleにもそのための機能があるにも関わらず、あ まり情報がないのでまとめてみました。 callback plugin¶ Ansibleにはmoduleとは別にpluginという機構があります。例えば "{{lookup('file', '/etc/foo.txt') }}" というように使うlookup pluginがあり ます。他にもconnectionやvarsのpluginがありますが、そのうちの一つに、 callback pluginがあります。 callback pluginはその名の通り、いろいろなイベントが発生した時に自動的に 呼び出されるcallbackを登録するためのpluginです。イベントの例としては、 playbookの開始時 taskの開始時
ステータスチェックに失敗した Linux インスタンスのトラブルシューティング - Amazon Elastic Compute Cloud
Amazon EC2 コンソールを使用して、問題のあるインスタンスを調査するにはAmazon EC2 コンソール (https://console.aws.amazon.com/ec2/) を開きます。 ナビゲーションペインで [インスタンス] を選択し、インスタンスを選択します。 詳細ペインの [ステータスとアラーム] タブを選択して、すべての [システムステータスのチェック] と [インスタンスステータスのチェック] に関する個々の結果を表示します。 インスタンスの復旧アラームを作成します。詳細については、「インスタンスを停止、終了、再起動、または復旧するアラームを作成する」を参照してください。 インスタンスタイプを AWS Nitro システム上に構築されたインスタンスに変更した場合、必要な ENA と NVMe ドライバーがないインスタンスから移行するとステータスチェックは失敗しま
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列分析による異常検知入門
サービス改善はログデータ分析から