コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。
AWS Startup Tech Meetup #3: かんたんコンテナロギング選手権
コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。
Grafana + Loki + Fluentdで実装するSyslogサーバー
はじめに ログ集約・可視化・検索ツールとしてはELKスタックを利用するケースが多いが、これをLokiに置き換えることでより軽量にログを集約することができるようになる。 Grafana Lab社が開発したLokiは、ログのストリームに対してタグ付けし保存する仕組みを持つ。Prometheusと親和性がたかく、水平展開、高可用性、マルチテナントが可能。 構成 各クライアントからのsyslogは514/udpポートで送信される。これをrsyslogデーモンで受け5514/tcpポートへ転送する。fluentdは5514/tcpポートで受信したsyslogをさらにlokiへ転送する。 +------------------------------------------------+ | | | +---------+ | +--------+ 514/udp | | | | | client +
FluentdがKubernetesの標準ログ収集ツールとして採用
Googleがオープンソースとして公開したKubernetesは、コンテナ型仮想化ソフトウェアのDockerを管理するツールです。開発プロジェクトにはDocker、RedHat、IBM、VMware、マイクロソフトなど多数の企業が参加を表明しています。 Kubernetesは、複数のDockerコンテナにまとめてアプリケーションをデプロイし、設定を行い、稼働状況を監視、管理し、サービスへのトラフィックをルーティングするなど、クラスタとしてDockerを運用するための多くの機能を備えています。 このKubernetesで使われる標準のログ収集ツールとして、オープンソースのfluentdが採用されたことが明らかになりました。下記はそれを伝えるGoogle佐藤氏のツイート。 fluentdがKubernetesの標準ログコレクタに採用されたぜ！！！ https://t.co/V8VDM4IE7e
AWS re:invent2014 で見つけた面白いサービス - サーバーワークスエンジニアブログ
今回re:Invent2014に着物参加の小室です。着物のお陰で寒さに震える事がないので着物の実用性をラスベガスで実感しています。 さてAWS発表したサービスはドキュメントとか他のブログにあるので、せっかくなのでre:Invent2014に来て知ったサービスを紹介します。 余談ですが私はブースを大体全部回って、今流行のサービスを調査するのが好きです。去年はログ監視が凄い多かったですね。去年は小さいブースだったけど、今年は大きなブース構えていたので利用ユーザーも増えてきたのでしょう。 今年はずばりBIツールが熱いなって思いました。理由はRedshiftだと思います。それでは聞いた事無いぞ！きっとStartupに違いない！というBIツールを紹介しましょう（多分私が知らないだけ）。 birst http://www.birst.com/日本語対応もしており、様々な軸で可視化、分析が出来る Seg
トレジャーデータの分析エンジンを採用した「Yahoo! ビッグデータインサイト」提供開始。月1000万件60回クエリまで無料のプランも。IDCフロンティア
トレジャーデータの分析エンジンを採用した「Yahoo! ビッグデータインサイト」提供開始。月1000万件60回クエリまで無料のプランも。IDCフロンティア Yahoo! ビッグデータインサイトは、IDCフロンティアのクラウド基盤にfluentdやトレジャーデータのtd-agent、バルクアップローダーなどによってクラウドデータを収集、保存し、Hadoopなどの分散処理システムを組み合わせたトレジャーデータのデータ分析エンジンでデータの分析を行えるもの。 分析した結果はSQLやPig、REST API、ODBC/JDBCなどで得ることができます。分析処理基盤の性能はIDCフロンティア側でつねに最適化を行い、またデータは3重コピーによって保管されています。 利用者はビッグデータのためのインフラや分析ツールの構築や維持費用の手間を省け、数百億件ものデータであってもクラウド上の分散処理基板を活用し
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
ELBのアクセスログをFluentdにINPUTしてみた - サーバーワークスエンジニアブログ
ちかごろ職種不明の新坂です。 AWSの負荷分散装置、ELBのアクセスログを取得できるようになりましたね。 see: 【AWS発表】Elastic Load Balancerのアクセスログ 冗長化・負荷分散している場合、Webサーバーのアクセスログは分散してしまうので、ELBのログが取得できるというのは有用なのではないでしょうか。 早速試してみたところ、ログは5分間隔または、60分間隔でS3に出力されるようです。S3内では下記のようにディレクトリに仕切られてファイルが配置されます。（厳密にはディレクトリではありませんが、便宜上ディレクトリと表記します。） ELBアクセスログファイルの配置イメージ（5分間隔） AWSLogs/000000000000/elasticloadbalancing/ap-northeast-1/2014/03/07/000000000000_elasticloadb
AutoScalingやインスタンス障害に強い 〜Stateless Serverパターン〜 - プログラマでありたい
CDP Advent Calendar 2013 の14日目です。主に動的なWeb/アプリケーションサーバの話ですが、AutoScaling時や障害発生時に影響なく処理を継続するにはセッションの保持方法に一工夫必要です。またログなどもローカルに保存すると後々面倒くさいです。その辺りを解決するには、サーバの状態（セッション・ログ・etc）を外出しするのが一番です。名前を付けるとしたら、「Stateless Serverパターン」です。昨今のImmutable Infrastructureの概念にも影響を受けています。 1 解決したい課題 AutoScalingを利用すると、負荷の増減に応じてサーバの増減が出来る。しかし、動的サーバの場合はセッションサーバを個々のサーバに保持していると、サーバが増減して別のサーバに振り分けられた場合セッション維持が出来ずに問題が生じる。また負荷が下がってサーバ
Statelessなサーバについて 〜クラウド時代のサーバの在り方 - プログラマでありたい
Immutable Infrastructure関連の記事を読んでいて、ここ最近AWS上でサーバを構築・運用する上でモヤモヤと感じていた事が一気に概念化されました。一番納得したのが、@stanakaさんの2014年のウェブシステムアーキテクチャです。その中のStatelessサーバのくだりです。 状態を持たない Stateless Server は、アプリケーションサーバーやリバースプロキシサーバー、キャッシュサーバー、ロードバランサーなどのことです。これらのサーバーは、本質的には状態を持つ必要がないため、いつ壊れてもよいし、再作成も容易にすることができます。そのため、負荷に応じて必要十分な数だけフレキシブルに増減させることが、もっとも効率的です。サーバーを増やしたり、減らしたり、設定を更新したり、切り戻したりするオペレーションコストをいかに減らすかが勝負どころです。 Statelessな
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ
何故、fluentdなのか？ - プログラマでありたい
最近、fluentdという言葉を聞くことが多いと思います。fluentdは、それぞれのサーバからログを収集し集約する為のアプリケーションです。fluentdは「Log everything in JSON」を合言葉に、全てのログをJSON形式で扱います。また一緒に聞くキーワードとしては、大規模とかリアルタイムとかがあると思います。この時点で関係ないやと思って、興味を失った人も多いと思います。しかし、今後のログ管理は、fluentdが主流になるか解りませんが、同様の集約するフレームワークが中心になると思います。 何故、fluentdが必要か？ まずはオンプレミスの世界から見て行きましょう。ログはサーバーにたまり、管理者はサーバにログインしてログを参照します。特に問題はありません。 次にAutoScalingを使わないAWSの世界です。これも同様に、ログはサーバーにたまり、管理者はサーバにログ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
