Athena愛溢れる深堀さんがログ管理省力化について力説する
昨年末に発表された「Amazon Athena」は、S3バケット内のデータをSQLを使って分析できる便利なサービスだ。残念ながら東京リージョンではまだリリースされていないが、実際に使ってみたら安価で便利だったので啓蒙したいと意気込むのは、JAWS-UGさいたま宴会部長の深堀 卓男さん。「AWS Athenaかわいいよペロペロ」という、愛溢れるタイトルのセッションでAthenaの使い方や活用時のポイントを語った。 想定される活用パターンは2つ、中でもS3に溜め込んだログ分析に力を発揮 まずはAWS Athenaのおさらいから、深堀さんのセッションはスタートした。Athenaは分散SQLクエリエンジンPrestoのAWSマネージド版。S3に置いてあるファイルをテーブル化して、標準SQLで投げかけた検索を並列処理で実行してくれる。 「主な使い方は2つあると思います。ひとつは、ビッグデータ分析。J
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
Go言語のLogger「zap」は何故高速に構造化されたログを出力する事が出来るのか｜株式会社CA Wise
こんにちは。開発部の平田です。 今回は、PHP製のWeb APIをGoに移植するプロジェクトでアプリケーションの情報やエラーを出力する為のLoggerを検討した際に、uber-go/zapというライブラリが公表しているパフォーマンスがその他ライブラリと比べて大分良かったので、どこでパフォーマンスの差を出しているのか、そのアプローチを簡単に紹介したいと思います。 Zap 初めに、簡単にzapの紹介をしておくと今年の2月にUberから公開されたまだ比較的新しいプロダクトです。その為開発ステータスはBetaの段階で出力もJSONしか対応していませんが、Github上で800以上のスターが付いており注目されているプロジェクトとなっています。 「Fast, structured, leveled logging in Go」とあるように、構造化されたログを出力するためのライブラリで、標準のlogのよ
grepでログ解析をするなんてひどい話だ | POSTD
今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間数万のログをいい感じにするアーキテクチャ
