Athenaに思いのほかいろんな関数が実装されていた - Qiita
自己紹介 ブログ初投稿の新卒です。 普段はサーバーサイドのプログラムを書いたりしています。 はじめに DBに格納されたデータに対しては、クエリを投げることで効率よく検索したり集計したりできます。しかし、サービスを運営し続けることで溜まっていく膨大なログについては全てDBに入れたりするわけにはいかず、適宜圧縮ファイルにして蓄え続けることになります。 このようにファイルとして書き出してしまうと今度は過去ログを漁りたい時に不便なのですが、Amazon Athenaのようなサービスを使うことで、ファイル群に対してあたかもDBを扱う時のようにクエリを投げることができます。 このサービスについて、S3上のファイルをクエリ実行の度に都度読み込む形式だと聞いて、簡単なSELECT文を投げることができる程度だと勝手に思っていました。 実際にはそんな低機能なサービスではなく、一見すると手元でスクリプトを組んで
Athena で始めるズボラなログ設計 - Qiita
背景 サービスを運用していると, ログに対して解析を行いたいと思う事は多いと思います. しかし, ログを出力するコードを実装している時には解析の要件が正確には固まっていなかったり, 解析する側と出力側の人間が別だったりすると最初からスキーマをきちんと決めて個別のログを出力することは難しかったりすると思います. そんなとき, 出力側は適当にログを出しておき, 解析側は要望ベースで事後的に解析したりできると色々便利です. 要はスキーマレスにログを出力し, スキーマレスなログにたいしてクエリを走らせられるようなログシステムを作ります. 採用技術 ログの格納先としては S3 を使用します. 好きなだけログを放り込めますしまず消えません. 解析のためには Athena を使用します. S3 のファイルに直接 SQL でクエリを発行できます. 設計 きちんと個々のログの内容を設計せず必要そうなデータを
KubeCon + CloudNativeCon North America | LF Events
Chen Goldberg has more than 25 years of expertise leading global engineering teams, product R&D initiatives, and high-profile customer engagements with Fortune 500 enterprises. She is Senior Vice President of Engineering at CoreWeave, joining the executive team to lead and grow engineering functions, as well as accelerate CoreWeave’s world-class product development and offerings. Chen isn’t new to
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
