オブジェクトストレージ と DuckDB で実現する低コストログ解析
自社では自社パッケージ製品のクラウド版を提供しています。自社パッケージは大量の JSON Lines 形式のログを出力します。 この大量のログの利用者向けと管理者向けの解析をどうしたものかとずっと悩んでいたのですが、オブジェクトストレージと DuckDB を利用する事で低コストで実現できました。 オブジェクトストレージまず、とにかくオブジェクトストレージは安価な上に何も考えずスケールする仕組みなのがログ置き場としてとても良いです。自社では Akamai Connected Cloud のオブジェクトストレージを利用してますが、250 GB で月 5 ドル、転送量 1 TB 付きという安さです。 自作のログアップローダーを利用しており、 Zstd 圧縮してからオブジェクトストレージへアップロードしています。 自社サービス規模であれば圧縮済みのログのサイズが 10 TB 行ったとしても、月 2
DuckDBを使ったシンプルで安価なデータマネジメント
要件 - 時系列のIoTデータ - スキーマは単一でなく、たくさんある(Heartbeat, 位置情報, 姿勢, GNSS(衛星)情報, バッテリー, etc…) - ニアリアルタイムで保存し、数秒以内にはフロントエンドのウェブアプリからクエリで きる状態にする - 前後のレコードを比較して監視・検知してSlackにアラートを飛ばす - 過去データもフロントエンドのウェブアプリからクエリできる状態を保つ - アドホックな分析クエリも投げることがある(頻繁ではない) - ファイルベースのログとかRDBとも接続してJOINして分析したい - エンジニアは一人(サーバーサイド全般＋データ系をまるっと担当)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
