エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
TreasureDataを活用したKPIレポートシステムのHiveQLクエリ最適化検証 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
TreasureDataを活用したKPIレポートシステムのHiveQLクエリ最適化検証 - Qiita
まとめ TD(TreasureData)に溜め込んでいるログを集計して、自動で昨日のKPIレポートをチャットに発言す... まとめ TD(TreasureData)に溜め込んでいるログを集計して、自動で昨日のKPIレポートをチャットに発言するシステムを作りたかった TDへのクエリ(HiveQL)発行がやたらと時間がかかる上に高負荷になった 最適化の為のキモは、WHERE句に指定するTD_TIME_RANGEのようだ TDは基本時系列データなので、最初にTD_TIME_RANGE()で処理対象データを正常にフィルタできれば、その後の処理時間は大幅に削減されるはずだ TD_TIME_RANGEに指定する値が複数パターンあって、どれを選択すればいいか困ったので全パターン検証してみた 結論: とりあえず、unix_timestamp()の指定はナシ。TD_SCHEDULED_TIME()での指定が本来正しそうだが、なぜかパフォーマンスがでていない。もっと調査する。 そもそもやりたいこと 以下の様なシステムを組みたい T