fluentd x embulk x bigqueryで作るバッチ集計処理基盤
@joker1007 メインのバッチ集計処理基盤として bigqueryを利用するために今取り組んでいること、 そしてそれを支えるfluentdとembulkの bigqueryプラグインの現状を解説します。 self.inspect @joker1007 Freelance (Ruby/Rails/JS/Redshift/Bigquery) パーフェクトRubyとかパーフェクトRailsとか 最近はアプリより基盤寄りの仕事が多い (株)Reproで仕事中 Repro Inc.の最新情報 - Wantedly Hireling Now 資料作成サボってて時間がやばくなってしまい、 業務時間使って資料作ってたので、 宣伝を入れるからってことで許してもらいました BQの利用背景 MySQLの限界 将来的にもデータ量は増え続ける 割とヘビーな集計処理がある できるだけ同時に算出したい 構成イメー
3年で5パターンの分析基盤を作ってみた - Qiita
入社してから3年たったので、自分メモということも含め、今までやってきたことのまとめ。 お断り 開発期間の関係で、一つ一つシステムを細かく理解し、チューニング出来たわけではないです。 個人が期間内に調べられた情報で、構築したものなので 「いやいやきちんとチューニングすればそんな結果にはならない」みたいなことは 多々あるかと思いますがご了承ください。 また、3年前はLinuxやSQLは触ったことがない状態だったので 最初の方に担当したものほど作りが甘かったと思います。 流れ 第1世代: AmazonRedShiftをベースにした基盤 第2世代: AmazonEMRでHiveをベースにした基盤 第3世代: AmazonEMRでSparkをベースにした基盤 第4世代: MySQLとサーバ上での分散処理(Python)をベースにした基盤 第5世代: BigQueryをベースにした基盤(製作中) 第1
Amazon Redshift: WLM(Workload Management)のクエリ同時実行制限値が緩和されました | DevelopersIO
先日2014/04/18のRelease Notesにて、Amazon RedshiftのWLM(Workload Management)に於ける同時実行の制限(上限値)を増やせるようになりました。当エントリではその内容について実際に変更してみるなどしてみたいと思います。 Release: Amazon Redshift on 2014-04-18 : Release Notes : Amazon Web Services 目次 クエリキューの定義とは 変更前(デフォルト値)の内容及び挙動の確認 パラメータの変更及び反映内容の確認 まとめ クエリキューの定義とは Amazon Redshiftでは、ユーザー定義のクエリキューで最大50のクエリを同時実行出来るような設定が可能となりました。これにより、ユーザーがWLM構成を変更する事でシステムのパフォーマンス管理に対するより柔軟な対応が行える
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
