fluentd x embulk x bigqueryで作るバッチ集計処理基盤
@joker1007 メインのバッチ集計処理基盤として bigqueryを利用するために今取り組んでいること、 そしてそれを支えるfluentdとembulkの bigqueryプラグインの現状を解説します。 self.inspect @joker1007 Freelance (Ruby/Rails/JS/Redshift/Bigquery) パーフェクトRubyとかパーフェクトRailsとか 最近はアプリより基盤寄りの仕事が多い (株)Reproで仕事中 Repro Inc.の最新情報 - Wantedly Hireling Now 資料作成サボってて時間がやばくなってしまい、 業務時間使って資料作ってたので、 宣伝を入れるからってことで許してもらいました BQの利用背景 MySQLの限界 将来的にもデータ量は増え続ける 割とヘビーな集計処理がある できるだけ同時に算出したい 構成イメー
何をやっていたら「CTOになってしまった」のか
Repro.inc CTO Tomohiro Hashidate / joker1007 プロフィール joker1007 神戸大学 法学部卒 SIerから小規模な受託開発会社を経てフリーランスへ 2015/10ぐらいからフリーランスとしてReproに 2016/7からReproのCTO (3ヶ月ちょい ) パーフェクトRuby, パーフェクトRuby on Rails 共著者 人生における大事なことは「ジョジョ」に学んだ 今日話さないこと 組織論 チームマネジメント 業務フロー改善 スタートアップっぽい苦労話 今日話すこと 技術でビジネスを支えるとは そのために今まで為し遂げてきたこと 何を使って 何を解決したか (何をやった結果CTOになってしまったか ) プログラマーとしての姿勢 自分はマネージャーではない バリバリコード書いてるプログラマー では、CTOという肩書で何をやっているの
RailsアプリをECSで本番運用するためのStep by Step
@joker1007 self.inspect @joker1007 パーフェクトRuby, パーフェクトRails 著者 Asakusa.rb, Yokohama.rb, Shibuya.rb データ分析基盤構築, Bigquery, インフラ全般 fluent-plugin-bigqueryメンテナ (株)Repro 宣伝タイム 現在のECSの活用状況 主要システムはほぼECSに移行完了 メインWeb, API, 各種非同期処理ワーカー クラスタは基本で15台 ASでその倍から3倍ぐらいまで増える 開発者用ステージング、QA環境等にも利用 何故ECS化したのか ミドルウェアのバージョン管理の容易さ Ruby, nginx, fluentd ... TaskDefinitionのリビジョンでロールバックできる 無停止デプロイメントの簡易化 AutoscaleのためのAMI管理不要 pul
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
