[B! Embulk] goyachanpuruのブックマーク

4000以上のチャンネルを支えるデータ解析基盤をBigQuery, Go, embulk等で整備した話 - UUUMエンジニアブログ

nazoです。 UUUMでは2017年3月時点で4000チャンネルを抱えており、日本最大のマルチチャンネルネットワーク(MCN)となっております。これだけのチャンネル数があり、さらに多くのチャンネルは毎日のように動画を投稿しており、1日に増える動画の数だけでも相当な数になっています。以前はこれらのデータの取得をPHPで行っていたのですが、最近Goによる新システムの運用を少しずつ始めており、大きな変化が生まれています。今回はそのあたりについて解説したいと思います。現在の構成それまで動いていたPHPによる解析システム（こちらは今回は話しません）があるのですが、これはUIとデータ取得部分が、そもそも他のシステムと同居しており、改修が難しくなっていました。また、PHPは並列処理が苦手で、やろうと思えばいくつか手段はありますが、並列化に対して大きくリソースを割いていませんでした。そのため、

goyachanpuru 2017/09/02

リンク

Embulkのエラー処理について調べてみる - 今日もプログラミング

自分はEmbulkを業務システムに組み込むことを考えている。となると、気になるのはエラー処理。エラー時にどんな挙動になるかを確認しておきたい。 Embulkのプラグインの組み合わせは多数あるが、とりあえず想定しているのはCSVファイルを読み込んでRDB（例えばOracle）に突っ込む処理なので、この組み合わせで確認してみる。正常終了一応正常終了時の終了コードも確認しておく。当然、0だった。 CSVファイルのエラー列が多い行がある場合こんなログが出力された。 2015-04-08 22:48:46.731 +0900 [WARN] (task-0000): Skipped (line 18): 17,1360,... org.embulk.standards.CsvTokenizer$TooManyColumnsException: Too many columns at or

goyachanpuru 2017/06/07

リンク

データベースドキュメント管理システム dmemo のご案内 - クックパッド開発者ブログ

こんにちは、みんなのウェディングに出向中の小室 (id:hogelog) です。今回はクックパッドとみんなのウェディングで利用しているデータベースドキュメント管理システム dmemo を紹介します。 https://github.com/hogelog/dmemo dmemo を作成し導入した経緯私は2016年3月頃からみんなのウェディングで Redshift, bricolage, embulk, re:dash 等を利用したデータ分析基盤の構築を進めています。 (みんなのウェディングのデータ分析基盤の現状 - みんなのウェディングエンジニアリングブログ) 社内の誰でも扱えるデータベース、データの集約・計算・加工、ダッシュボードの作成、クエリの共有などは上記ブログ記事でも書いたように Redshift, bricolage, embulk, re:dash 等を組み合わせることで実現

goyachanpuru 2016/08/08

リンク

83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog

こんにちは。インフラエンジニアの村上です。マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。この記事に書かれる事データ分析基盤としてBigQueryを使用した話とデータ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳マネーフォワードの家計簿は350万人以上のお客様に利用いただき、アクセスログは日々2.500万件程度増えております。サービス開始から