83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
EmbulkEmbedメモ(Hishidama's Embulk embed Memo)
概要 Javaアプリケーションの中からEmbulkを実行する為のクラスとして、Embulk0.6.22でEmbulkEmbedというクラスが導入された。 embulkコマンドのguess・preview・run等と同じことが実行できる。 コーディング手順は以下のような感じ。 EmbulkEmbedインスタンスを生成する。 embulkコマンドで指定するconfig.ymlと同等の定義を作成する。 YAMLファイルを読み込むのが一番簡単そう。 コマンド（guess, preview, run等）を実行する。 開発環境の構築 EmbulkEmbedを使うJavaプロジェクトを作成する為のGradleのbuild.gradleは以下のような感じ。 build.gradle： apply plugin: 'java' apply plugin: 'eclipse' task wrapper(typ
EmbulkをJavaに組み込んで実行する - Qiita
こちらのIssueで紹介されている通りです。 https://github.com/embulk/embulk/issues/421 （Issueだとあんまり気付かれないので、Issueと内容は同じですが、qiitaでのシェアを目的としてます。） EmbulkEmbedというクラスを呼び出して、下記にようにすればJavaからEmbulkを実行できます。 EmbulkのJarはhttps://dl.bintray.com/embulk/maven/とかから最新版をダウンロードすると良いと思います。 import java.io.File; import org.embulk.EmbulkEmbed; import org.embulk.EmbulkEmbed.Bootstrap; import org.embulk.config.ConfigLoader; import org.embulk
Embulkの環境を丸ごとコピーする - 今日もプログラミング
Embulkでプラグインをインストールすると、実行ユーザのホームディレクトリの下に.embulkディレクトリができて、gemがインストールされる。 別の環境でも同じようにEmbulkを動かすには、Javaをインストールして、Embulkの実行ファイルをコピーして、ホームディレクトリもコピーするだけ。 なんだけど、アプリケーションはホームディレクトリではなくてアプリケーション用のディレクトリにまとめたい、ということもある。 そこで、その方法について調べてみた。 Embulkのホームディレクトリ ".embulk"でgrepしてみると、embulk_bundle.rbに以下のコードがあった。 user_home = java.lang.System.properties["user.home"] || ENV['HOME'] unless user_home raise "HOME envir
Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | DevelopersIO
ども、大瀧です。 本日開催されたデータ転送ミドルウェア勉強会で、開発者の@frsyukiさんによって語られたEmbulkを早速触ってみました。 Embulkとは EmbulkはOSSのデータ転送ソフトウェアです。もう少し細かく分類するとBulk Loaderと呼ばれる、バッチ処理のためのデータ読み込み、変換処理を行う機能を持ちます。特徴は柔軟なプラグイン構造で、データを読み込むInputPlugin、データを出力するOutputPlugin、さらに読み込み処理自体もExecutorPluginと、機能のほとんどをプラグインとして後から追加、カスタマイズできるよう高度に抽象化されたアーキテクチャになっています。データのハンドリングもプラグインでの実装を想定しているようなので、ここまで来るとミドルウェアというより、データ転送のインターフェースを定義するフレームワークの実装、という方が近い感じか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
