Embulkでデータロードする(3) – MariaDBからHadoop HDFS – OpenGroove
Embulkによるデータロード、今回はMariaDBからHadoop HDFSというパターンでやってみる。環境はCentOS6.6 CDH5.4のHadoop擬似分散環境で、MariaDBも同居。Embulkのインストールまでは過去記事と全く同様。 プラグインのインストールから開始。MariaDBのinputとしてmysql用のプラグインを使用する。 $ embulk gem install embulk-input-mysql $ embulk gem install embulk-output-hdfs MariaDB側対応。この辺も前回までの投稿と同じ。 CREATE TABLE embulktest.access( country_code varchar(10), access_id int, access_time varchar(30) ); CREATE USER embu
hdfsにsqoopとembulkでmysqlからロードする手順 | takemikami's note
このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。 sqoopを利用する手順とembulkを利用する手順を示します。 Apache Sqoop: http://sqoop.apache.org/ embulk: https://github.com/embulk/embulk この手順の前提として、 homebrew及びjdk, hadoop, hdfsのセットアップは完了し、hdfsのnamendeは起動しているものとします。 hadoopとhdfsのセットアップについては、 以下エントリの「Hadoopとhdfsのセットアップ」を参考にしてください。 Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）: http://takemikami.com/2016/04/20/Machivemysqlmetastore.html
並列バッチデータ転送OSSのEmbulkをソースコードリーディングしてみる（その１ - 夢とガラクタの集積場
こんにちは。 ようやくKinesisSpoutが一段楽したので次のネタを。 先日「データ転送ミドルウェア勉強会」が開催され、 そこでバルクデータロードツール『Embulk』が公開されました。 データのバルクロードというと、定番のOSSというのがなくて、 HDFSにバルクデータをロードする時はhadoopコマンドで行う・・などを行っていたのですが、 それがツールでできるというのは非常にありがたいですね。 で、既に使ってみた方の事例はいくつか挙がっていますので、実際にどう作られているかを見てみようと思います。 ・・・ええ、Javaでプラグインが書けるようになるまで実際に動かすかソース読むしか出来ないからですね。 1.embulkのモジュール構成 embulkのGitHubを確認してみますと、下記3つのモジュールで構成されています。 embulk-cli embulk-core embulk-s
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
