BigData-JAWS 勉強会#2 参加レポート（Embulk/DigdagとRedshift）#bdjaws | DevelopersIO
はじめに データインテグレーション部 大矢です。 2016年9月26日開催のBigData-JAWS 勉強会#2に参加してきました。 この記事はその前半、弊社川崎の発表した「EmbulkとDigdagで作るRedshiftデータマート」のレポートです。 EmbulkとDigdagで作るRedshiftデータマート 資料はこちらです。 発表者はクラスメソッド株式会社 川崎照夫。 参加者の比率の確認（挙手で） OLTP系の人 2名 情報系、DWH系の人 多数 ビッグデータの勉強会なので、やはり情報系の人がほとんど。 データマネジメント概説書 JDMC（日本データマネジメント・コンソーシアム）という団体があり、（川崎も）以前参加していた。 JDMC知っている方？（挙手で確認） ほぼゼロ 残念ながら、知名度が低い。 JDMCでは「データマネジメント概説書」という書籍を出版している。 「DMBO
Embulk で任意のカラムをマスクする embulk-filter-mask プラグインを公開しました - べにやまぶろぐ
久しぶりの投稿ですが生きております。 ふと Embulk のプラグインを見よう見まねで作ってみました。 github.com Embulk で転送かけるデータのカラムを指定して * で置換を行うフィルタープラグインです。 センシティブな情報なのでマスクしたい、がカラムごと削ってしまうと入力有無がわからなくて困る…あるいは JSON の一部分だけ不要なんだけど他は連携する必要がある…などの時に使えるかなと思い作りました。 README にもある通り、例えば first_name last_name gender age contact Benjamin Bell male 30 bell.benjamin_dummy@example.com Lucas Duncan male 20 lucas.duncan_dummy@example.com Elizabeth May female 25
EmbulkとDigdagとデータ分析基盤と
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールにチャットに、ブログ書いたり、コードを書いたり、 • http://qiita.com/toru-takahashi • 気づくと、社会人４年目に突入・・・ 2 3. 質問です！ • Treasure Data を 知っている人は ？ • Fluentd を 知っている人は ？ • Embulkを知っている人は？ • Digdagを聞いたことがある人は？ • インフラ / 分析基盤 を普段から運用や開発をしている人は？ • iOS / Android / Unity / フロントエンドの人は？ 3
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
Note: Embulk Meetup Tokyo #2 - Qiita
2015/12/15 メモ Embulkに足りない5つのこと by Civitaspo https://speakerdeck.com/civitaspo/embulknizu-rinai5tufalsekoto Embulkを活用したログ管理システム http://www.slideshare.net/zoetrope/embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ http://qiita.com/hiroysato/items/397f36c4838a0a93e352 あえてEmbulkを使ってログ監視すると幸せになれる状況、およびその導入事例 / Embulk Meetup Tokyo #2 https://speakerdeck.com/muziyoshiz/embulk-meetup-tokyo-number-2 digdag, a workflow
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
