[B! embulk] y_yukiのブックマーク

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった．データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見るはじめに目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，

y_yuki 2017/11/21

リンク

Embulkを業務システムで使った話 - 今日もプログラミング

背景自分はSIerのエンジニアである。いろいろなお客様の、いろいろな業務システムと格闘するのがお仕事である。また、今はembulk-input-jdbcとかembulk-output-jdbcのコミッタもやっている。業務システムとRDBとテキストファイル業務システムでは、たいていRDBを使っている。そして、サーバ間でデータを連携するために、RDBからテキストファイルにエクスポートしたり、テキストファイルをRDBにインポートしたりすることが結構ある。そんなときどうするかと言うと、RDB付属のツールを使うことが多い。例えば、OracleへのインポートであればSQL*Loader、MySQLへのインポートであればmysqlimport、というように。 RDB付属のツールの問題点いろいろなお客様がいて、いろいろなシステムがあるので、RDBもいろいろである。ちなみに、うちの会社で

y_yuki 2016/08/12

リンク

Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ

Digdag が Apache License 2.0 の元でオープンソース化されましたよ！さぁ試すんだ…！今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi