PLAZMA OSS Day: TD Tech Talk 2018
![Embulk / Presto / Sparkを用いたETL事情](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f08b166a255d8927aa394bdf5db26283f7b0ee4/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F6aefbc35087c411799cf561bf1c56fcb%2Fslide_0.jpg%3F9419733)
PLAZMA OSS Day: TD Tech Talk 2018
こんにちは、最近Embulk(エンバルク)を調べている川崎です。 タイトルの「DigDag」(ディグダグ) *1と聞いて○ァミコンや○ムコを思い浮かべた方はきっとアラサー以上ですね! 今回はEmbulkを使い始めると直面するであろう課題について書いていきたいと思います。 これまでに書いたEmbulkエントリー [Embulk] Embulkについての個人的なまとめ [Embulk] guess機能を試してみた【追記】あり [Embulk] guess機能を試してみた Redshift編 [Embulk] タイムスタンプのカラムを追加する [Embulk] タイムスタンプのカラムを追加する add_timeプラグイン編 [Embulk] guess機能を試してみた (テーブルが存在する場合) Embulkを使いはじめると... Embulkはデータファイルの中身をDBにロードするような用途で
はじめに CYBIRDエンジニア Advent Calendar 2016、今年も16日目担当の@yuichi_komatsuです。 データ分析のエンジニアをしています。 一緒に精進できる仲間も絶賛募集中です! 興味がある方はこちら!! 昨日は@sakamoto_kojiさんの「サブスクリプションのサーバサイド開発で得た知見」でした。 まさに現場で奮闘してきたからこその実用的で貴重なTipsですね! すばらしい!! では本題です。 今回のネタ 去年は「embulkとBigQueryが黄金コンビすぎる話」を書きましたが(こちらはコメントを記載する際に誤って削除してしまいました・・・すみません)、 そこに新戦力である Digdagでワークフローを組むことによってembulk、BigQueryコンビが一段とパワーアップする! という話です。 Digdagとは? 穴掘りゲームではありません。 世界
The document is comprised of technical documentation copyrighted by Recruit Marketing Partners Co., Ltd. It includes code snippets and configuration examples for tools like AWS Lambda, Kinesis, Presto, Hive, Embulk and Treasure Data. The documentation provides guidance on building data pipelines, ETL processes, and reporting solutions using these technologies.Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く