第9回［最終回］ データパイプラインのためのワークフロー管理 | gihyo.jp
基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など）。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など）。今回、取り上げるパイプラインとは、広義のパイ
Luigi によるワークフロー管理 - Qiita
Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた
及川卓也氏をプロダクトマネジャーに迎えIncrementsが構想する「Qiita3.0」とは？ - エンジニアtype | 転職type
2015.12.17 ITニュース GoogleでChromeの開発などに携わったエンジニアである及川卓也氏がこのほど、技術情報共有サービス『Qiita』などを運営するIncrementsに加わった。 Microsoft、Googleと世界を舞台に活躍してきた大物技術者が、転職先として社員わずか13人のスタートアップを選んだことは、少なくない人に驚きをもって受け止められた。詳細はまだ明かせないということだが、及川氏をプロダクトマネジャーに迎えたIncrementsは、「Qiita3.0」とも呼ぶべき未来構想を描いているという。 （写真左から）この11月にIncrementsに加わった及川卓也氏と、代表取締役社長の海野弘成氏 2012年の会社創業とともにローンチした『Qiita』は、直後に1度ピボットを経験した後は、現在の「ノウハウ共有サイト」として右肩上がりの成長を遂げてきた。現在では月間
Treasure Data Update 2015 - Hadoop - Qiita
Treasure DataのHadoop Treasure Dataでは長年Hadoop1(CDH4)を使用してきましたが、太田の投稿にもあるように今年、徐々にHadoop2(HDP2)に移行してきました。Hadoop1でのユーザも残り数社となり、いよいよHadoop1とのお別れも近いこととなりました。そこでどんなことをやったかを振り返りで書いてみようと思います。 いろいろな問題発生 Plazma Treasure Dataでは既にいろんなところに既に出てはいますが、HDFSを使用せず(正確には中間処理には使用している)ストレージはPlazmaというカラムナDBを使用しています。この部分ではHiveの仕様が変わったせいもありIndex Push Downが上手く機能しないなんていう問題も起こりました。 Deadlock and Livelock Treasure Dataはマルチテナントで
ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデータ分析基盤 に引き続き、今年もドリコムのデータ分析基盤を担当しています。 分析基盤をTreasure Dataに移行 オンプレ環境の Hadoop からTreasure Data に移行しました。 また、ジョブ管理ツールやBIツールといったサーバーもAmazon EC2 に移行しており、 徐々にオンプレ環境を離れつつあります。 背景 オンプレ環境で Hadoop を運用して3年も経つと考えなければならないのが HW の寿命です。 さてどうしようかとなった時に、ほぼ迷いなく外部
OpenSTF の導入によるゲーム開発への貢献 | GREE Engineering
GREE Advent Calendar 2015 の8日目担当の @ma3tk です。QualityAssurance 部で QA エンジニアという職種をやっています。 本日も昨日に引き続き QA についてのお話です。 昨日のやまもとさんのグリーのテストエンジニアとテスト戦略という記事で、弊社の QualityAssurance 部の体制や Web ゲーム領域と新規事業領域の品質保証について言及されていますので、そちらも合わせてご覧いただけると幸いです。 さて、この記事では「多数の端末で実機テストする際に便利な社内サービスを提供していること」についてご紹介したいと思います。 その前に QA エンジニア とは何なの？ 一言で言えば、「プロダクトの生産性と品質向上に対し、技術面から支えるエンジニア」です。 ゲーム開発はここ数年でより品質の高いものを提供する必要があり、複雑化・長期化してきてい
『ネットワーク初心者の新卒がDockerでネットワークの勉強をしてみた』
こんにちは！サイバーエジェント アドテクスタジオ新卒の黒崎 (@kuro_m88) と申します。 Dynalystというチームに配属され、一人前のサーバサイドエンジニアになるべく修行をしています(｀・ω・´)最近はScalaを書くことが多くて、Sparkで大量のログを集計するバッチの開発をしています。ほぼ100%AWSで構成されているプロダクトなので業務でネットワークの運用もしませんし、構成の事を意識する事はあまりありません。 そんな中でネットワークの事が知りたくなったのは、広告の配信に関わる開発をしてみて、広告の配信の仕組み自体も技術的にめちゃくちゃ面白いんですが、それと同時に自分たちのサーバから広告が表示される端末までの間がどうなってるのか気になってしまったのがきっかけです。学んでいくにはやはり手を動かすのが一番ですよねo(((^^)))o
ビッグデータとプライバシー
インターネットが社会に登場した頃と同様に、オンライン上のプライバシーに関する議論が再び高まっています。 本書は、ビッグデータの一般化によってもたらされるプライバシーへのリスクを考えるべく、「プライバシーとはどのようなものか？」「プライバシー保護はどのように行われてきたか？」「ビッグデータによってプライバシーを侵す（侵される）のは誰か？」「我々はどのようにふるまうべきか？」といった内容を、世界の各地域における事例を多数紹介しながら概説する書籍です。 コンパクトな分量ながら豊富な実例、事例を紹介し、ビッグデータとプライバシーを考える上での良いリンク集にもなっています。なお本書はEbookのみの販売となります。 まえがき 1章 パーフェクト・ストーム 鏡（Looking Glass）の国へ ビッグデータ時代へようこそ パズルのピースから全体像へ――未来とは今のことである 広告は狼男か ビッグデー
『Flexible Blue Green Deploymentのススメ』
どうもこんにちは。@stormcat24です。前回寄稿した記事から1年半ぶりになります。 主な仕事は業務中のTwitterで、その傍らでAmebaFRESH!というサービスを絶賛開発してたりしています（この記事が公開される頃にはリリースしてるかしら？）。何かネイティブやりに意気揚々と異動してきたんですが、いつの間にかサーバサイドエンジニアになってました。まあサーバサイドといっても、自分はかなりWebオペレーション寄りなんですけど。 で、今回はFlexible Blue Green Deploymentの仕組みを作ったよっていうお話です。 そもそもBlue Green Deploymentとは Blue Green DeploymentとはImmutable Infrastructure（不変なインフラストラクチャ）思想の一貫で、サーバの内容やアプリケーションを更新したい場合に、稼働している
yahoo/fluxible による SPA + Server Rendering の概観
Single Page Application + Server Rendering yahoo/fluxible を使って、Single Page Application と Server Rendering の良いとこ取りのアーキテクチャを目指す。ある程度の複雑性と引き換えに、双方の利点で双方の欠点を打ち消し合うことができるため、全体的には良好なユーザーインタラクションを期待できる構成。 なぜ Single Page Application なのか 画面遷移時するたびにJavaScript/CSS のパースと評価をしなくて良くなる 画面遷移時のトランジションを柔軟に適用できる 画面遷移をまたがった実装が可能になる（あくまで可能になるだけ） なぜ Server Rendering するのか 初期表示の Critical Rendering Path を短縮できる SEO における保守信仰
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - yahoo/fluxible: A pluggable container for universal flux applications.
https://db-event.jpn.org/deim2015/paper/61.pdf
Photo Tourism: Microsoft Research, Interactive Visual Media Group
https://db-event.jpn.org/deim2015/paper/244.pdf
https://db-event.jpn.org/deim2015/paper/146.pdf
Ad Click Prediction: a View from the Trenches