古橋貞之さんインタビュー - Tokyo RubyKaigi 11
17:55 Keynote 分散ワークフローエンジン『Digdag』の実装 ワークフローエンジンは、依存関係のある複数のタスクを実行するツールです。古典的なMakefileを始め、Python製のLuigi、商用のJP1/AJS3など、様々な実装があります。Digdagは、現在活発に開発が進んでいる新しいワークフローエンジンです。このセッションでは、ツリー構造を持つワークフローの状態遷移を効率的に実行する手法、ワークフローの実行状態の永続化と分散実行、タスクスケジューラ、Dockerによるサンドボックス化など、その実装手法を紹介しながらワークフローエンジンの構成技術について解説します。 必要となる知識 SQLの基本的な知識と、Rubyのリフレクション、オプティマイザなどの知識があると、より楽しめると思います。 古橋 貞之 Treasure Data, Inc. Founder & Soft
Embulk をつかって検索ログを抽出する — みんなのウェディングエンジニアリングブログ
みんなのウェディング 高井です。 先日、当社で開発した embulk-filter-query_string という Embulk のフィルタープラグインをオープンソースとしてリリースしました。今回はその Embulk のプラグインをつかって、検索ログを抽出する方法を紹介します。 Embulk のユースケースとメリット たとえば、下記のような一般的なアクセスログがあったとします。このログは、ダミーのログを生成するスクリプトで生成したもので、よく利用される Combined Log 形式のものです。 200.198.91.50 - - [09/Mar/2016:06:34:01 +0900] "POST /search/?c=Software+Games HTTP/1.1" 200 101 "/category/toys" "Mozilla/5.0 (compatible; MSIE 9.0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introduction · Digdagの基礎
