はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに Digdagのサーバは、H2(Java組み込みデータベース)やPostgreSQL内にプロジェクトなどの情報を格納することができる。 Digdagのサーバの設定は次の三つの場所に格納できる(ようだ) H2オンメモリ H2パス指定 (組み込みJavaのデータベースでパスを指定して永続化) PostgreSQL 設定ファイルの形式 サーバの設定はJavaのシステムプロパティ形式で記述する(参考)。key = valueという形式です。 将来的にはHOCON形式で記述できるようになるかもしれないとのこと。use HOCON configuration format :で区切った形式でも大丈夫なようですが(参考)、各種サイトを見ると=で書いているほうが多いので、=で統一することにしました。 H2オンメモリの場合 digdag scheduler -mとすれば良いようだ。(参考) オンメモ

はじめに Digdagで定期実行するプロジェクトを作ってみました。 (表記ゆれというか用語間違いがあるかもしれませんのでお気づきの際はご指摘ください) 疑問 誰か教えてください。 セッションとアテンプトの違い？ 1回のセッションで実行されたそれぞれのタスクの実行結果は確認できるのか？ 現在はスケジューラを停止すると結果が消えてしまうが、結果を永続化するにはどうすれば良いか？(PostgreSQLを使う？H2でも永続化可能) スケジューラはスケジューラだけさせて別プロセス(別ホスト)でタスクを実行するには？ プロジェクトの作成 foo.digを作成します。1分毎に現在時刻を表示します。その後"Hello"と出力します。 digdag scheduler 2016-06-18 11:09:36 +0900: Digdag v0.8.2 2016-06-18 11:09:38 +0900 [IN

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digda

1 概要 EmbulkのJava関連のコードは、Prestoと同じコードスタイル(Airlift codestyle)で記述されていますした。 (Embulk本体は、v0.9からGoogle Java Styleの一部修正版が採用されています。(2018/2/8追記)) 下記の手順で、プラグインのソースコードが同じコードスタイルになっているかどうかをチェックすることができます。 Gradleの設定とIntelliJ IDEA 15 CE(OSX)、 の設定それぞれについて解説します。 ちなみに、Gradleの設定は、embulk newしたときに自動的に生成できるようにするPRを作成しました。 [Propose] Add checkstyle settings in Java plugin generator いい悪いどちらでも是非、コメントください。 プラグイン内のコードスタイルをチェッ

processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 62 model name : Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz stepping : 4 microcode : 0x428 cpu MHz : 2100.000 cache size : 15360 KB physical id : 0 siblings : 12 core id : 0 cpu cores : 6 apicid : 0 initial apicid : 0 fpu : yes fpu_exception : yes cpuid level : 13 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca c

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

1.Xと2.xで互換性が無いのは、2.0になってJavaのAPIが大きく変わり、下位互換性が失われたためです。 2016/03/08 追加 embulk-output-elasticsearchはAWS ESには未対応です。 @nora96o @matetsu さんの先のツイートで書かれてる通りで、embulk-output-elasticsearchはTransport Client使ってるんですが、AWS ESで使えないので繋がらないです。。 https://t.co/5jKHbNzCdj — oreradio (@oreradio) 2016年3月8日 以下は古いまとめです。 まとめ embulk-output-elasticsearch 0.1.8はElasticsearch 2.X系に接続できません。 elasticsearchは1.Xを使いましょう もし諸般の事情でelasti

この記事はembulk advent calendarの6日目の記事です。 Qiitaでembulkのまとめを作っている佐藤(@hiroysato)です。 毎年11月29日のいいにくの日にに開催される全文検索エンジンGroongaの勉強会にて、全文検索エンジンGroongaにデータを投入するembulk-output-groongaの紹介をしてきました。 Groonga導入事例 Groongaについて Groongaは国産の全文検索エンジンです。全文検索機能を単体で使うだけではなく、MySQL(Mroonga)やPostgreSQL(PGroonga)に全文検索の機能を提供することができます。さらにPGroongaはJSONで格納したデータ内のすべてのテキスト値に関しても全文検索機能をサポートしています。 国産の全文検索エンジンだけあって、日本語特有の全角文字と半角文字の正規化などの機能も

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

テーブルの名前をちょっとだけ変えてcreate tableしたりデータをinsert intoすることがしたくなり、なにか良いツールはあるかな？と探していたところ、Cookpadの青木さんが「たべみる」で使われているbricolageを見つけました。 不思議と使ったという情報がみつからず、使用した記録をまとめました。 bricolageの利用例など是非教えてください。 参照サイト 巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 GitHub Wiki 試した環境 OS: OSX 10.11.1 Ruby: 2.2.3 PostgreSQL: 9.4.5 MariaDB: 10.0.21 導入 PostgreSQLとMySQL(mariadb)等が必要になるようなので事前に導入しておきます。 本体はgem install bricolageで導入できます。

Embulk v0.8.3 Usage: embulk [-vm-options] <command> [--options] Commands: mkbundle <directory> # create a new plugin bundle environment. bundle [directory] # update a plugin bundle environment. run <config.yml> # run a bulk load transaction. cleanup <config.yml> # cleanup resume state. preview <config.yml> # dry-run the bulk load without output and show preview. guess <partial-config.yml> -o <outp

まとめ Embulkの設定ファイルの中で同じ設定をしている部分を別ファイルにすることができます。 別のファイルにする設定ファイルは、_テンプレート名.yml.liquidという名前にします。 別の設定ファイルは、設定ファイルと同じディレクトリが起点ディレクトリになります。 読み込む設定ファイルは、サブディレクトリを作ることはできますが、親ディレクトリを..を使って参照することはできません。(セキュリティに関する配慮) 読み込み時に変数を設定することもできます。 include先のファイル名にハイフンは使えません。(理由は調査中) 動機 Embulkを利用する頻度が増えてくる場合、次のような問題が生じます。 同じ設定内容を、複数のYAMLファイルに記述しなければいけない。 設定ファイルが肥大化して管理するのが大変だ この問題は、Embulkに搭載されているテンプレートエンジンLiquidの機

はじめに ここ一ヶ月ほど触ってみてたEmbulkの利用方法の一例を示します。 もっと良い方法があるかもしれません。(是非教えてください) 古橋さんをはじめとしたトレジャーデータの皆様便利なツールを作っていただきありがとうございます。 Twitterで様々な質問に答えてくださった古橋さんに感謝いたします。 2016年6月29日追記: 参照してくださっている方が多いので最新のembulkの表記に修正しました。間違いがありましたらお気軽にお問い合わせください。 動機 いろいろなログが、メールやらファイルやらで蓄積されている。 RDBやElastic Search/Kibanaに簡単に突っ込んで可視化をしたい。 Embulk良さそう。 ログをCSVやTSVにするスクリプトは自前・ネットのものがある。 想定読者 圧縮された過去のログファイルが沢山ある(今回はPostfixのログ) ログを整形して加工

List<String> columnNames = task.getColumns(); ImmutableList.Builder<Column> builder = ImmutableList.builder(); int i = 0; for (String columnName : columnNames) { for (Column inputColumn: inputSchema.getColumns()) { if (inputColumn.getName().equals(columnName)) { Column outputColumn = new Column(i++, columnName, inputColumn.getType()); builder.add(outputColumn); break; } } } Schema outputSchema = n

Embulkプラグインのまとめページです。 以前Fluentdのバッチ版Embulk(エンバルク)のまとめ に掲載していたプラグインに関する記事を別ページにしました。 プラグインの一覧は、公式なものがList of Plugins by Category にあります。 こちらのページは、GitHubのスターの多い順ダウンロード数が多い順に並ぶようになっています。 本ページは各プラグインをできるだけ用途別に分類したり、作者の方が作成したプラグインの解説ページなどのURLを追記しています。 組み込みプラグインの説明 embulk本体を入れると利用できるプラグインの解説です。 Embulk組み込みプラグインの設定覚え書き 様々なプラグイン(0.4.0)以降 Embulk 0.4.0リリースで、プラグイン構造が代わり新しいgemは、Embulk-{Input|Output|Filter|Parse

% embulk run test.yml 2015-07-24 17:51:36.258 +0900: Embulk v0.6.19 LoadError: load error: embulk/parser/apache-log -- java.lang.UnsupportedClassVersionError: org/embulk/parser/ApacheLogParserPlugin : Unsupported major.minor version 52.0 require at org/jruby/RubyKernel.java:1071 require at /path/to/embulk/bin/embulk!/META-INF/jruby.home/lib/ruby/shared/rubygems/core_ext/kernel_require.rb:135 requi

Embulk組み込みプラグインの設定覚え書き その他の情報はFluentdのバッチ版Embulkのまとめをご覧ください。 Embulkには組み込みでいくつかのプラグインが用意されています。この資料ではEmbukの基本的な概念を説明したのち、組み込みのプラグインについて解説をおこないます。 詳細は、オフィシャルのマニュアルを参照してください。Configuration (英語) 1, レコード、カラム、そして型 Embulkは、内部でデータをレコードとして取り扱いします。 レコードは、複数のカラムから構成されるデータ1件のことを表します。 例えば住所録では、人1名の情報がレコードです。1名の情報には、氏名や 年齢といったその人固有の情報があります。この固有の情報一つ一つが カラムです。それぞれのカラムには型があります。姓や名であれば文字列、 年齢であれば数字(整数)、生年月日であれば日付(日

Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独