ワークフローエンジンDigdagのまとめ - Qiita
2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag (日本語) Digdag 入門 Digdagのアーキテクチャとコンセプトを理解する Treasure Workflow for ビギナー 環境構築編 digファイル書き方編 Digdag公式ドキュメントからDigdagを学ぶ
Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独
Embulkのソースコードスタイルチェック方法 (Java編) - Qiita
1 概要 EmbulkのJava関連のコードは、Prestoと同じコードスタイル(Airlift codestyle)で記述されていますした。 (Embulk本体は、v0.9からGoogle Java Styleの一部修正版が採用されています。(2018/2/8追記)) 下記の手順で、プラグインのソースコードが同じコードスタイルになっているかどうかをチェックすることができます。 Gradleの設定とIntelliJ IDEA 15 CE(OSX)、 の設定それぞれについて解説します。 ちなみに、Gradleの設定は、embulk newしたときに自動的に生成できるようにするPRを作成しました。 [Propose] Add checkstyle settings in Java plugin generator いい悪いどちらでも是非、コメントください。 プラグイン内のコードスタイルをチェッ
全文検索エンジンGroongaを使ったEmbulk導入事例 - Qiita
この記事はembulk advent calendarの6日目の記事です。 Qiitaでembulkのまとめを作っている佐藤(@hiroysato)です。 毎年11月29日のいいにくの日にに開催される全文検索エンジンGroongaの勉強会にて、全文検索エンジンGroongaにデータを投入するembulk-output-groongaの紹介をしてきました。 Groonga導入事例 Groongaについて Groongaは国産の全文検索エンジンです。全文検索機能を単体で使うだけではなく、MySQL(Mroonga)やPostgreSQL(PGroonga)に全文検索の機能を提供することができます。さらにPGroongaはJSONで格納したデータ内のすべてのテキスト値に関しても全文検索機能をサポートしています。 国産の全文検索エンジンだけあって、日本語特有の全角文字と半角文字の正規化などの機能も
過去のログをEmbulk(エンバルク)を使ってバルクロードしよう - Qiita
はじめに ここ一ヶ月ほど触ってみてたEmbulkの利用方法の一例を示します。 もっと良い方法があるかもしれません。(是非教えてください) 古橋さんをはじめとしたトレジャーデータの皆様便利なツールを作っていただきありがとうございます。 Twitterで様々な質問に答えてくださった古橋さんに感謝いたします。 2016年6月29日追記: 参照してくださっている方が多いので最新のembulkの表記に修正しました。間違いがありましたらお気軽にお問い合わせください。 動機 いろいろなログが、メールやらファイルやらで蓄積されている。 RDBやElastic Search/Kibanaに簡単に突っ込んで可視化をしたい。 Embulk良さそう。 ログをCSVやTSVにするスクリプトは自前・ネットのものがある。 想定読者 圧縮された過去のログファイルが沢山ある(今回はPostfixのログ) ログを整形して加工
Embulk(エンバルク)プラグインのまとめ - Qiita
embulk gem search embulk-filter -r 2015-05-30 18:20:50.064 +0900: Embulk v0.6.10 *** REMOTE GEMS *** embulk-filter-eval (0.1.0) embulk-filter-speedometer (0.2.2) Inputプラグイン RDBMS & NoSQL Embulk(エンバルク) データベースプラグイン覚書も参照ください。 embulk-input-mysql MySQLのテーブルからデータを取得するJDBCプラグイン embulk-input-postgresql PostgreSQLのテーブルからデータを取得するJDBCプラグイン embulk-input-jdbc JDBC用プラグイン Oracleなど接続用 Oracleは使えるはずDB2は要書き換え。 SQLit
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
