digdagのコンフィグについて（~/.config/digdag/config） - Qiita
Digdagではデフォルトのパラメータを~/.config/digdag/configに保存しています。 例えば下記のように設定しておくことで、digdag serverのendpointをデフォルトで指定できます。 client.http.endpoint = https://example.com client.http.headers.authorization = TD1 APIKEY params.td.apikey = APIKEY まず、digdag clientに設定するserverのendpointはclient.http.endpointになります。そこで認証が必要であれば、client.http.headers.authorizationなどを付与します。（TDの場合には認証が必要なのでdigdag serverに若干+αしている） また、digdagのタスクで利用す
Digdagでruby/python間で変数を渡す - Qiita
TreasureDataの新しいOSSのDigdagが先日パブリックリポジトリになりました。 今度、ゲームサーバ勉強会で初心者向けのデモとかをしようと思ったので、簡単なサンプルを紹介します。 DigdagはOperatorを利用することで様々な処理を簡単に呼べるようになっています。 http://www.digdag.io/operators.html まだ、TreasureData向けのものがまだ多いのですが、このOperatorが増えると、分析エンジンとの連携が容易になるかと思います。作り方はそのうちドキュメント化されるのではないかと思います。 さて、今回の紹介では、CSVファイルをEmbulkでPostgreSQLにロードし、Rubyで集計し、その結果をPythonに渡して、Slack通知するというワークフローです。 ワークフローの内容 下記がワークフロー全体です。 _exportで
Re:dashをつかって、Prestogres経由でTreasureDataにクエリを投げる。 - Qiita
NOTE: 現在はこちらをご利用ください。http://qiita.com/toru-takahashi/items/9f1f425a1474d1f2c6da Re:dashとは、Open Source Data Collaboration and Visualization Platformらしいです。 クエリを登録していろんなデータソースからデータを取得して可視化できるダッシュボードにできるオープンソースです。 データソースとしては、今の所下記があり、今どきのデータ分析エンジンは、可視化エンジンはついてないので、嬉しいですね。 PostgreSQL / Redshift MySQL Graphite Google BigQuery MongoDB URL Script セットアップ Google Compute EngineとAWSのテンプレートがありますが、今回はgithub上にある
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
