Digdag x Luigi x Beam が協力して賢者の石を取りに行くのをやめた - Qiita
TL;DR 前任者が闇の魔法使いだったという話 Workflow Engine は混ぜるな危険 ポエムなのでコードとかない 出てくる言葉については語らないのでいくらか前提知識が必要 Prologue 「ハリー・ポッターと賢者の石」でハリー・ポッター、ロン・ウィーズリー、ハーマイオニー・グレンジャーの三人はそれぞれが役割を分担してパスを繋ぎ賢者の石へと辿り着いていました。 Workflow Engine と呼ばれるようなものはようはそういう風にタスクで処理を独立させつつ順序に従って処理するための仕組みですね。 例えば YAML ベースの Digdag とか、 Python で記述する Luigi とか、Java や Python で Cloud Dataflow (Apache Beam) とか色々あります。 私は最近 これ を使ってログを分析して賢者の石に辿り着くためのデータ分析基盤の担当
Digdagサーバのworkflow executor・agent - Qiita
やりたいこと http://qiita.com/pilot/items/a49e6985f1c18aa37b5c で作成した2台構成のDigdagサーバについて digdag server helpで表示される以下のオプションがどういう意味があるか知りたい --disable-executor-loop disable workflow executor loop --disable-local-agent disable local task execution Digdag 0.8.18にて (0.8.22までは同様の結果であることを確認済) 結論 即時実行の場合、セッションの開始は当該リクエスト受付号機によって行われる スケジュール実行の場合、セッションの開始はschedulerによって行われる schedulerを止めるオプションはなさそう 複数サーバ稼働時、どの号機のschedu
Jenkinsの構築それ全部自動でできるよ - Qiita
概要 Jenkinsのインストールまでは、ansible等を使って自動化されていると思いますが、その先のプラグインのインストールやジョブの設定等の作業はJenkinsのUI上からぽちぽち手動でやっている方が多いのはないのでしょうか？ Jenkinsを1台立てるだけなら手動でもいいですが、stagingとproduction用にJenkinsを複数台構築したり、他のプロジェクトでも似たような設定のJenkinsを再度構築する必要が出てくると、毎回手動で設定するのは大変です。 また、手動の場合はどのプラグインをインストールするだとか、グローバルセキュリティの設定をどうするだとかは忘れないように手順書に記載したといった作業も発生してしまいます。 誰でも同じ設定のJenkinsを簡単に構築できるようにするためには、設定も全て自動化させてしまいましょう。 Groovyスクリプトで設定を行う Jenk
Deis Workflow (v2)がWebSocket対応であることの確認 - Qiita
Heroku もかつては使えなかった WebSocket。Deis も v1 の最初期は使えなかったようだが、比較的早い時期にパッチが当たったらしい1。 さて、Deis は v2 になって、下層が Fleet から K8s へ変更になった。 しかし、PaaS を構成するコンテナ群には大きな変更はなく、同様に WebSocket 対応されているはず。 でも、未確認で作業を始めたあとに「実は未対応でした」となると手戻りが大きいので、試してみる。 結論から言うと、対応している。 作業ログは下記の通り。 (Heroku で Websockets with Node.js をはじめるためのメモ を参考にした。) $ git clone https://github.com/heroku-examples/node-ws-test.git Cloning into 'node-ws-test'...
Resetting your password in Deis Workflow - Qiita
v1 or v2 ? This article is written for Workflow (v2). But you can reset your password in Deis(v1) by almost same procedure. case: you are not an administrator Ask your administrator to exec deis auth:passwd --user {your_account} case: you are the one and only administrator Ssh into your kube-master node and exec manage.py in the controller. $ kubectl exec --namespace=deis -it deis-controller-35680
Windows 版 Deis Workflow CLI は SourceTree との併用がオススメ - Qiita
前口上 別記事 で Windows への Deis Workflow CLI のインストールからアカウント作成までを説明しましたが，いざ deis create コマンドを用いてアプリケーションを作ろうとすると，例外が発生してしまいます。 これは，アプリケーションの作成時に deis.exe を git.exe remote を実行しようとしているためです。 MsysGit など用いて git.exe をインストールすれば済む話ですが，よりお手軽な方法として，Atlassian SourceTree を用いる方法があります。 SourceTree がどんなソフトでどのようにインストールするのかといった細かいことは割愛します。ググると山のように出てきます。 筋書き hello-deis という Web アプリケーションのデプロイを想定します。 SourceTree のインストール 難しいこと
Deis Workflow を Azure にデプロイするときには，vhd 用のストレージアカウントを流用してはいけない。 - Qiita
Deis Workflow を Azure にデプロイするときには，vhd 用のストレージアカウントを流用してはいけない。Azuredeiskubernetes 最近になって，Deis Workflow (以下，単に Workflow)を Azure にデプロイするための公式文書が出たようなので，その通りにやっていれば失敗しないはずなのだけれども。 自前でやりたい人，または自前でやった結果，イマイチなレスポンスになっている人のためのメモ。 タイトルは Workflow だけれども，Kubernetes (K8s) 一般でも成り立つかもしれない。 言いたいことは，タイトルで言い尽くしている。 Azure での K8s 一般論 K8s 一般論として，起動時/再起動時には，OS がマウントしている vhd は， OS の起動処理や K8s 関連のコンテナのアクセスが集中して，ストレージアカウント
WerckerCliが便利だった - Qiita
werckerはcliツールを提供している模様。 http://devcenter.wercker.com/docs/using-the-cli/index.html これが何をしてくれるツールかというと、 local環境でwercker.ymlのタスクを実行してくれるという代物。 従来のCIツールは*.ymlを作って試しにデプロイしてみて失敗したらSSHでそのコンテナに入って調べるだとか、 ひたすらCIを回して原因を調べていくとかかなり面倒な作業が必要だったりするんだけど、 wercker cliを使えばローカル環境で、wercker上でCIが回るのと同じ感じでタスクを実行してくれる。 インストール（Macのみ） wercker cliはローカルでdockerコンテナを起動しているので、dockerをインストールする必要があります。 brewでboot2dockerをインストールします。
Ruby製のシンプルなワークフローエンジンRukawaの紹介 - Qiita
Bigqueryを使ったバッチジョブを色々と実行しているのですが、Rakeで複雑な依存関係を管理したり、並列実行させたりするのが辛くなってきたのでRukawaというワークフローエンジンを自作しました。 自作したのは、RailsプロダクトにAirflowとかLuigiとかAzkabanとか入れるにはちょっと重厚過ぎる感じだったのと、Rubyで書ける方が楽で良いやという理由からです。 RukawaとはRUby KAntan Workflow Assistantの略です(後付け) (本当はミッチーとか水戸の方が好きなんだけど良い名前が浮かばなかった) 実際は、並列実行を可能にして書き方を変えてみたRakeとそんなに大差無い。 Rukawaの機能 ジョブの定義 まず実行したい処理をジョブクラスに記述します。 module ExecuteLog def self.store @store ||= {
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
