ここがすごいよGitLab CI #gitlabjp
sue445 2017/03/02 GitLab Meetup Tokyo #1 自己紹介 Go Sueyoshi a.k.a sue445 株式会社ドリコム 所属 インフラストラクチャー部 社内gemを中心にアプリからインフラまでだいたいサーバサイドを浅く広く見てる 今まで作った主要なものは sue445 Advent Calendar 2016 - Qiita を参照 「ドリコムのプリキュアの人」として社内外で有名 Twitterは上級者向けのアカウントなのでフォロー厳禁 GitLab関係で作ったものをいくつかピックアップ GitLab Notifier for Google Chrome™ GitLabの通知を受け取るためのChrome拡張 Jenkins GitLab Logo Plugin JenkinsにGitLabのプロジェクトのロゴを表示 gitlab_awesome_re
More Luigi alternatives
More Luigi alternatives 2015-07-02 The workflow engine battle has intensified with some more interesting entries lately! Here are a couple I encountered in the last few days. I love that at least two of them are direct references to Luigi! Airflow (Blog Post) (GitHub) Airflow from Airbnb is probably the most interesting one. I've only glanced at it, but here are some very superficial notes Seems m
JenkinsとGitHubのWebhook連携の整理
Jenkins と GitHub を連携させる Webhook について GitHub と Jenkins を連携させる機能のひとつに「Webhook」と呼ばれるものがあります。この Webhook をつかうことで、 GitHub 上で管理しているリポジトリにブランチを push したときや、新たに Pull Request を作成した時などに Jenkins のジョブを走らせるといったことができます。 しかしながら、 Jenkins や Jenkins の複数のプラグインが Webhook の機能を提供しており、どの機能がどのサービスを提供しているのかがわかりづらくなっているのが現状です。そこでこのエントリーでは、それぞれの機能でどのような特徴があり、どういった設定が必要なのかを、実際に設定を行いながら整理したいと思います。 なお使用している Jenkins のバージョンはこの記事執筆時
Getting Started — Luigi 3.6.0 documentation
Luigi is a Python (3.7, 3.8, 3.9, 3.10, 3.11, 3.12 tested) package that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization, handling failures, command line integration, and much more. Getting Started¶ Run pip install luigi to install the latest stable version from PyPI. Documentation for the latest release is hosted on readthedocs.
地味に便利なJenkinsプラグイン - Qiita
はじめに Jenkins2.0がでてPipelineのgroovyスクリプトですべてが書けると思っていた時期が僕にもありました… 最終的にはそこを目指しているのでしょうが残念ながら今現在の状態としては、個人的には一番良い使い方は条件分岐やパラメータの読み込みなんかがいいんだろうなぁとおもってます。（サーバーなんかのデプロイはpipelineで解決し思想ですが…） というわけでまだまだフリースタイルのジョブは健在なわけで…そんなフリースタイルジョブで地味に便利なプラグインをいくつか紹介したいと思います。 pre-scm-buildstep Jenkinsでgitなんかを使いたいときにgitの前に操作をしたいときがあります。 そんな時にこれを使えばgitの前の操作を指定できます。 ThinBackup 設定だけバックアップできます。 これをgitで管理しちゃうのが一番バージョニング楽だと思いま
Luigi逆引きリファレンス - Qiita
import luigi class MyTask(luigi.Task): date = luigi.DateParameter() def requires(self): return MyDependentTask(self.date) def run(self): with self.output().open('w') as output: with self.input().open('r') as input: for line in input: ret = do_something(line) output.write(ret) output.write('\n') def output(self): return luigi.LocalTarget('./out2_{0}.txt'.format(self.date.isoformat())) class MyDepen
Luigi+pytestによるテスト再実行の制御 - Qiita
AdventarのPython Advent Calendar 2015 25日目の記事です。 はじめに 本記事ではLuigiを用いたジョブパイプライン構築の簡単な実例として、Pytestのテスト再実行について記述する。 Luigiとは LuigiはPython製のジョブパイプライン構築ツールである。Luigiを用いることで、ジョブパイプライン構築に必要な以下の事柄をPythonコードで表現することができる。 タスクの実行 タスク間の依存関係 タスク実行結果の保存 HadoopやSparkのジョブ実行、データベースからの/へのデータロードなど、それなりに時間がかかるタスクを構成要素としたジョブパイプラインの構築をメインターゲットとしているようで、それらのツールと連携するためのモジュールはデフォルトでサポートされている(http://luigi.readthedocs.org/en/stab
パイプラインベースのCI/CDツール、Concourseとは？
CI/CDにおける「Jenkinsおじさん問題」を解決するConcourseとは？ 開発をリードするPivotalのエバンジェリストにインタビューし、その特徴や背景を聞いた。 モダンなソフトウェア開発においては、ウォーターフォールモデルではもう限界だと叫ばれて久しい。その理由として、「素早くソフトウェアをリリースできない」「変化に対応できない」などが挙げられる。そこで素早く開発して細かくリリースするアジャイル開発がもてはやされている。また開発と運用をひとつながりのプロセスとして素早く開発と実装を回すDevOpsも、NetflixやAmazonなどで実際に利用されていることは業界では常識だ。しかしソフトウェアの開発プロセスをもう少し詳しく見るとコーディングからビルド、テストなどのプロセスをいかに自動化するか？ の部分に大きな進展があることに気づく。いわゆる継続的インテグレーション（CI）、継
VisualStudioCodeを用いてのデバッグ | Luigi Advent Calendar 2016 #02 | DevelopersIO
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 このエントリは『Luigi Advent Calendar 2016』2日目の内容となります。 今回は開発環境を構築していきたいと思います。 先日1日目はHello Worldタスクを作ってみた でした。 前回、導入したLuigiの環境ですが、開発を進めていくうちにステップ実行したい・変数の値を確認したいといったケースがあると思います。 必要となる前に事前にそういった点を押さえておきたいと思います。 Visual Studio Code(VSCODE)を用いたLuigiのデバッグ 今回のデバッグ対象としては以下のコードを対象としました。 runの中でフィボナッチ数列を1~1000まで出力すると行った内容です。 HelloWorldTask.py import luigi import FibonacciNumber class
Jenkinsでジョブを遅れて実行させる - Qiita
JenkinsでジョブA → ジョブBの実行でジョブBの実行を遅延させたかったのでいろいろ試してみた。 方法0：[番外]ジョブ中でsleepする ジョブ中でシェルの実行などで本処理前にsleepして待つ。 シンプルだが以下のデメリットがあるためしない方が良さそう。 ジョブが実行状態になり続けて実行枠を占有する。 待機中か処理実行中か判断し辛くキャンセルしにくい。 ジョブの「ソースコード管理」機能を利用したscmの取得などは遅延できない。 これよりあとの方法だとビルドキューにつまれてビルドを待つため状態がわかりやすい。 方法1：ジョブに設定する 以下のように設定する。 「プロジェクトの高度なオプション」の「高度な設定」で待機時間(秒)を設定する ジョブの実行方法によって効く場合と効かない場合があるらしい。 ジョブをブラウザ上から直接実行する時と定期実行はその指定した瞬間に実行させたいだろうと
JenkinsおじさんのためのAWS Batch - Qiita
はじめに この記事の対象者 主にこんな感じの人をターゲットにしています。 Jenkinsでジョブを管理している AWSをcliで触るのは実は大変…。GUIでやりたい Dockerはインストールはしているけれど、あんまり触ったことが無い また、本記事執筆時点では、us-east(virginia)でのみ利用可能なので、VPCでの利用はあまり想定していません。 （VPNを繋げば出来ると思いますが…） 本来はAuto ScalingやSPOTインスタンスと組み合わせたりといろいろあるのですが、私的事情により、志は低く、過疎っているJenkinsサーバを廃止（サーバレス化）することを目標にしています。 対象のJenkinsジョブ 今回ターゲットにするのは、Jenkinsだと一般的と思われる以下の処理とします。 JDKがバージョン指定で入っている バッチ処理の入ったリポジトリをgit cloneして
Home
Apache Airflow® Apache Airflow® is a platform created by the community to programmatically author, schedule and monitor workflows. Install Airflow Scalable Apache Airflow® has a modular architecture and uses a message queue to orchestrate an arbitrary number of workers. Airflow™ is ready to scale to infinity. Dynamic Apache Airflow® pipelines are defined in Python, allowing for dynamic pipeline ge
Docker を使って Jenkins サーバーをローカルに構築する (プラグイン導入済み) | DevelopersIO
Jenkins on Docker 最近では Jenkins サーバーを Docker 上で構築するケースが増えてきています。CI 環境は、簡単に作り直したり複製したりすることができる Docker のメリットを活かせる環境であると言えます。 ということで、Docker を使って Jenkins サーバーをローカルに構築する方法をご紹介したいと思います。また Jenkins にはプラグインをインストールして使うことが多いと思うので、プラグインがインストール済みの Docker イメージをビルドする方法も併せてご紹介します。 Docker のインストール まずはローカルに Docker が実行できる環境を作りましょう。以下のドキュメントを参考にしてください。Mac では Docker Toolbox をインストールする方法と Docker for Mac をインストールする方法の2通りがあり
)
Running a Windows PowerShell Workflow
Applies To: Windows Server 2012, Windows Server 2012 R2 After setting up your Windows PowerShell Workflow environment as described in Configuring Your Workflow Environment, and authoring or finding a workflow, you are ready to start running your workflow. Running a workflow is like running any Windows PowerShell command. You can run the Get-Command cmdlet to discover workflows, and run Get-Help to
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.jenkins.io/doc/pipeline/
https://www.jenkins.io/projects/blueocean/
Pipeline Steps Reference
GitHub - treasure-data/digdag-docs: Documents for Digdag Workflow Engine
PowerShell Workflows: The Basics - Scripting Blog [archived]
非同期アクティビティ