新 GitHub Actions 入門 - 生産性向上ブログ
github.blog GitHub Actions の新バージョンが 8/8 に発表されました。 www.kaizenprogrammer.com 自分は過去にも旧バージョン時に GitHub Actions の入門記事を書いていたのですが、新バージョンがこれまでと大きく変わってしまっているので、この記事ではあらためて GitHub Actions についていろいろ調べたり動かしてみたりした内容をまとめます。 目次 注意事項 GitHub Actions とは これまでの GitHub Actions とどこが変わったか コンセプト マルチプラットフォーム対応 HCL から YAML へ 料金 その他 GitHub Actions と Azure Pipelines 簡単な例 (Hello, World) ワークフローの設定 ワークフローとは ワークフローを実行するイベント ワークフロー
SciPipe Docs
Introduction Introduction Installing Basic Concepts Writing Workflows Topical How-Tos Settings Examples Video tutorials Other Resources Acknowledgements Related Tools Contributing Robust, flexible and resource-efficient pipelines using Go and the commandline Why SciPipe? Intuitive: SciPipe works by flowing data through a network of channels and processes Flexible: Wrapped command-line programs can
Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita
データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ
Digdag - Open Source Workflow Engine for the Multi-Cloud Era
Digdag is a simple tool that helps you to build, run, schedule, and monitor complex pipelines of tasks. It handles dependency resolution so that tasks run in series or in parallel. Digdag replaces cron, facilitates IT operations automation, orchestrates data engineering tasks, coordinates machine learning pipelines, and more.
Home
Apache Airflow™ Airflow™ is a platform created by the community to programmatically author, schedule and monitor workflows. Install Airflow™ Scalable Airflow™ has a modular architecture and uses a message queue to orchestrate an arbitrary number of workers. Airflow™ is ready to scale to infinity. Dynamic Airflow™ pipelines are defined in Python, allowing for dynamic pipeline generation. This allow
Workflow Hacks! #1｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 ワークフローをプログラミングしてビッグデータ処理に挑む人（または、これから挑戦しようとする人）のための集まりです。ビッグデータという言葉が指すものには、データの大きさ(volume)、扱うデータの種類(variety)の多さ、解析の多様性(big/small analytics)、処理に要求されるスピード(velocity)など多様な意味が含まれます。このいずれかの要素が加わるだけで問題が途端に難しくなり、正しくワークフローを記述する、デバッグする、期日までに処理を終えるなどが困難になってきます。今回はゲストにビジネス、アカデミアの分野でビッグデータ処理の最前線で活躍されている神林氏、笠原氏、古橋氏をお招きし、Hadoop, Spark, スパコンなどでビッグデータを扱う現場の苦労や、その問題にワークフローを使ってどう立ち向かっているのかなど、貴重な経験についてお話ししていただきます
Luigi によるワークフロー管理 - Qiita
Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた
workflow-plugin/README.md at master · jenkinsci/workflow-plugin · GitHub
Docker image for workflow demo This container includes Jenkins with workflow plugin and Jetty to demonstrate a continuous delivery pipeline of Java web application. It highlights key parts of the workflow plugin: Run it like: docker run -p 8080:8080 -p 8081:8081 -p 8022:22 -ti jenkinsci/workflow-demo Jenkins runs on port 8081, and Jetty runs on port 8080. Note: If using boot2docker, you will need
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
