GitHub - n8n-io/n8n: Fair-code workflow automation platform with native AI capabilities. Combine visual building with custom code, self-host or cloud, 400+ integrations.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Apache Airflow - Wikipedia
Apache Airflowは、データエンジニアリングパイプライン用のオープンソースのワークフロー管理プラットフォームである。2014年10月[1]にAirbnbで開発が始まり、ますます複雑化する社内のワークフローを管理するためのソリューションとして作られた。Airflowを開発したことで、Airbnbはワークフローをプログラムで作成・スケジュールし、組み込みのAirflowユーザーインターフェイス経由でワークフローを監視できるようになった[2][3]。プロジェクトは当初からオープンソースとして公開され、2016年3月にはApache Incubatorプロジェクトになり、2019年1月にはトップレベルのApache Software Foundationプロジェクトになった。 AirflowはPythonで書かれており、ワークフローはPythonスクリプト経由で作成される。Airflow
うちのアシスタントのしらせ君がすごいので自慢させてください。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? しらせ君 しらせ君は、弊社で働いているアシスタントです。僕の身の回りのいろいろなことをしてくれます。 しらせ君の業務一覧 メールチェック(1時間に1回) 緊急性の高いメールのSlack通知 その他のメールの既読化 ニュース報告 海外のテックニュースの収集 #randomに概要を報告 xに投稿 スケジュール管理 カレンダーの色分け 調整中予定のリマインド 会食予定の妻への通知 郵便物管理 バーチャルオフィスに届いた郵便物の画像を解析して内容を報告 議事録管理 議事録の自動保管、前回議事録のサマリー作成、次回のミーティングで通知 論文管理
Step Functions とは - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Step Functions とは を使用すると AWS Step Functions、 とも呼ばれるワークフローを作成してステートマシン、分散アプリケーションの構築、プロセスの自動化、マイクロサービスのオーケストレーション、データと機械学習パイプラインの作成を行うことができます。 Step Functions はステートマシンとタスクに基づいています。Step Functions では、ステートマシンはワークフローと呼ばれます。これは、一連のイベント駆動型ステップです。ワークフローの各ステップはステートと呼ばれます。たとえば、タスク状態は、別の AWS のサービス や API の呼び出しなど、別の AWS サービスが実行する作業単位を表します。タスクを行うワークフ
データパイプラインの管理 ～ワークフロー管理に利用できる、さまざまなAWSサービス | gihyo.jp
はじめに 本連載の第2回では様々なデータソースからの収集について、第3回では収集されたデータの管理についてそれぞれ解説してきました。今回は、それぞれのデータの収集から分析するまでの処理の流れを管理するデータパイプライン管理に着目し、求められる要素や関連するサービスとその使い分けについて解説します。 データパイプラインとETL 分析するためのデータを様々なデータソースから収集してデータレイクのような基盤で実際に分析できる状態にするまでには、一般的にいくつかのサービスや機能、処理を組み合わせて実現します。このようにデータの抽出（Extract）、変換（Transform）、ロード（Load）の一連のフロー（流れ）をETLと呼び、データソースやデータの種類ごとに異なるフロー（パイプライン）を構成する必要があります。 さらにこの処理は当然ながら自動化することが一般的です。なお、データウェア
スタートアップでもバッチワークフローの使い分けはあり Amazon MWAAからの一元管理で安心感のある運用を | ログミーBusiness
スタートアップのエンジニアの交流や知見の共有を目的とする、AWS Startup Community 主催の技術系オンラインイベント「AWS Startup Tech Meetup Online #5」。ここで、株式会社カケハシの福田氏が、「スタートアップにおけるデータ基礎バッチワークフローの変遷」をテーマに登壇。バッチワークフローの課題と、変更後の運用を紹介します。 自己紹介福田貴之氏（以下、福田）：「スタートアップにおけるデータ基礎バッチワークフローの変遷」と題して、株式会社カケハシの福田が発表します。自己紹介です。株式会社カケハシで、データ基盤のプロダクトオーナー兼エンジニアやってます。 経歴としては、2007年新卒で、某Yでモバイル向けサービス開発・運用などをやり、あとソーシャルゲームが流行っていたので、そのあたりでログ基盤を6年ぐらい見ていました。あとベンチャーをいくつかまわって
初めて触るAirflow | DevelopersIO
こ�のまま実行することもできますが、サンプルで入っているDAG (dags/tuto.py) を少しだけ修正することをお勧めします。dags/tuto.py の start_date を適当に最近の日付に修正しましょう。 default_args = { "owner": "airflow", "depends_on_past": False, "start_date": datetime(2015, 6, 1), # ここを適当に最近の日付に修正 "email": ["airflow@airflow.com"], "email_on_failure": False, "email_on_retry": False, "retries": 1, "retry_delay": timedelta(minutes=5), # 'queue': 'bash_queue', # 'pool': '
Workflow Management - Amazon Managed Workflows for Apache Airflow (MWAA) - AWS
Amazon Managed Workflows for Apache Airflow is accessible in the next generation of Amazon SageMaker Amazon Managed Workflows for Apache Airflow (MWAA) Secure and highly available managed workflow orchestration for Apache Airflow Amazon MWAA is a managed service for Apache Airflow that lets you use your current, familiar Apache Airflow platform to orchestrate your workflows. You gain improved scal
Rundeck | Modern IT Operations Management Platform | Get a Free Trial
Rundeck by PagerDuty Trusted by thousands of organizations. Enhance operations with scaled orchestration and self-service. Built on Open Source Rundeck is the orchestration tool for all of your existing automation, reducing operational overhead and improving team efficiency. Organizations can minimize downtime, enhance productivity, and drive business agility. →Job scheduling and infrastructure ma
Digdag x Luigi x Beam が協力して賢者の石を取りに行くのをやめた - Qiita
TL;DR 前任者が闇の魔法使いだったという話 Workflow Engine は混ぜるな危険 ポエムなのでコードとかない 出てくる言葉については語らないのでいくらか前提知識が必要 Prologue 「ハリー・ポッターと賢者の石」でハリー・ポッター、ロン・ウィーズリー、ハーマイオニー・グレンジャーの三人はそれぞれが役割を分担してパスを繋ぎ賢者の石へと辿り着いていました。 Workflow Engine と呼ばれるようなものはようはそういう風にタスクで処理を独立させつつ順序に従って処理するための仕組みですね。 例えば YAML ベースの Digdag とか、 Python で記述する Luigi とか、Java や Python で Cloud Dataflow (Apache Beam) とか色々あります。 私は最近 これ を使ってログを分析して賢者の石に辿り着くためのデータ分析基盤の担当
GitHub - joker1007/rukawa: Hyper simple workflow engine by concurrent-ruby
% cd rukawa/sample # load ./jobs/**/*.rb, ./job_nets/**/*.rb automatically % bundle exec rukawa run SampleJobNet -r 10 -c 10 +----------------+----------+ | Job | Status | +----------------+----------+ | Job1 | finished | | Job2 | waiting | | Job3 | waiting | | Job4 | waiting | | InnerJobNet | waiting | | InnerJob3 | waiting | | InnerJob1 | waiting | | InnerJob2 | waiting | | Job8 | waiting | | Jo
JenkinsとGitLabを連携する方法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? JenkinsとGitLabのCI/CDのための連携設定を備忘録としてまとめました。 1. GitLabプラグインのインストール JenkinsにJenkins GitLab Pluginをインストールします。 インストールは管理者権限のあるユーザでJenkinsにログインし、Jenkinsの管理→プラグインの管理→利用可能なタブを選択、GitLab Pluginにチェックをいれてインストールを実行します。 2. Jenkins側のGitLabの認証設定 JenkinsからGitLabのレポジトリやジョブの実行結果を連携するために、Je
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
n8n.io - AI workflow automation tool
AWS_ETL_services_tips_202107.pdf
Workflow86 | AI Workflow Engineer
Cloud Composer | Apache Airflow 3
Cloud Composer overview | Google Cloud
GitHub - rundeck/rundeck: Enable Self-Service Operations: Give specific users access to your existing tools, services, and scripts
Jenkins のつらみを軽減した話
luigi/test/scheduler_api_test.py at master · spotify/luigi
