2016/09/22更新 対応バージョン: 2.6.9 ジョブコントローラRundeckは今まで煩雑になりがちだったcronに代表されるUNIXにおける定形処理を統合的に管理してくれるサービスで、多重実行の制御、処理結果の保存、エラー時の処理やジョブ間の連携、メールやWebhookによる通知など様々な機能が提供されている。 リモートホストに対するジョブ実行に対してもエージェントのインストールが不要なため(要SSH接続)、複数ホストにまたがるジョブの管理が容易になる。 またWebのUIが用意されているので直感的なジョブの定義や操作が可能で、スケジューリングにcrontab形式が使用できることによりcronからの移行もスムーズに行える。 ここではこのRundeckをUbuntuに導入する手順を示す。 インストール RundeckはJavaで書かれているのでまずJavaの実行環境をインストールす
Rundeck: プラグインの導入方法(& Amazon S3プラグイン導入を試してみる) | DevelopersIO
Rundeckでは、プラグインの形で様々な機能を追加する事が出来ます。そこで当エントリでは現在公開されているプラグインの1つであるs3関連のプラグインを実際に導入してみて、その手順について確認してみたいと思います。 プラグイン 目次 プラグイン導入の基本的な流れ 事前準備: Gradleのインストール プラグイン導入実践: rundeck-s3-log-plugin 動作確認: rundeck-s3-log-plugin まとめ プラグイン導入の基本的な流れ Rundeckでプラグインの導入を行なう際は、基本的に以下の手順を踏んで行きます。 プラグインに関するファイル一式を入手 プラグインファイルのビルドを行ない、ビルドされたjarファイルを所定のパスにデプロイ プラグインに関する設定 事前準備: Gradleのインストール プラグインのビルドを行なう際はGradleを用いる必要があります
サービスの内製化をするにはチームの技術力が必要です。 Python/Djangoでの開発、Docker, Ansibleでの運用、NewRelic、Sentry、Rundeckでの監視など、最大限技術を活用したサービス構築を目指しています。 技術面でもまた、たくさんの課題があります。 どんな技術を使えばいいの? どんなアーキテクチャにすればいいの? どう技術を取得していけば良いの? 事例を中心に、技術の取得、活用方法を紹介します。
Rundeck ドキュメント (2.1.1)
Published: May 1 2014, 20:17 EDTRundeck が初めての方は、ユーザー向けマニュアルから始めましょうRundeck の詳細についてはこちら：rundeck.org.
ansible/CHANGELOG.md at devel · ansible/ansible · GitHub
Ansible Changes By Release 2.6 "Heartbreaker" - ACTIVE DEVELOPMENT Porting Guide Major Changes Deprecations (to be removed in 2.10) See Porting Guide for more information Minor Changes Removed restriction from protocol in cloudflare_dns module to allow other protocols than tcp and udp to be specified. Ansible 2.6 and onwards, target_id parameter in vmware_target_canonical_facts module is an option
はじめに こんにちは。クックパッドレシピサービス開発部の宮崎（HN：どや）です。 私は2021年新卒としてクックパッドに入社し、そろそろ１年が経とうとしています。時の流れははやいですね。 さて、表題にも記しましたが、去年の末に新しくサーバーサイドのアプリケーションを作成しました。 クックパッドではサービスメッシュを用いたマイクロサービスアーキテクチャを採用しており、ドメインやチームに応じてアプリケーションが小さく分割されています。今回、クックパッドで利用されるマイクロサービスの１つとして、新しいアプリケーションサーバーを立ち上げました。 社内のマイクロサービスの状況については以下の記事が詳しいので、ぜひ読んでみてください。 techlife.cookpad.com 「アプリケーションサーバーを立ち上げる」と一口に言っても、新しいアプリケーションを作るのは意外と大変です。そもそも、新しいアプ
GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines
Activepieces - Open source no-code business automation, alternative to Zapier Airflow - Python-based platform for running directed acyclic graphs (DAGs) of tasks Argo Workflows - Open source container-native workflow engine for getting work done on Kubernetes Arvados - Open Source data and workflow management platform with emphasis on reproducibily, scale, and secure data sharing, deployable on cl
今回のソリューション：【Rundeck】 Webサービスではユーザーに見えている画面以外にも、裏側で定期的に実行されるバッチ処理が必要となることが多い。 Linuxに付属するcronを使うのが一般的だが、より複雑なジョブを実行することや、管理を簡単にすることを目的として別のツールを使用することもできる。OSSで公開されている「Rundeck」もそのひとつだ。 「世界を祭り化する」というミッションを掲げる株式会社マツリカでは、自社サービス 「Senses」の運用にRundeckを導入している。 7名ほどのエンジニアで構成されるSensesの開発・運用チームに最適な「気軽さ」が導入の決め手だと語る、進藤 寿雄さんにお話を伺った。 現場の営業パーソンの活動を助けるSFA「Senses」を開発 私は新卒でSIerに入り、そこでサーバー管理を中心にシステム開発をしていました。その後、豆蔵という会社に
こんにちは、記事の更新頻度が安定しません。 Rundeckの記事を書くことを今季の目標としてしまったために(勝手に)追い詰められながら記事を書いています。 まぁやるからにはちゃんと書きます。Rundeckは機能が多いから時間がかかるのは仕方ないでしょう？俺は悪くない。 infoこの記事はRundeckの概要・用語・主な使い方について書きます。内容はリファレンスっぽい感じに仕上がっているので実際に使いながら参照することをオススメします。DockerでRundeckをちょっとだけ試してみたかった でセットアップできます。この記事はRundeck 2.5.3 を使用しており、バージョンによっては動作が異なる可能性があります。概要Rundeckは一言で言うと「すごいcron」です(ドドーン hirokiky氏 や shimizukawa氏 の発表でもそう言っていたからいいよね？ 少しだけ補足します
この記事は一休.comアドベントカレンダー2018の9日目です。 qiita.com 導入編に続き、運用編です。 ここ2年間 Rundeckを運用してきて発生したトラブルとその対処について書きます。 ※この記事で言及するRundeckはバージョン2.6.9です。 トラブルはふたつありました。 データベースが高負荷になり動作が不安定になった なぜかジョブが起動しない データベースが高負荷になり動作が不安定になった 原因は複数ありました。 データベース(AWS RDS)のインスタンスタイプが小さすぎた 完全にサイジングのミスでした。動作確認で複数のジョブを大量に動かしたときでも、t2.smallのインスタンスで十分に動作したので、t2.smallで大丈夫だろうと、そのまま本番導入したのですが、運用開始して2ヶ月くらいで、高負荷になりました。速やかにt2.mediumにスペックアップしました。
![Rundeck in practice [運用編] - 一休.com Developers Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/92cef1dac6c0d2346a847bad881eabcd85b2e0da/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F6653586347153895035%2F10257846132682037753%2F1544320204)
KomercoとFirebaseの話【後編】 - Firebase運用の仕組化 - クックパッド開発者ブログ
Komercoの高橋です。 昨日は前編でFirestoreの設計パターンについてお話しましたが、後編はFirebase運用の仕組化についてです。 前の記事でも述べたように、昨年はWeb版のリリースや送料無料イベントもあり、ユーザ数がさらに増加してきています。 サービス規模が大きくなるにつれて運用コストも大きくなり、その効率化も求められるようになってきました。 ここではKomercoで行っている、運用に関する仕組みについてご紹介します。 Komercoの構成 まず前提としてKomercoの構成について簡単にご紹介します。 Komercoは器や料理道具、食材や調味料を扱うECサービスで、商品の販売者から直接購入ができるC2Cサービスとなっています。 商品を購入するユーザを「カスタマー」、販売するユーザを「クリエイター」と呼んでいます。 Komercoではこのカスタマー、クリエイターそれぞれに対
最新インフラエンジニア技術勉強～Fluentd, Elasticsearch,Chefの実践実例～ - Qiita
ドリコムのInfrastructure as Code Rubyエンジニアが多いからchef使ってる 100台超えたあたりからCouchDBに限界になってボトルネックになったからChef-solo使ってる。 Foodcritic Serverspec Rundeck Winning the metrics battle Cactiが乱立。スケールアウト出来ない。 理想の監視ツールがなかったのでMineっていう監視ツールを開発した Graphite REST-API push型・・・zabbixと一緒かな Collectd・・・Graphiteに情報をプッシュするミドルウェア Fluentd プラグイン開発講座 leftronic(可視化サービス) fluent-plugin-mysql-replicator MySQLと組み合わせて始める全文検索エンジン「elasticsearch」 RD
(Photo by:Your Best Digs) サーバー管理や比較的規模の小さいシステムでのジョブ管理にcronを利用した事がある方も多いと思います。 cronはLinux環境であれば汎用的に利用できて便利ですが、少し込み入ったバッチ処理や重たい処理を行うケースが増えてくると物足りなさを感じてくると思います。 この記事ではオープンソースで開発されているcronの代替えとなるジョブスケジューラーを紹介します。 Jobber URL：http://dshearer.github.io/jobber/ , https://github.com/dshearer/jobber ライセンス：MIT Jobber はcronに洗練されたステータスレポートとエラーハンドリングを追加したcronの代替えとして利用できます。Go言語で開発されています。 cronではcrontabでジョブの実行タイミング
この記事は【その1】ドリコム Advent Calendar 2015の15日目になります。 【その1】ドリコム Advent Calendar 2015の14日目はackaleenさんの転職して一年で感じたことです。 【その2】ドリコム Advent Calendar 2015の14日目はテラさんの絵について思ったことです。 自己紹介 ID: hiracy とか y05_netと呼ばれたり自称してます。 インフラエンジニアやってます。 去年のAdvent Calendar サーバが増えた時にインフラ担当者がやってきたこと 過去発表したスライド ドリコムのInfrastructure as Code インフラ自動化とテストについて Rundeckとは？ ChefやAnsibleのような、サーバの構成を管理するツールです。 公式ページ：rundeck.org 構成管理ツールの特徴として以下の
This document proposes a sketch-based box-covering algorithm to efficiently analyze the fractality of massive graphs. It summarizes that some real-world networks have been found to be fractal in nature, but existing algorithms for determining fractality are too slow for large networks. The proposed method uses min-hash to represent boxes implicitly and solves the box-covering problem efficiently i
yosukepさん、sisidovskiさん、sugimoto1981さん、makogaさんと日経新聞電子版、Fastly、App Engine、PWA、パフォーマンス測定などについて話しました。 経済、株価、ビジネス、政治のニュース:日経電子版 r.nikkei.com Blog — HACK The Nikkei Web SQL Database 日経電子版の“爆速化”を内製で成し遂げた精鋭チームとその手法、効果指標について - ITmedia マーケティング 日経電子版 開発内製化の取り組み / nikkei web development 2015 - Speaker Deck 日経、ＦＴ買収を完了 経済メディアで世界最大に ：日本経済新聞 Andrew Betts | Principal developer advocate at Fastly and member of W3
Rundeckインストールと設定メモ - Qiita
はじめに 『Rundeck』とは、オープンソースなジョブ管理ソフトウェアです。 GUIやAPIを介してジョブの作成、実行、管理、スケジューリングを行うことができます。 仕事では、主に基幹DBからRedshiftへのデータインテグレーションを目的に、『Talend Open Sutudio』と併用して運用しています。 ※2017/08/31 追記 CentOS7版＆自動セットアップスクリプトを投稿しました。 前提条件 CentOS 6.5上にインストールします。 Rundeckのホスト名は"rundeck.example.jp"、IPアドレスは"192.168.1.100"と想定します。 バックエンドDBをデフォルトのH2 DatabaseからMariaDBに変更します。またMariaDBはRundeckと同一サーバで稼働しているものとします。 アクセスURLにポート番号(4440)を省略で
巨人でない我々のためのバッチ処理基盤
Base of Batch Processes For Not Big Player @joker1007 (Repro inc. CTO) self.inspect @joker1007 Repro inc. (newbie) CTO Rails/JS/Docker/ECS/terraform/Spark/Bigquery/fluentd/embulk https://repro.io/ My gems, or My contributions activerecord-cause yaml_vault activemodel-associations emrakul rukawa ← Talk about this fluent-plugin-bigquery We're seriously hiring now Complexity of Batch process is getti
複数台のサーバに対して、SSH経由でコマンドを並列実行するためのツールのまとめです。たくさんのサーバを一度に操作したい、そんなときに便利なツールの紹介です。 CUI(コマンド)系 parallel-ssh (pssh) http://code.google.com/p/parallel-ssh/ Fabric http://www.fabfile.org/ Ansible http://www.ansible.com/ GUI(ブラウザ)系 Jenkins https://jenkins-ci.org/ Rundeck http://rundeck.org/ ライブラリ net-ssh https://github.com/net-ssh/net-ssh 各ツールの特徴 客観的なツール紹介はGoogleとかで検索した方がより正確なので、ここでは主観的な使ってみた感想で紹介します。 para
OSSのジョブ管理ツール『Rundeck』ではスクリプトファイルを読みこませる事でその内容をジョブのステップの1つとする事が出来ます。当エントリではその手順についてご紹介したいと思います。 Rundeck ｜ 特集カテゴリー ｜ Developers.IO もくじ Rundeck環境導入のEC2サーバに配備したスクリプトファイルを読み込んで実行 S3に配置したスクリプトファイルを読み込んで実行 まとめ Rundeck環境導入のEC2サーバに配備したスクリプトファイルを読み込んで実行 まずこちらで紹介するのが、Rundeckを導入した環境(EC2)配下にプログラムを配備し、そのファイルを読み込んで実行させるというものです。EC2(Amazon Linux)インスタンス上にRundeckサーバを導入するのは以前のエントリでご紹介しました。ここではその環境下で今回説明する手順を進めるという想定で
consulを使った冗長なcronツール"cronsul"を試す - tjinjin's blog
About 最近cron辛いなーと思っていて、じゃあ使ったことのあるRundeckなのかと思うのですが、冗長性をどう担保しようかなーと悩んでいました。たまたまgithub眺めていたら面白そうなものを見つけたので試してみます！ 解決したいこと 定時にジョブを実行させたい どのサーバで動くかは重要ではなくて、とにかく定期実行させたい（冗長性） disposalなサーバにしたいので、サーバ特有の設定をなるたけ排除したい cronsulとは GitHub - EvanKrall/cronsul: Runs periodic jobs somewhere on a cluster... sorta cron + consul = cronsulということだと思うのですが、その名の通りcronをconsulで制御します。 仕組みとしてはいたって簡単です 1. consulクラスタ上で同じcronを定期
Introducing Bolt
Last August we introduced Winston, our event driven diagnostic and remediation platform. Winston helps orchestrate diagnostic and remediation actions from the outside. As part of that orchestration, there are multiple actions that need to be performed at an AWS instance(vm) level to collect data or take mitigation steps. We would like to discuss a supporting service called Bolt that helps with ins
Terraformのインストールと使い方(基礎編)
この記事では、インフラストラクチャ構成管理ツールであるTerraformのインストール方法と、基本となる使い方をAWSのネットワーク構築を例に紹介します。会社で書いた 記事 をベースに改めてリライトしてました。 ■ Terraformとは コードからインフラリソースを作成する・コードでインフラを管理するためのツール AWS, GCP, Azure, DigitalOcean といったクラウドプロバイダや DNSimple, Mailgun, Rundeckを含む多くのSaaSに幅広く対応 ■ Infrastructure as Codeの実践によるメリットとは ここで、近年のインフラ管理手法として常識となりつつあるInfrastructure as Codeという言葉について考えてみます。文字通りインフラレイヤのコンポーネントをアプリケーションと同じようにコード化、管理する手法を指す言葉で
（超メモ）Rundeck を API で操作する（API 経由でジョブを実行する） - ようへいの日々精進XP
おはげようございます。 tl;dr Rundeck を API で操作するシリーズ第一弾。いつまで続くか解らないけど、第一弾は API 経由でジョブ実行。 提供（参考） API Reference | Version 13 この記事は API Reference | Version 13 の提供でお送りいたします。 メモ 所感 ざっと見た感じ WebUI 上の操作が全部出来そう 各エンドポイントで XML 又は JSON でレスポンスが得られる（但し、XML のみのレスポンスとなるエンドポイントもある） JSON でレスポンスを得たい場合にはリクエストヘッダに Content-Type: application/json を指定すれば良さそう（試せてない） 認証 認証はトークン認証とパスワード認証がある。どちらを選ぶかはお好みで...と言いたいところだけど、パスワード認証を利用する場合には
CentOS 7にいろいろなシステムと連携できるジョブスケジューラー『Rundeck』をインストールする | 俺的備忘録 〜なんかいろいろ〜
ジョブスケジューラーについていろいろと物色しているのだが、最近であればやはりRundeckは触っといたほうがいいだろうと思ったのでCentOS 7に入れていじってみることにする。 「Rundeck」は、Webベースのインターフェイスを持つ軽量なエージェントレス(ssh接続)のジョブスケジューラーだ。また、プラグインなどを用いて他のシステムと連携して、特定のログなどをトリガーにジョブをキックさせることもできる(この辺はStackStormのほうが対応数が多いっぽい。その他Apache NifiとかHugginとかのIFTTTに影響を受けたプロジェクトのほうが強いかも？)。 ジョブの記述もcronと同じように記述できるので手軽なようだ。一応、ジョブネットも作成可能らしい。 とりあえず、まずはインストールをしてみよう。 インストール先にはCentOS 7を用いる。なお、お試しなので冗長化はせず、
ウィスキー、シガー、パイプをこよなく愛する（最近ビールへ浮気が多い）大栗です。 2016年6月18日に開催された第五回ゲームサーバ勉強会に参加してきたので、レポートしたいと思います。個人的にはDigdagに興味があり、githubへの公開後初のセッションの様だったので参加してみました。 EmbulkやDigdagのお話 Treasure Data Support Engineering ManagerのToru Takahashi（@nora96o）さん はじめに 〜 データ分析基盤について 〜 オンラインゲームシステムとデータ分析基盤の関わり データ分析基盤をなぜ必要なのか？ 現状を知る データ分析の流れをスムーズに行う データの民主化 データ分析処理エンジンと様々なマーケティング施策サービスとの連携が大きな役割。 データ分析基盤を支えるOSS Fluentd：データストリーミングコレク
Getting startedInstallationConfigurationConfigurationRecording rulesAlerting rulesTemplate examplesTemplate referenceUnit Testing for RulesHTTPS and authenticationQueryingBasicsOperatorsFunctionsExamplesHTTP APIRemote Read APIStorageFederationHTTP SDManagement APICommand LineprometheuspromtoolMigrationAPI StabilityFeature flags VisualizationExpression browserGrafanaConsole templates InstrumentingC
1. 背景 もともと自動化ツールとしてjenkinsを使用していました。 実際４年ほど前からjenkinsにはお世話になりっぱなしで良いツールでしたが プラグイン管理が大変だったり、イケてない部分もあったので既に社内で実績のあるrundeckに移行する形になりました。 また同時にcronで管理していたbatchに関してもrundeckに移行しました。 詳細は後述ですが、対象が複数インスタンス存在してもnodeによる集約管理できるため、インスタンス毎のcron設定から開放されました。 2. メリット（移行理由） 実際に検証・導入した結果のメリットが下記になります。 ※詳細は後述。 柔軟なジョブ作成が可能。 複数ノードを一括管理できる。 GUIがリッチ 2.1 柔軟なジョブ作成が可能。 2.1.1 様々な種別のステップを登録可能 図１:ジョブ内のステップ登録 上記がjob内で管理するstep一
2023年 crowdworks.jp の SRE チームでやったこと - クラウドワークス エンジニアブログ
この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが揮発する 2. Memcached単体ではマルチAZ構成でデータのレプリケーションができない 3. Memcached/Redisともにバージョンアップをしていない 4. MemcachedとRedi
JAWS-UGおコンテナ支部 #5 に行ってきました - critical alertのブログ
JAWS-UGおコンテナ支部 #5 少し前になりますが6/27(月)に行われたJAWS-UGおコンテナ支部 #5に行ってきました。 コンテナ支部には初参加でした。ちょうど業務でECSを検討しているところで、今回は運用系の話が多そうだったので思わず参加。 みなさんもう普通にコンテナを使っていらっしゃる。具体的な運用例なども聞けたのでかなり参考になりました。 以下メモ付き感想。ちょっとうろ覚えのところもあるかもしれません。目次はイベントのページから引用させていただきました。 あいさつとか おとなのたしなみ おコンテナ ECS アップデートについて AWSJ 岩永亮介さん (@riywo) Amazon ECSアップデート from Amazon Web Services Japan ここ半年での ESC のアップデートの紹介。 Service Update のリソース利用率が設定可能になった
Amazon EMR のバージョンアップ 1/3：メジャーバージョンアップの前にやったこと - Repro Tech Blog
Development Division/Platform Team/Sys-Infra Unit で実施した Amazon EMR 1 のバージョンアップについてどのようなことをやったのか紹介します。 Repro では Presto や Hive などのセットアップに EMR を使用しており、以下の用途で活用しています。 プッシュ通知の配信対象を抽出する 管理画面で参照するデータを抽出する S3 などに貯まっているイベントデータを集計する EMR のアプリケーションとしては以下を使用していました。 Presto Tez Hadoop Hive Hue 経緯 Repro では多くのミドルウェアを運用しており、日々バージョンアップしているのですが、最近まで2019年2月18日にリリースされた EMR 5.21.0 というバージョンを使用していました。もちろん Log4Shell のような脆弱
- **[Talk Slides and Videos](../../../reports/slides/)** 強くなるためのプログラミング ープログラミングに関する様々なコンテストとそのはじめ方ー (ja) Chica Matsueda in Other みなさんは何のためにプログラミングをしていますか？ 仕事のため、何かをつくるため。 それも良いけれど、「強くなる」ためにプログラミングしてみませんか。 様々なジャンルのプログラミングコンテストとまだ見ぬライバルたちがあなたを待っています。 今回はPythonで参加できるアルゴリズム/AI/機械学習/セキュリティ等のコンテストとその始め方について紹介したいと思います。 土曜日 10:50 a.m.–11:30 a.m. in 国際会議場/Conference Hall Ways to avoid overfitting when dev
Tech Solvency: The Story So Far: CVE-2021-44228 (Log4Shell log4j vulnerability).
Log4Shell log4j vulnerability (CVE-2021-44228 / CVE-2021-45046) - cheat-sheet reference guide Last updated: $Date: 2022/02/08 23:26:16 $ UTC - best effort, validate all for your environment/model before use, unofficial sources may be wrong by @TychoTithonus (Royce Williams), standing on the shoulders of many giants Send updates or suggestions (please include category / context / public (or support
Rundeckでは、ジョブ内で処理を繋げて実行する事も出来ます。『ステップ』と呼ばれる単位で処理を作成し、そのステップを複数個定義する事で繋げていく形です。 その際、『この処理が終わったら次の処理を行なう』『異常終了となった時に何らかの処理を行なう』と言うような制御を行いたい場合もあるかと思います。当エントリではRundeckでその辺りの制御を行なう時にRundeckではどういう仕組みになってるのか、どういった形で設定等を行えば良いのかという点について見て行きたいと思います。 処理の正常終了・異常終了について Rundeckでの処理のステータスに関する詳細については以下のエントリに画像付きで解説されているのでご参照ください。 ジョブのステータス(Status) / そんなスケジューラで大丈夫か？ Rundeck超入門(基礎編) - くろのて 処理ステータスの中で『正常終了』『異常終了』と判
前回の記事の予告どおり今回は具体的なECSとRundeckの構成についてお話しします。 まずECSの用語について念のために予め簡単に説明します。公式ドキュメントには抽象的で分かりにくく記載されていますが設定をいじっているうちに自然と相互関係が理解できます。 ECS用語 Task - Docker Container Task Definition - Taskを起動する際に必要となる情報をこれに定義します。 docker run のオプションにあたるものです。 Service - 常時起動タスクを定義してECSに管理させるものです。今回は使いません。 Cluster - 物理サーバのクラスタ管理だけではなく前述のServiceの設定や起動中タスク一覧など運用フェーズになったら通常こちらを参照します。 ECR - EC2 Container Registry の略で AWS版 Docker
AWS LambdaのScheduled Eventを使ってバッチ実行してみた｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
先日ハードコアのライブに行ってきて、耳がまだおかしい下條です。やはり耳栓は必須です。 さて、話は変わるが、最近私が関わっているプロジェクトでは、比較的単純なWebアプリケーションでも日次などで簡単なバッチ処理をしたいという状況は意外と多い。 弊社では、これまでバッチの定時実行にはRundeckなどのジョブ管理ツールや、場合によってはcronを使ってきた。しかしこれらには以下のような問題がある。 ジョブ管理ツール: 複雑なジョブ管理が可能だが、環境構築・メンテナンスに工数がとられる。 cron: 非常に簡易に設定できるが、バッチ実行結果を監視するためにはZabbixなどの監視ツールを使用するといった工数がとられる。 そこで、以下の条件を満たすようバッチの実行方法について検討を行い、最近公開されたAWS LambdaのScheduled Eventを利用した仕組みを作ってみた。なお、比較的簡単
おはこんばんちは!! 尾藤 a.k.a. BTO です。 cronはもうオワコンにしたいな〜と思いつつ、じゃあ何がいいんだよと思って Rundeck を試しています。 UUUM のサーバは基本 Ubuntu を使っているんですが、Rundeck 用のパッケージは用意されていないので、Rundeck のサイトから deb パッケージをダウンロードしてインストールします。 それ用に ansible の設定を書いたので、今日はそのお話です。 Rundeckがインストールされているかチェックする - name: check if rundeck is installed command: dpkg-query -W rundeck register: rundeck_check failed_when: rundeck_check.rc > 1 changed_when: rundeck_chec
こんにちは、記事の更新頻度が安定しません。 Rundeckの記事を書くことを今季の目標としてしまったために(勝手に)追い詰められながら記事を書いています。 まぁやるからにはちゃんと書きます。Rundeckは機能が多いから時間がかかるのは仕方ないでしょう？俺は悪くない。 infoこの記事はRundeckの概要・用語・主な使い方について書きます。内容はリファレンスっぽい感じに仕上がっているので実際に使いながら参照することをオススメします。DockerでRundeckをちょっとだけ試してみたかった でセットアップできます。この記事はRundeck 2.5.3 を使用しており、バージョンによっては動作が異なる可能性があります。概要Rundeckは一言で言うと「すごいcron」です(ドドーン hirokiky氏 や shimizukawa氏 の発表でもそう言っていたからいいよね？ 少しだけ補足します
しんやです。来月新作第7弾が公開されると言う事で『スターウォーズ』過去の総復習を計画・実践中です。先日エピソード4を観終えました。『エピソード4』くらいは過去に観てたかな〜と思ってたのですがどうやら全6作共にフル視聴はしていなかった事が判明しました。『エピソード7』公開前で後1ヶ月ちょいありますが、公開日に間に合うように総復習を進めて行きたいと思います。 さて、本題です。先日、ジョブ管理ツールの1つである『Rundeck』に関するエントリが弊社ブログにて紹介されていましたが、私自身もこのサービスに非常に興味を持つようになり、『Rundeckってこういうケースは対応してるのかな？出来るのかな？』という形で自分が実践で使う事を想定したトピックで調査してみたいなと思うようになりました。 当エントリでは、『Rundeckって所定のタイムゾーン(例えば日本国内、Asia/Tokyoで)で使えるものな
hakobera's blog
三行まとめ WebRTC の getDisplayMedia API を利用した P2P で画面共有するサービスを作りました。 全て Managed Service (AWS & Firebase) 上で動作しており、ほぼノーメンテナンスでそれなりスケールします。 無料。ただし、音声無し、TURNサーバー無し、SLA 無しで、繋がらないこともそれなりにあると思うので、クリティカルな用途に使用することは非推奨 getdisplay.media 使い方 どういう風に使うのか、また遅延はどれくらいなのかを以下の動画をご覧ください。 配信側は WiFi で、視聴側の iPhone は LTE 回線で繋がっています。 Fully managed and serverless Screen Sharing Service: getdisplay.media 配信は GitHub 認証が必須ですが、視聴
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Rundeck] Rundeck導入手順(Ubuntu 16.04) - Life with IT
レガシーな開発環境をモダン化している話
クックパッドの基盤をフル活用して新卒が新規アプリケーションを作った話 - クックパッド開発者ブログ
バッチ処理の管理を「Rundeck」で効率化！スモールチームに最適なジョブ管理ツールとは | SELECK
そんなスケジューラで大丈夫か？ Rundeck超入門(基礎編)
Rundeck in practice [運用編] - 一休.com Developers Blog
Cronの代替えジョブスケジューラーの紹介 | tracpath:Works
GUIな構成管理ツールRundeckをLDAPとZabbixと連携させる - Qiita
Lambda and rundeck
ajitofm 28: Hacking Newspaper
SSH経由でコマンドを並列実行するツールまとめ - Qiita
Rundeck: スクリプトファイル読み込みによるジョブの実行 | DevelopersIO
『第五回ゲームサーバ勉強会』参加レポート #ゲームサーバ勉強会 | DevelopersIO
Exporters and integrations | Prometheus
jenkinsを捨てrundeckに移行した話 - Qiita
Talks | PyCon JP 2015 in TOKYO
Rundeck: ジョブのエラーハンドリング | DevelopersIO
ジョブスケジューラを ECS と Rundeck で構築 - Qiita
Ansibleでリモートのdebパッケージをインストールする - UUUMエンジニアブログ
そんなスケジューラで大丈夫か？ Rundeck超入門(基礎編)
Rundeck: 任意のタイムゾーン設定によるサーバ稼働を試してみる | DevelopersIO