バッチシステムをクラウドネイティブにするために考えたことCloud Native Days Tokyo 2022 Session: https://event.cloudnativedays.jp/cndt2022/talks/1518
cron から Rundeck に乗り換えると決めた話 - MonotaRO Tech Blog
こんにちは、鈴木です。 cron でバッチの実行制御を行っている環境に、Rundeck というジョブスケジューラの導入を進めています。cron をやめようとした理由や、Rundeck を検証した結果をお話しします。 cron をやめる cron の安心感 cron をやめる理由 ジョブスケジューラを選定する ジョブスケジューラの一般的な特徴 機能面 構成面 Rundeck を選んだ理由 具体的な選定基準 最後に cron をやめる cron の安心感 cron は十分に枯れている、実績のあるソフトウェアです。安定して動き、情報も世の中に多くあります。何かを定期実行するときに、とりあえず cron を選んでおけば大丈夫である場合も多いです。 cron をやめる理由 今回 cron をやめようと考えた理由は以下の通りです。 ジョブ数が多くて辛くなってきたから。 権限管理やエラー時のリトライ、監
DynamoDBで分散ロックを実現するsetddblockと現代版アクセスカウンター - KAYAC engineers' blog
こんにちは。今年からアナリティクスエンジニアを名乗ろうとしてる池田です。 こちらは、KAYAC Advent Calendar 2021 1日目の記事です。 この記事では、setddblockという分散ロックを実現するためのツールと、その動作試験のために現代版アクセスカウンターを作成した話をします。 setddblock 皆様がcronなどで定期実行のスクリプトを実行する場合、同時実行されては困るものはどうしていたでしょうか？ daemontoolsのsetlock というツールを使って同時実行を防いでいたことがある方も多いと思います。 http://cr.yp.to/daemontools/setlock.html このsetlock はローカルのファイルシステム上にロックファイルを作成し、ロックファイルの作成が成功したら指定されたコマンドを実行するというツールです。 例えば1分ごとに起
「cron」ジョブに潜むマルウェアが発見される--実行日を存在しない日付に設定
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 珍しい新たな方法でサーバー上に身を隠す新たなリモートアクセス型トロイの木馬（RAT）が、セキュリティ研究者によって発見された。 BleepingComputerが最初に報じたところによると、この新しいマルウェア「CronRAT」は、存在しない2月31日に実行されるよう設定されており、Linuxサーバーのスケジュールされたタスク内に身を隠すという。 このところ、Linuxサーバーを標的とする「Magecart」マルウェアが拡大しているが、Eコマースセキュリティを専門とするSansecが発見し、命名したCronRATもその1つだ。CronRATは、サーバー側でMagecartを使ってデータを窃取するために使用される。 SansecはCron
Crontab syntax for us humands -- Cron Helper
*Expands to all values for the field,List separator-Range separator/Specifies step for ranges@hourlyRun at the start of each hour@dailyRun every day at midnight UTC@weeklyRun at every Sunday at midnight UTC@monthlyRun on the 1st of each month at midnight UTC@yearlyRun on Jan 1st at midnight UTC@annuallySame as @yearly
Kubernetes CronJobと仲良くなりたい | メルカリエンジニアリング
この記事は、Merpay Tech Openness Month 2020 の17日目の記事です。 こんにちは。メルペイのSREの駒崎（@komattaka）です。 暑かったり台風だったりと大変な日々が続いていますが、ご自愛ください。 目次 対象読者 得られるもの 説明しないこと はじめに CronJobの仕組 そもそもCronJobとは何か パラメータの解説 CronJobが作成される流れ メルペイでは何に困っていた？ suspend: trueにしていたCronJobがfalseにした後もJobを生成しない (GKE特有) NodeがCluster Autoscalerによって停止されると、そのNodeで稼働していたJob(Pod)のEvictをCronJobが正常終了したと誤解しconcurrencyPolicy: Forbid(Replace)なのに並列稼働した ユースケース別に設
Github Actionsをcronとして利用し、notify-issues-to-slackを動かす - $shibayu36->blog;
以前、レビュータイムや定期的なissueチェックのためにGithubのissueを検索してSlackに投稿するCLIツールを作ったで紹介したnotify-issues-to-slackだが、これまでは 適当に立てたサーバーのcronで動かす Jenkinsなどで実行する という方法で動かしていた。 しかし、issueをslackに通知するためだけにサーバーを立てたりするのもだるい。そこでGithub Actionsで動かしてみた。 Github Actionsを動かすレポジトリのみを対象とする場合 secrets.GITHUB_TOKENを使えば、そのレポジトリへアクセス可能なので、何も設定せずとも以下のように設定できる。 .github/workflows/notify-issues.yml name: daily bug report on: schedule: - cron: 30
新たな開発プラットフォーム "Dark/Darklang" を実際に触ってみて - Qiita
はじめに 先日、私が以前に申請していたDarkのプライベートベータ版に漸く招待されたので、実際に触ってみた感想を述べよう思います。 1. Darkとは? Darkとは、Ellen Chisa、そしてCircleCIの創業者であるPaul Biggarによって設立された会社で開発されている「偶発的な複雑さ」を無くし、バックエンドWebサービスを構築するための総合的なプログラミング言語であり、エディタであり、インフラストラクチャです。呼称するならば、総合的なソフトウェア開発プラットフォームみたいな感じです。Web上にエディタが展開され、そこで全ての開発を行える為、開発ツールやパブリッククラウドと言った多くのテクノロジーを直接触る必要はありません。 また、最大の特徴としてはデプロイレスです。デプロイレスとは、入力したものが即座にデプロイされ、本番環境ですぐに使用できます。Darkはインタープリタ
バッチ処理のスケジューリングパターン
この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについてご紹介したいと思います。以下、８パターンあげてみました。とはいえ、最後の3つは GCP のバッチスケジューリングという観点からは少し外れますが、バッチの起動時に使われるということでご容赦を。 Cloud Scheduler : フルマネージドな cron ジョブスケジューラです。フルマネージドという点が非常に大きなメリットであり、多くの処理を自動化し実行することが可能です。Google App Engine cron サービス : HTTP GET を利用して、特定の URLを呼び出します。Google AppEng
ElectronとVue.jsを利用しMac/Win/Linuxに対応したオープンソースのRSSリーダー「Raven」
ElectronとVue.jsを利用しMac/Windows/Linuxに対応したオープンソースのRSSリーダー「Raven」が公開されています。詳細は以下から。 Mac/iOSに対応したRSSリーダー「Reeder」シリーズを開発しているスイスのSilvio Rizziさんは昨日、Reederの次期バージョンとなる「Reeder v4 for Mac」のPublic Beta版を公開しましたが、Reederとは別にカナダBenevity Inc,のエンジニアのMeet GodhaniさんがMac/Windows/Linuxのクロスプラットフォームに対応したオープンソースのRSSリーダー「Raven(オオガラス)」を公開しているというコメントを頂いたので早速使ってみました。 https://t.co/037O8mUqEB yeeee haw My first github reposito
Travis CIのcron jobsを使ってGitHubに定期的にcommitする方法 - hnwの日記
みなさん、Travis CI使ってますか？Trais CIはクラウドCIサービスの1つで、GitHub上で公開しているOSSを自動テストする目的であれば定番中の定番といっていいサービスです。 ところで、さいきん私の公開しているプロジェクト「hnw/wsoui」で以下のことを実現したいと考えました。 ネット上のデータを加工してGoの連想配列の形で提供したい 変換スクリプトは作成済み 自動更新したい 情報ソースは不定期に更新される そこそこ最新のデータを反映していてほしい これを実現する方法は何種類か思いつきますが、今回Travis CI のcron jobsを使って1週間に1回、更新があったときだけgit commitするような仕組みを作りましたので、これを紹介します。 Travis CI のcron jobs Travis CIでは、gitリポジトリに新たなcommitがpushされるたび
「Google Cloud Scheduler」リリース。スケーラブルなcronサービスとしてジョブの予約や定期実行、自動リトライなど可能に
GoogleはGoogle Cloud Platformの新機能として、クラウド上で時間指定や定期スケジュール指定などによるジョブや関数を起動するcronのような機能を提供する「Cloud Scheduler」をリリースしました。 Cloud SchedulerはWebのユーザーインターフェイスやコマンドライン、APIを通じてcronと同様に複数の時、日、週、月、年などのスケジュール設定が可能です。 HTTP/HTTPSやPub/Subなどを通じてGoogle Clooud Platform内だけでなくほかのクラウドやオンプレミスのエンドポイントも呼び出せます。 また、App Engineのアプリケーションの起動、Cloud Functionsの関数の起動など、さまざまな方法でジョブを起動可能です。 またジョブが失敗したときの自動リトライ機能も備えています。 Cloud Scheduler
scheduleライブラリを使ってPythonスクリプトを定期実行しよう - タダケンのEnjoy Tech
こんにちは! タダケン(@tadaken3)です。 定期実行といえば真っ先にcronが思い浮かびますが、scheduleはcronを代替するPythonライブラリです。cronにくらべ読みやすく、非常にシンプルです。 windowsでも動作しますし、cronが使えない環境なんかでちょっとした処理をPythonで実行できたりするので、便利です。 scheduleのコンセプト ジョブのスケジュール実行は、標準モジュールを駆使して、実装することも可能です。ですが、scheduleを使うことでコードを非常にシンプルに保つことができます。 scheduleは「Python job scheduling for humans.」というコンセプトで作成されたライブラリです。直訳すると「人間のためのジョブスケジューラ」でしょうか。Rubyのclockworkにインスパイアされて作成されたようです。 けっこ
サービスの目視チェックをヘッドレスブラウザで効率化した話｜raahii
■ モチベーションサービスを継続的に改善していく上で、バグを避けることはできません。そこで、バグが混入した時にそれにいち早く気付ける仕組みが必要になります。 Webサービス開発ではふつう、ユニットテストを書きます。一連のページ遷移（動線）をチェックするE2Eテストを書くこともあります。これらを用いることで、バグに簡単に気づくことが出来ます。 しかし、フロントエンドのエラーには微妙なページデザインの崩れなども含まれます。この場合、単にDOMの存在やページ遷移の可否をチェックするだけでは不十分です。 このようなエラーチェックに関しては、2018年になった今も、人が直接見なければ良し悪しがわかりづらいというやっかいな側面があります。かといって、主要なページを毎日手でチェックするのは非常に手間がかかってしまいます。 ■ 自動でページのスクリーンショットを取るそこで、ChromeをNodeから操作す
定期的にtcpdumpをある期間だけ実行したいという時 - その手の平は尻もつかめるさ
tcpdumpの提供する-Wオプションと-Gオプション，ならびにcrontabを併用するといける． tcpdumpの-Wオプションはログローテーションを行う回数で，-Gはそのローテーション期間を秒数で指定できる． 例えば $ tcpdump -w ./%Y%m%d%H%M%S.pcap -W1 -G60などとやると，ログローテーション1回，ローテーション期間は60秒となるので，つまり60秒tcpdumpを実行した後にexitする (ローテーション1回指定なので)． ちなみに-wオプションで指定するファイル書き出し先についてはstrptimeと同じフォーマットが利用できるのでこういう時に便利． あとはcrontabでこのコマンドを仕込んでやるとOK (id:hirose31さんから「crontabでは%をエスケープする必要がある」との指摘があり修正しました)． 55 * * * * tcpd
CentOS7 に netdata をインストールしてリアルタイムでリソース監視する - らくがきちょう
知人に教えて頂いてサーバのリソース監視ツールである netdata を試してみたのでメモしておきます。 今回は CentOS7 環境で試しました。 注意点 関連ファイルをまとめておきたい場合はインストールパスを指定する インストールパスを指定せずに netdata をインストルすると、関連ファイルが様々なディレクトリに配置されます。 「一箇所にまとめておきたい」場合はインストール時に --install オプションでインストールパスを明示的に指定するようにします。 自動アップロードを利用する場合はソースコードを削除せず、保存しておく 後述しますが cron を使って netdata の自動アップロードを行う場合はインストールが完了しても GitHub からクローンしたソースコードは削除せず、保存したディレクトリ位置も覚えておきます。 キックスタートでインストールするとインストールパスを指定
Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基
メルカリ社内ドキュメントツールの Crowi を Kubernetes に載せ替えました | メルカリエンジニアリング
最近、SRE になった @b4b4r07 です。今回は、直近のタスクだった社内アプリを Kubernetes に載せ替えた話をします。 前置き メルカリでは全社的 1 に Crowi という Markdown で書ける Wiki アプリケーションをナレッジベースとして採用しています。 site.crowi.wiki 以前は、プロダクトチームは Qiita:Team、コーポレート系は Google Sites と言った具合に、各部署ごとに異なるドキュメントツールを使っていました。これではよくないと、エンジニアに限らず誰でも書きやすく参照しやすい Wiki のようなサービスが必要とされ、Crowi の採用に至りました。 まずはみんなに使ってもらうために広めていこうと、試験的に導入が始まったため、今回の移行話までは 1 台の EC2 インスタンスにアプリケーションサーバと Nginx、Mongo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/yutkat/status/1538449766006153216
レガシーとの向き合い方 〜cron から Rundeck へ〜 - DMM inside
