Ruby のクラス拡張を利用して監視の実装をうまく軽量化した話（現場での実装方式検討の例つき） - NTT Communications Engineers' Blog
この記事では、Ruby の非同期処理ライブラリである Sidekiq を使って定期実行処理を行う Sidekiq-Cron の監視方法について、チームでの方式検討の様子を交えながらご紹介します。 目次 目次 はじめに Sidekiq-Cron について Sidekiq-Cron の cron job の status の監視 既存の status 監視の問題点 既存の監視の仕組みの問題点 負荷が低い監視の仕組みの検討 案1：全 cron job の status を定期的にダンプし、ダンプ結果を読み取って監視する 案2：Redis を直接参照して cron job の status を読み取る 案3：Sidekiq の GUI の html ページの内容をパースして status を取得 [採用] 案4：Sidekiq の GUI に新しいエンドポイントを実装して、そのエンドポイントから
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
VAddyをcronで定期的に実行 - Qiita
https://vaddy.net/ja/ 継続的なセキュリティテストを実現するクラウド型Web脆弱性検査ツールです。 対象サーバを登録することで、自動的にセキュリティテストをしてくれるものです。 しかし、コマンドか、ブラウザから実行ボタンを押す必要があります。そこでcronを使います。 VaddyCLI仕様書 https://github.com/vaddy/go-vaddy/blob/master/README_ja.md VaddyAPI仕様書 https://github.com/vaddy/WebAPI-document/blob/master/VAddy-WebApi-ja.md VaddyAPI crawl取得仕様書
イマドキのジョブスケジューラについて考える - メドピア開発者ブログ
こんにちは。Ruby化をすすめるメドピアをお手伝いしている@willnetといいます。 メドピアではPHPからRubyに移行するにあたり、単純に言語を置き換えるだけではなく、言語以外の仕組みについても適宜見直しを行っています。今回はそのうちジョブスケジューラを見直した件について書いていきます。 言語を置き換えた話はこちらを参考にしてください。 レガシーな独自フレームワークから脱却してRailsへ徐々に移行している話 - メドピア開発者ブログ そもそもジョブスケジューラってなに 「毎日1時になったら前日のアクセスログを集計して統計データとしてまとめる」などといった定期的に実行するジョブを登録するためのものです。 ウェブサービスを作るときのジョブスケジューラといったらやっぱりcronですよね。メドピアでもこれまでcronを活用していました。しかしサービスが小さいうちはcronでもそれほど問題な
systemdでの定期実行(timerユニット) - Qiita
cronの無い世界 systemdに移行するディストリが増えてきた昨今、cronが担っていた部分もsystemdに移行されてきています。初期のsystemdにはtimerがありませんでしたが、2013年にtimerユニットの実装が入り、だいぶ安定してきた感があります。また、昔はcron系のデーモンが必須パッケージだったディストリも、いまでは必須ではなくなってきています。crontabといえばUNIXの入門書にも載っていますし、POSIXでも定められたユーティリティです。systemdを採用しているディストリであっても、cron系のパッケージ(cronieやfcron)を入れればいいだけの話なのですが、少なくともcron系を使うかsystemdのを使うか選ばなければなりません(両方使うことも･･･できますが)。cronはちょっと使ったことがあるので、一度も使ったことがないsystemdのti
/bin/shと/bin/bashの違い(とcronでのシェル)
B! 29 0 1 0 シェルスクリプトを書く時にShebangに#!/bin/shの様にシェルの指定をしますが Bashの機能を使いたい場合はきちんとbashを指定しないといけません。 その辺の違いは早いうちに気づくことがあると思いますが、 cronの中でのシェルについてちょっと見落としていたのでその辺について。 /bin/shと/bin/bash RedHat系やMacなどでの/bin/sh UbuntuなどDebian系の/bin/sh シェルスクリプトに書くShebang cronジョブの時に使われるシェル /bin/shと/bin/bash RedHat系やMacなどでの/bin/sh RedHat系のLinuxで/bin/shを見てみると、 $ ls -l /bin/sh 0 lrwxrwxrwx 1 root root 4 Sep 27 2014 /bin/sh -> bas
Let's Encryptを証明書取得から証明書更新cron設定まで一気に設定するAnsible Role - Qiita
Let's Encrypt活用していますか？ まだ導入に踏み切れていない人もいると思います。 とても素晴らしいサイトあるのですが、いかんせんいままでの証明書のライフサイクルと違うところがあるため、最初は難しかったりします。 なので、今回は開発環境などで使っているAnsible Roleを紹介します。CentOS7想定です。 なお、説明に不必要な部分は省略しているので、もし動かなかったら適宜修正してください。 roles/apache24-letsencrypt/task/main.yml --- - name: httpd2.4をインストール yum: name={{ item }} enablerepo=centos-sclo-rh state=present with_items: - httpd24-httpd - httpd24-httpd-devel - httpd24-mod_
手元開発環境でサーバを起動時のみcronのようにスクリプトを実行する(Perlの場合) - $shibayu36->blog;
これまでPerlを利用した手元開発環境でどのようにcronを動かすか迷ってきたのだけど、その解決策が見つかったのでメモ。 課題 開発サーバや本番サーバではcronで定期的にスクリプトが実行されている 定期的に実行されているスクリプトが動かないと、正しく動かない機能がある 例えば予約投稿みたいな機能など しかし手元開発環境ではcronのように定期的にスクリプトを実行していなかった 結果として、手元開発環境で手動でスクリプトを動かさないと確認できない機能があった 解決策として手元でもcrontabを書く方法もあるのだけど、この場合開発していない時も勝手に実行されるので避けたかった。 解決方法 実はProclet というツールに、サーバを起動しながら定期的に指定したコードを実行してくれる機能があるということに気づいた。詳しくはSYNOPSISを参照。 これを使ってcronに指定しているスクリプト
爽快！分析基盤の紹介 #6 : batch の cron を azkaban に移行した話 - sekaie engineers' blog
はじめに おはようございますこんにちはこんばんわ。 健康診断で身長が 1cm 伸びてました。佐々木です（体重は 10kg 増えてました) 今日は cron を azkaban に移行した話をしようかと思います。 今までの batch 管理 弊社の分析基盤の batch の管理は crontab で管理していました。 というのも、分析基盤が出来立てということもあって batch の数も依存も少なく crontab で特に問題がなかったからです。 しかし最近は社内利用者も増えてきて batch がコケてて、見えるべき数字が見えなかったりとか影響もそれなりに出てきたのでちゃんと batch を管理しようと思い立ったのが最近の話です。 そこでジョブ管理ツールを導入しようと試みました。 選定 ジョブ管理ツールもたくさんあるのでどのツールを使うか選ぶところから始まりました。 今回の選定基準は以下のとお
GitHub - motemen/gas-cronsheet-slack: Google Apps Script to use spreadsheet for timed posts to Slack
Googleスプレッドシートをcronのように使いSlackに投稿する - Hatena Developer Blog
はてなチーフエンジニアの id:motemen です。 以前の記事で紹介したようにはてな技術グループおよびデザイングループでは毎週社内で勉強会を開催していますが、これを運営していくにあたってひとつ課題であったのが毎週のリマインドでした。 developer.hatenastaff.com 毎回発表者が違いますから、あらかじめ皆に「今日は○○さんの××という発表です！」と周知して期待を高めたいですし、また次回の発表者には予告をして発表の準備を進めておいておかなければなりません。発表者・タイトル・日付などを記したスプレッドシートがマスターデータとしてあったので、元々は私が人手で、Googleスプレッドシートに記載した発表順を見ながらSlackに共有していました。しかしやはり個人による運用だと予告忘れがあったり、周知のタイミングが朝なり夕方なりまちまちであったりと、参加者にも不便を強いていたし、
ローカルのシェルスクリプトをリモート実行する - どこでも見れるメモ帳
はじめに 「ほぼ」同じ構成のサーバがN台あって，それぞれに対して同じスクリプトを実行したい。このときスクリプトはひとつに集約したい（＝各サーバにスクリプト配置したくない）。こういうときって、どうするのが定番なんだろう・・・— Kensho (@ni66ling) February 14, 2015 ローカルのスクリプトをリモートで実行したいけどどうやれば？という話． どうやるのが定番なのか？は結局わかっていないが，一応できるにはできたのでメモ． やりかた sshコマンドにパイプでローカルのスクリプトを引き渡す．*1 $ cat [local_script.sh] | ssh [user]@[host] bash 補足: ローカルにおける変数をリモートスクリプト内で使うには プロセス置換*2を用いる． $ param="local" $ cat <(echo -e "param=\"${pa
コードの可読性、ハッカビリティ、抽象化 | POSTD
def deploy(ip): copy('code/', ip + ':~/code', recursive=True) write_template('conf/config.py', ip + ':~/config.py') write_template('conf/crontab', ip + ':~/.crontab') write_template('conf/crontab', ip + ':/etc/apache2/httpd.conf') run_as_root('service cron restart') run_as_root('service apache restart') post('https://pingdom.com/api/2.0/checks', { 'name':ip, 'host':ip, 'type':'ping' }) タスクを実行するものと
cron力をつけよう！全てのcrontab入門者に贈る9個のテクニック · DQNEO日記
なお、時間設定方法や書式についてはここでは解説しません。 拙作「くろんメーカ」をお使いください。 くろんメーカ - crontab用のコマンドを自動で生成します。 そのままコピペしてお使いください。 crontab -e で直接編集しない 有名な話ですが、crontab -r とやってしまうと全てが一瞬で消え去ります。 まさにバルス！ 間違えて crontab -r してしまい、crontab をふっとばしてしまった。つか、隣同士にある -e と -r で編集と削除とか、酷いよ＞＜。。。 crontab -r を安全にする - antipop 必ずローカルファイルに設定を書いたうえで、それを反映させるようにしましょう。 $ crontab -l > ~/crontab # 現在の設定をバックアップ $ vi ~/crontab # ローカルファイルを編集 $ crontab < ~/cro
定期的に買う必要があるものをアラートする仕組みを作った #家庭を支える技術 - kei-s@ブログ苦手
このエントリは、家庭を支える技術 Advent Calendar 2014 の一日目です。 「家庭を支える技術 Advent Calendar」とは エンジニアの友人たちとおしゃべりしているうちに、各ご家庭の生活を豊かにするためにしている技術的な工夫や、これからやりたいアイデアが話題に上がることが多くありました。そんななか、誰が言い出したか『家庭を支える技術』というキーワード*1が出てきていました（もちろん元ネタは WEB+DB PRESS plusシリーズ の「〜を支える技術」です）。 仲間うちだけでも面白い話が出てくるので、いろんな家庭の話を聞いてみたいとおもい、せっかく12月なので「家庭を支える技術 Advent Calendar」として世に問うてみた次第です*2。 ありがたいことに公開から数日で全日程が埋まり、「家庭を支える技術」への関心の高まりを感じています。 定期的に買う必要が
cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店
(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。 デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。 とはいえ、
plenv + cpanm + cartonな環境で、crontabでハマった - aramsanのブログ
plenv + cpanm + cartonな環境で、crontabでハマったので、そのときの記録を残しておきます。 Cent OSは、サポート期限が長く使いやすいOSなのですが、個人的には標準で組み込まれる、システムperlのバージョンが古いのがいまいちでした。 その解決方法として、plenvがあります。仮想環境上で、新しいバージョンのperlを使え、とても便利です。その使用方法はいろいろな所で紹介されています。 自分が参考にしたのはこれ plenvを使ってみた. - Masteries そして、次に課題になるのが、cpanモジュールの管理。 plenvを使えば、 $ plenv install-cpanm で、簡単にcpanmをインストールできとても便利です。しかし、cpanモジュールのバージョン管理や可搬性を考えると、このままではちょっと物足りません。 そこで、登場するのが、Cart
JenkinsでCronジョブを定義するjenkins_cronを作ってみた - As a Futurist...
何年前の話題だよという感じですが、ふと Jenkins を Cron 代わりに使ってみようかなと思ったのですが、ブラウザの画面でポチポチするのはなんだかなーと思ったので、DSL を書いてそれを元に Jenkins の API を叩いて更新するというだけのモジュールを作ってみました。 jenkins_cron | RubyGems.org | your community gem host riywo/jenkins_cron 使い方 こんなイメージ。config/jenkins.ymlに Jenkins サーバへの接続情報を書いておきます。 . └── config ├── jenkins.yml └── schedule └── foo.rb DSL はconfig/schedule/*.rbという名前で、その中で job を定義していきます。 $ cat config/schedule
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
脱cron!Rundeckでジョブスケジューラを構築 - Qiita
GitHub - Songmu/horenso: Command wrapper for reporting the result. It is useful for cron jobs.
