バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
便りが無いのは良い便り
完全に個人の日記レベルの話ですが、コンピュータのログと通知の話を書きます。 ログといってもまぁいろいろあるわけですが、何のためにログ取ってるかというと、異常なことが起こったことが分かるように、とか異常が発生したときに原因が分かるように、とかもっと進んだ考え方でいえば異常の予兆をとらえるとか、そんな感じかと思います。 なので最初はとりあえず異常なことが起こったら分かるようにログに記録するというのが最初に一歩になります。それが出来たら異常が発生したときの原因究明がすぐできるように詳細な情報をログに残すようにして、最後に正常な処理もログに残していけば危険な予兆をとらえることができるようになるかなと。なんか書いてみたら至極当たり前っぽい感じになりました。おそらく運用をやっているエンジニアはみんな気をつけていることだと思います。 ログというのは大量に存在して価値があるものなので、記録することに価値が
Big Sky :: サーバを再起動したら勝手にscreenが起動してその中でirssiが動いていて欲しい場合のベストプラクティス
個人的にお借りしているサーバがあってそこで何個かbotを動かしているのだけど、そのサーバがセキュリティアップデート等で再起動した後、ログインしてscreen起動して、その中で画面割ってbot起動して、また別の画面でirssiを起動する、みたいな事を毎回やってた訳ですがいい加減めんどう臭くなってきたので自動化した。 まずscreenを自動起動する仕組みを考えた。rcスクリプトでもいいけど、そもそも共用サーバなのでroot権限が無い。そこでcronを使う。crontab -e して @reboot (. ~/.profile; /usr/bin/screen -d -m) @reboot という識別を使います。再起動して1回だけ実行されるコマンドが書けます。最近の linux であれば使えるかと思います。 ここで .profile を読み込んでるのは、これをしないと screen が新しく起動
Shibuya.pm#14 で memcachedの運用について発表しました - blog.nomadscafe.jp
2010夏のmemcachedシリーズもいよいよ最後となりました。 1歳8ヶ月のうちの息子も見ていた Shibuya Perl Mongersテクニカルトーク#14「IPAとJPAは違う団体です」でmemcachedの運用について発表をさせていただきました。今回は監視scriptの書き方やcronlog、Nagiosの設定tipsなどの内容にしました。memcachedの監視というよりかは一般的なノウハウ寄りだったかなと 監視の狭間問題の対策としてmemcachedのuptimeを見るscriptを紹介していますが、この問題はmemcachedには限りません。自動的に再起動してくるようなサービスで勝手に再起動した=何か問題が起きたと想定できる、例えばMySQLや /proc/sys/kernel/panic が設定されているLinuxにも同じような監視が必要になるでしょう。 MySQLであ
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Nippon Kaisho システムツール [ CRONTAB設定ヘルパー ]
■ What's This? UNIXのCRONTABの設定ヘルパーです。 crontabとはUNIXのバックグラウンドで自動処理を行う「CRON」デーモンへの指示です。もっと簡単にいいますと「毎日*時*分に/home/cron.shを実行せよ」といったもの。 ユーザーレベルで設定ができるUNIXのシステム管理必携ツールです。 solarisやXwindow系のマウスユーザーの方はGUIツールを使われていることでしょうが、コマンドパンチャー（？）にとっては便利なツールかと思われます。 crontabの設定を覚えるのが面倒な方以外にも、crontabを勉強されている方は設定方法の参考にお使いください。（とりあえずの答えを出せます） 更に詳細設定についてはJFなどをご覧ください。
新版 UNIX/Linux 由来/読み方辞書
このコンテンツは fj でまとめられたUNIX 用語 由来/読み方辞書 version 1.6 (Feb 13 1995)(以下オリジナル版と記述。ローカル保存版はこちら) を元に、当ページ管理人の独断と偏見により追加・改変・削除したものです。オリジナル版は「第3者に配布するのは自由です」とありますが、追加・改変・削除については言及がありませんでした。よって、追加・改変・削除は当ページ管理人が無許可で行っています。 注意 (オリジナル版の記載そのまま) ここに記載されている読みは、それを他人に強制させるものではありません。読みは、本来ならば英語の発音を、仮名で置き換えているので必ずしも正確ではありません。内容に関しての保証は一切いたしません。第3者に配布するのは自由です。 新版の注意 主に 1995年以降に出現した用語を追加しています。あまり UNIX にこだわらず、「width」「hei
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
