Jtf13 ossジョブ管理システムによる運用自動化事例
1. 1 OSS ジョブ管理システムに よる運用自動化事例 2013 年 7 月 14 日 日本 JobScheduler ユーザグループ （代表）船井 覚（ @satoruf ） 井上 研一（ @inoccu ） 秋穂 賢（ @ken_aio ） JTF2013 #techfesta 2013/07/14 JTF2013 #techfesta 2. 2 アジェンダ • JobScheduler の概要 • JobScheduler の基本機能 • 想定シナリオのデモ • JobScheduler 事例紹介 • 日本 JobScheduler ユーザーグループ紹介 2013/07/14 JTF2013 #techfesta
TheSchwartz / Gearman のワーカープロセス管理WorkerManager - stanaka's blog
概要 Perlの非同期処理システムとしてTheSchwartz / Gearmanを非常に便利に使っているのですが、いい感じにワーカープロセスを管理したかったので、WorkerManagerなるものを作ってみました。作ったのは実は1年以上前なのですが、ようやくの公開です。 基本は、Apacheのpreforkモデルを踏襲しています。特徴は、 子プロセスを複数起動させて、ジョブを並列実行 一定回数のジョブを実行したら、子プロセスを再作成 クラスを定義するのみでジョブを実行 TheSchwartz / Gearmanの切り替えを最低限の変更で実現 ワーカープロセスの安全な停止(プロセス停止の際に、実行中のジョブの終了後に終了) ジョブの実行時のタイムスタンプをジョブ投入からの遅延をログに保存 というあたりです。preforkモデルなので、あまりモダンな設計ではないですが、gdbでのデバッグの容
簡単なキュー登録による複数タスクのバッチ処理を可能にするTask Spooler | OSDN Magazine
Task Spoolerは、バッチ処理させたいタスク群をシェルからキュー（待ち行列）に直接登録するためのユーティリティだ。その使用法は簡単で、特別な設定も必要とせず、またキューに登録したコマンドの確認と編集も行える他、こうしたコマンド群からの出力も随時確認できるようになっている。 Task Spoolerの機能に関しては、atといったバッチ処理の遅延実行ツールと似ている部分も存在する。つまりTask Spoolerもatも、複数のキューが扱え、そこに登録しておいたコマンド群を後から実行させるという点は共通しているのだが、キューに登録したコマンドの実行結果については、atの場合はユーザにメール送信されるのに対して、Task Spoolerの場合はコマンドラインにて直接確認できるのだ。またTask Spoolerによる処理そのものも、個々のコマンドを指定時刻に実行させることではなく、ごく単純に
バッチアプリケーション設計のポイント
データベースの運用に当たって、効率のよいバッチアプリケーションが作成できるかどうか、は大きな課題です。本連載では、Oracle Databaseの管理運用を前提に、効率のよいバッチアプリケーション作成のためのテクニックを紹介していきます。 バッチ処理の抱える問題 オープン系技術の導入によって、企業システムのフロントエンド（画面周り）は大きく進化を遂げました。しかし、バックエンド（サーバ周り）でのバッチ処理は、今日でもさまざまな問題を抱えています。 最も深刻な問題は、バッチの処理性能が著しく低下してしまうことでしょう。業務のIT化が進むにつれて、データベースに蓄積されるデータ量はどんどん増加する傾向にあります。また、Webなどで多様なサービスを展開するには、データをさまざまな形式に加工／集計する必要があります。 この2つのマイナス要因によって、既存のバッチアプリケーションにかかる負荷はますま
s2chronos
S2Chronosは2013/5月末をもって開発とMLでのサポートを終了しました。 ようこそ S2Chronosプロジェクトへ S2Chronosは，Seasar2に対応したJavaオブジェクトスケジューリングフレームワークです． ユーザイベントではなく，時間によってビジネスロジックを実行させる要求は常にあります．課金や解約に関連する月次処理などです． このような日時に関連するビジネスロジックを，S2上でタスククラスとして登録し，スケジューリングすることが可能になるのがS2Chronosです． バッチプログラムを別プログラムに切り出すと，ウェブアプリ内にあるDao, Logic, Serviceとの連携に手間がかかります． どうせなら，ウェブアプリの中にS2Chronosとタスククラスを内包してしまえば，後は必要なコンポーネントをタスクにDIするだけで簡単にバッチ処理が実装できます．
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
L'eclat des jours(2008-02-08)
_ クー バッハと言えばヨハンセバスチャン（JS）だけど、エマニュエル（CPE)もそれなりには名が通っていて、たとえば僕はCPEのソナチネ集の楽譜を持っているけど、結構いい感じだ。ささやかに楽しいんだよね。 で、逆にプーを読み間違えて「大」ではなく「小」（とは言わなくて、その他大勢扱いなのかな）に木管の合奏曲があるのだと勘違いした。(というか、今初めてルイというクープランがいたことを知った) Wikipediaの「バッハ」には曖昧さ回避ページがあるが、「クープラン」には曖昧さ回避ページがないな。でも直し方がわからない。 何か絵を貼ろうと思って木管で調べてたら、なつかしいのが出てきた。これ好きだった。 シェーンベルク:管楽五重奏曲(ウィーン・フィルハーモニー管楽ゾリステン) でも、全然関係ない。 ノベレッテ~木管五重奏曲集~(トウキョウ・ウィンズ/赤坂達三/岩佐和弘) この五重奏曲は全然別も
記者も読みふける「システム基盤の統合ノウハウ」
「なるほど。バッチ・システムで多数のジョブを扱うときは，こういう理由があるから，ジョブをまとめておく方がいいんだな」――編集することを忘れて，執筆者から受け取ったばかりの原稿をつい読みふけってしまった。 記者が読んでいた原稿は，2008年1月15日に出版された「システム基盤の統合ノウハウ」という書籍のもの。記者はこの書籍の編集作業に携わったため，原稿を読む機会を得た。 読みふけってしまったのは，編集作業期間だった2007年の秋ごろのことだ。現場ならではのノウハウが細かく書き込まれており，内容に思わず引き込まれた。「現場で試行錯誤した結果，得られたノウハウなんだろうな」と思わずにはいられないことも，しばしばあった。 本書籍では大きく2種類のノウハウを紹介している。（1）仮想化技術を含む「システムの統合と移行」に関するもの，（2）統合後に高まる障害発生などのリスク対策としての「システムの安定稼
バッチ処理はJavaでバッチリ？その現状とこれから
「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします。（編集部） バッチ処理の変遷 Javaの登場以来、ホストコンピュータ、専用サーバなどで動いていた数多くのレガシー（既存資産）システムが、Java環境へ移行してきました。Web上のオンラインアプリケーションにおいては、特にJavaの活躍の場が増えたといってもよいでしょう。 その中でも移行が遅れており、旧来のマシン環境、旧来の言語での利用が続いてきたものに「バッチ処理」が挙げられます。 ■そもそも「バッチ処理」とは何か？ ここでいうバッチ処理はWindowsのバッチファイル（.bat）を示すのではありません。大量のトランザクションデータを扱い、大量のデータを順次処理することを示します。 また、バッチ
NECなど3社、運用管理ソフト「WebSAM JobCenter」の販売協業を強化
日本電気株式会社（以下、NEC）、中央システム株式会社、日本ヒューレット・パッカード株式会社（以下、日本HP）の3社は11月12日、運用管理ソフト分野の販売協業を強化すると発表した。NECのジョブ管理ソフト「WebSAM JobCenter」のトータルな支援体制の構築や各種ソリューションの拡充などを図る。 WebSAM JobCenterは、定型業務やバッチ処理の自動運用、スケジュール管理を行えるジョブ管理ソフト。ジョブネットワークをドラッグアンドドロップで作成できるなど、GUIを用いたわかりやすいジョブの実行監視・制御が行えるのが特長。日本HPでは、このWebSAM JobCenterをHP JobCenter Softwareとして2004年から販売しており、同社の運用管理ソフトと組み合わせて展開している。 今回の協業では、WebSAM JobCenterの導入促進を目指し、各社のスキ
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Don'tStopMusic - DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる , るびま 21 号
_ [ソフトウェア] DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる サイボウズも memcached + MySQL DB 分散 Cybozu Developer Network: MySQL Users Conference Japan 2007 講演概要 を読んで、memcached でキャッシュ＆ 複数の MySQL をアプリのロジックで分散化というのは、もうすっかりスケーラブルなウェブアプリの作り方として常套手段になったと思いました。 2004 年 4 月の MySQL カンファレンスでの Brad Fitzpatrick の発表 Inside LiveJournal's Backend (PDF)から約 3 年半。Mixi やはてなのようなエッジな企業はだいぶ前からこの構成を採用してますが、対法人のビジネスをしているサイボウズでも採用されたというのは一つ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
日本HP、脱COBOLでJava系環境でバッチ処理推進 ― ＠IT
2007/06/25 日本ヒューレット・パッカード（日本HP）とサンモアテックは6月25日、バッチシステムをJavaで構築した際のパフォーマンス向上を図るフレームワーク、「sunbatch」の提供で協業すると発表した。サンモアテックはサントリーの情報サービス子会社で、親会社であるサントリーのメインフレーム撤廃のノウハウを元にしたフレームワークを使った実績を持つ。sunbatchというフレームワークを用いることで、分散・並列処理メカニズムの開発品質の均一化や、分散処理によるスケールアウトが容易になるというメリットがあるという。 海外と比較して日本のITシステムでは、メインフレームの利用率が高い。日本HPでは2006年6月から、メインフレーム上のアプリケーション資産を最新の技術を使ってオープンシステムに移行させる「メインフレーム・オルタナティブ・プログラム」を展開しており、今回の提携はその一環
Index of /spring-batch
Name Last modified Size Description Parent Directory - docs/ 2024-09-18 16:05 - reference/ 2024-09-18 08:32 - trunk_bkp/ 2017-07-20 18:02 -
TheSchwartz::Worker な Plagger をいっぱい動かす！！ - woremacxの日記
Plagger4 月の末に PlaggerLDR にもどった とか言ってたけど、1 時間おきに Plagger まわしてたら、何重にも起動してひどいことになっていて、対策考えるのまんどくさくなってやめてた。1 時間かかっても巡回が終わらない原因は CPU の限界とかではなくて、相手の鯖の反応待ちの積み重ねなので、Plagger を平行動作させればウマーになるのではないかということで、TheSchwartz とくっつけてみることにした。フィード 1 個ごとに Job を 1 個発生させている。また、フィードごとに色々初期化すると重くなる原因なので、最初に読み込んだら読み直さずにずっと使い続けるようにした。Plagger のロード済みの config を書き換える部分は、昔 Catalyst + Plagger で遊んだときのコードそのまんまでうまくいった。eft_worker.pl #!/u
Spring Batchフレームワーク、2007 JavaOneで披露
2社の協力によりSpring Frameworに基づきながら、これを拡張したオープンソースプロジェクトが2007 JavaOneで披露される。 AccentureおよびInterface21は、5月8日からサンフランシスコで開催される「2007 JavaOne」年次カンファレンスにおいて、エンタープライズバッチアプリケーションを開発するためのオープンソースフレームワーク「Spring Batch」を発表する。 Spring Batchは、エンタープライズシステムの定型作業には欠かせない堅牢なバッチアプリケーションを開発できるようデザインされた、軽量かつ包括的なバッチフレームワークだ。 Accentureの主任アーキテクトを務めるポール・ドハティー氏は、同フレームワークについて、エンタープライズJavaのプログラミングモデル「Spring Framework」に基づきながら、これを拡張したオ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大量データのバッチ処理時間短縮はHadoop(ハドゥープ)技術で。
TheSchwartzStats 0.02公開 - Ogawa::Memoranda
[JSUG]9/7 SpringBatchコードハックス勉強会 (arclamp.jp アークランプ)