バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
私も女の方が異性への要求はハードル低いと思うが その最低限を満たす男性..
私も女の方が異性への要求はハードル低いと思うが その最低限を満たす男性の少なさよ… 「人として最低限の思いやりがあって差別をしない、清潔感のある見た目」 私ならこの二つだけでいい。いっそニートでも中卒でもいい。 でもいないんだよね。特に「差別をしない」男性の少なさ
「Webで全編公開されてる漫画」を買う人は意外と多いが「中身が分からないから買って確かめる」という人は凄く少ないという話
砂鉄 @satetu4401 意外な事に「Webで全編公開されてる漫画」を買う人間は多い一方「中身が分からないから買って確かめる」という人間は凄く少ない。サンプルを提示する場合も「続きは買って確かめてね」というパターンよりも、良い感じにオチの付く所まで公開して「別の話もあります」の方が売り上げが良い 2016-12-03 19:46:20 砂鉄 @satetu4401 これはもう単純な消費者心理として「知ってる物に金を出す」「分からない物には金を出さない」というやつがあって、人間は結果が約束されている方が金を出し易いのである。ガチャだって欲しいキャラが居るから回すのであって、何の目的も無く取りあえずで回す奴は居ない 2016-12-03 19:50:33
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
