バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
ビルドシステム構築に関して - wyukawa's diary
面白いエントリ見つけました。 ビルドシステム構築スキルの重要性 - 達人プログラマーを目指して いやー、もう本当によくわかる。 100KSのコンパイルも通らないJavaコードより1KSのbuild.xmlのほうが重要だったりするんだけど、その必要性はあんま理解されてない。 そのせいかビルドスクリプトが無くてビルドがIDE依存なプロジェクトって結構あると思う。そういうプロジェクトって文字コードがらみの問題でjavacでコンパイルしようとすると、java.nio.BufferOverflowExceptionとかで落ちたりするわけだ。 ＃Eclipseでコンパイルできるからといって、javacでコンパイルできるわけではない。 最初からビルドが自動化されてCIしていればこのような問題はもちろんすぐ気づく。 小規模プロジェクトであれば、ビルドが手動でもなんとかなるだろうが、大規模だとつらい。 そこ
LinuxのTCPチューニング - wyukawa's diary
WEB系エンジニア？はLinuxのカーネルパラメータをチューニングして性能を上げたりしているようですが、その辺に興味があったのでメモっときます。正しいかどうかの確証は全くありません。あしからず。ちなみに僕自身はこの手のパフォーマンスチューニングは経験無しです。 カーネルパラメータといってもいじる項目はいろいろあるようでDB周りだと共有メモリのサイズをいじったりするんだと思いますが、今回はTCPの話です。 なおこのエントリを書くにあたってプロのための Linuxシステム構築・運用技術 (Software Design plus)の4章やLinuxカーネル2.6解読室の24章を参考にしました。 TCPチューニング関連でググってみると参考になりそうなのはこの辺。 見落としがちなLinuxのWEBチューニング | Act as Professional Hadoop徹底入門の10章でもtcp_fi
継続的デリバリー 信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化 - wyukawa's diary
継続的デリバリー 信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化 作者: David Farley,Jez Humble,和智右桂,高木正弘出版社/メーカー: KADOKAWA/アスキー・メディアワークス発売日: 2012/03/14メディア: 大型本購入: 24人 クリック: 567回この商品を含むブログ (53件) を見る 発売日は3/5なのですが僕はレビューに参加したのですでに読み終えてます。忘れないうちにエントリを書きたいと思います。 「イントロ」、「本書を読んだだいたいの感想」、「抽象化によるブランチ」、「誤字脱字、訳質」、「対象読者」、「最後に」と続きます。長いので最初の２つだけ読むと良いかも。 イントロ 最近は アジャイル開発と継続的デリバリー | NTTデータ だったり 明日から始まるデブサミでの川口さんのセッションにあるようにContinuo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
