バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
技術者からベンチャー企業経営者へ | Social Change!
先日、とあるお客様のところで、講演をさせて頂く機会を頂きました。 普段の講演では、アジャイルやRuby、クラウドといった技術についての話のご依頼は多いのですが、今回は、異業種ということで、あまり専門的な話をしないことにしました。 ただ、ふと考えてみると、まだ私にそれほど偉そうに話せる実績はないので、自分が辿ってきたキャリアと、その中で起きた出来事や考えたことなどをお話することにしました。 「技術」について話をするのではなく、「自分」について話すのはとても緊張もしましたし、その資料を作るにあたっても、「人生の振り返り」をしないといけなくて、自分自身にとって貴重な体験になりました。 こうしてふりかえったことで、今の私にとって次に選ぶ道の指針が見えたように思います。
退職します
2010年度に新卒で入社して1年と数ヶ月勤めた会社を，このたび，退職することにいたしました．今後，私は大学院に戻り，修士課程の頃から引き続いて，自然人類学（生物としてのヒトを，進化や文化などの観点から解釈し理解しようとする分野）の研究をする予定です． お世話になったみなさま，本当にありがとうございました．この1年あまりの期間で，視野が広がり，自身の軸が明確になりました．たくさんの魅力的な方に出会い，大いに刺激を受けました．そして，これからもどうぞよろしくお願いいたします．（といっても，退職日はまだ少し先ですが） …さて，このエントリの本題に移ります．ここでは，なぜ私がそのような決断をするに至ったか書いてみたいと思います． 今回の選択をするにあたって，考えたことが3つありました． 1.自分のしたいことは何か？ 2.自分は何において価値を創り出せるのか？ 3.これからの社会では何が必要とされる
グリー株式会社 | 採用情報 | 世界を変えるエンジニア特集 ｜ エンジニアインタビュー
...............エンジニアオリエンテッドな環境............... 私はエンジニアオリエンテッドがグリーの強みでもあると思っています。「エンジニア肌」の仲間が多いことで働きやすく、同じ感性や価値観を共有でき、新しい何かを生み出す際も理解を得やすいからです。そして、それが変化の激しいインターネットサービスにおいて欠かせないスピード感にもつながっています。前職のメディア制作会社には、エンジニアとして事業開発から関われるということに惹かれて転職したのですが、エンジニア肌の人が非常に少なく、自分が思うように仕事がなかなかできませんでした。技術が本当に好きで、技術でサービスやビジネスに貢献する。そして、そのためにはどんな困難からも逃げない仲間たちと切磋琢磨してみたいと思ったのです。グリーの面接で、エンジニアの裁量が大きく、エンジニアがイニシアチブをとってサービスを動かしている
グリー株式会社 | 採用情報 | 世界を変えるエンジニア特集 ｜ エンジニアインタビュー
...............BtoBからBtoCへの挑戦............... 私はグリーに転職するまでの約10年間、C言語でルータのソフトウェア開発をしていました。インターネットをつなぐプロトコルの実装や設計はやりがいがあり、楽しかったのですが、10年間もやっているとソフトウェア開発のノウハウや技術も自分なりに蓄積され、技術的な探究心が満たせなくなっていました。そんな自分にとって魅力的に映ったのが、その頃から盛り上がってきたモバイルや動画等、コンシューマ向けのインターネットサービス。あくまで企業が相手のBtoBではなくユーザーが直接見えるBtoCのサービスネットワークをつくってみたいと思い、それを友人に話したところ、「いい人がいるよ」と紹介されたのがグリーの田中社長でした。グリーにはまだ誰もネットワークエンジニアがいないといった話を聞き、成長期に突入しようとしていたグリーで、コ
フリーランスになる準備をしよう！独立前に知っておいてほしいこと。 知らないはリスク
■屋号を決める まずはこれから自分が背負う屋号を決める必要があります。 屋号とは個人で使う会社名みたいなもの。 ●●商店とかも屋号ですね。 屋号を決めるにはいくつか注意点があります。 1.相手に伝わりやすいかどうか 例えば取引先に電話した時など ●●●の（個人名）です。と電話受付の方にお電話しないといけませんが、 覚えにくい、分かりにくい名前だと何度も●●ですか？いえ違います●●ですみたいな やりとりをしてしまいます。 できれば一言で伝わるものがいいでしょう。 僕は独立当時は個人用に取得していた「strive-ex」というのを そのまま屋号に最初使っていたのですが、多くの人が 「strive」や「ex」という単語が聞きなれない、間にハイフンがあるなど 問題が山積みだったため、2年目には「stid」という短いものに変更しました。 ※strive interactive design から短縮
～面白法人カヤック中途採用説明会『カヤック オープンオフィスDAY』のご案内～ - KAYAC News
「何をするかより、誰とするか」を大切にするカヤックは、このたびオフィススペースを開放し、カヤックのお仕事に興味のあるみなさんと社員がざっくばらんにお話できる会を設けさせていただきました。 各職種の社員がその時間オフィスにおりますので、ぜひお気軽に遊びに来てください。 みなさんとお会いできることを楽しみにお待ちしております。 ■日時 ・１回目：5/21（土）14:00～15:30 ・２回目：5/21（土）16:30～18:00 ■内容 １、カヤックのご紹介 ２、質疑応答 ３、社員との交流・座談会 ４、今後のご案内 当日は、簡単なカヤックのご紹介をさせていただいたあと、ご希望の社員とお話ができる時間を設けています。 疑問・質問等、この機会に何でもぶつけてください！ ■場所：カヤック恵比寿支社 http://www.kayac.com/company/map/#Ebisu ■
Careers | Heroku
Resources What is Heroku? Help Customers Careers Events Podcasts Compliance Center Heroku is for Developers CTOs Team Collaboration Startups Enterprises Agencies Students See More Languages Node.js Ruby Java PHP Python Go Scala Clojure See More Latest News from the Heroku Blog Heroku Blog Find out what's new with Heroku on our blog. More news View all blog posts
[JOB BOARD] 日本技芸社にて、GAE上でオフィスツール“rakumo”を開発するメンバーを募集！ MOONGIFT
株式会社日本技芸では先進的な技術とUIを追求して、日々進化を続けるオフィスツール「rakumo」の開発メンバーを募集しています！！ 日本技芸は、技術と表現、両方のソリューションを統合的に提供させて頂くことで、様々なコミュニケーションを生み出し、 人々の生活を豊かなものにすることを目標とするインターネットソリューションプロバイダーです。 そんな日本技芸が企画・開発を手がける、新しいオフィスツール「rakumo」は、バックエンドはGoogle App Engine、フロントエンドはJavaScriptで開発された新しいオフィスツール群の総称です。 GAE等、先進的な技術を取り入れつつユーザ様を満足させるサービスを提供するため、弊社技術者が日々開発を進めています。 日本技芸ではWEBの先進的な技術トレンドに興味をお持ちの開発者の方々を求めています。一般の制作会社では実際の案件としてそういったもの
「優秀なエンジニアはどこにいて、企業はどうすべきか？」 - カレーなる辛口Javaな加齢日記
http://togetter.com/li/51040 これは多分IT業界を念頭に置いていると思うんだけど， 「企業は優秀な技術者から使い捨てにした．．．そして誰もいなくなった．」 という可能性を想定してないのにビックリ．まるで「技術者なんて掃いて捨てるほどいます，優秀な技術者も量は足りています．ないのは見付ける方法だけなのです」という雰囲気． 3年で辞めた若者はどこへ行ったのか―アウトサイダーの時代 (ちくま新書) 作者: 城繁幸出版社/メーカー: 筑摩書房発売日: 2008/03/01メディア: 新書購入: 12人 クリック: 412回この商品を含むブログ (275件) を見る「できるヤツから潰される」http://www.mars.dti.ne.jp/~hirok/xp/col/031.html 優秀なエンジニアの転職活動を考えてみると、転職サイトを使うことはまずない。大抵知り合い
転職サイト"だけ"に頼らない転職 | 就職/転職 | キャリア形成のお手伝い | あすなろBLOG
※この記事を読むのに必要な時間の目安：4分15秒 はてブの最近の人気エントリで優秀なエンジニアはどこにいて、企業はどうすべきか？というのを知って今朝読んでいて、人材ビジネスの中にいる人間の視点でみてもかなり本質をついていることがありました。 優秀なエンジニアの転職活動を考えてみると、転職サイトを使うことはまずない。大抵知り合いに誘われた、とかプレスリリースなどで話題になった企業にコンタクトして〜とか言うパターンが多い。 moongift ここ最近ネット系企業で著名な方たちが転職されたことが話題になりました。 GREE入社した元はてなの伊藤さん DeNAに入社した元Oracle（というかMySQLの）松信さん サイバーエージェントに入社した並河さん 少し前ですがlivedoorに入社した元mixiの長野さん 上記の方と面識があるわけではないので当然推測になりますが、著名な転職サイトを通じて応
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ジャンプページ：統合システム運用管理 JP1：日立
Play framework - Demonstrate a Job progress status solution for Playframework
TechCrunch
PR：受託開発から転身、ジンガのエンジニアになって見えた「キャリアプランの広がり」
kau.li