OSSのJob管理ツールを使ってみた感想 - Qiita
先日ラスベガスで開催されたre:Inventに参加し、その際にデータ分析基盤系のセッションはほぼ参加したのですが、Job管理ツールの話がかなり出ていたのが印象的でした。 AWSにはData PipelineというJob管理サービスがあるのですが、それではなくOSSのJob管理ツールを使っているところが多い印象でした。 日本では自分の観測範囲だとまだ使っているところがあまり多くない印象ですが(実際自分もほとんど使ったことない)、いくつか候補を絞って触って見たので感想を書きます。 あくまでJenkinsしか使ったことがないような個人の感想としてお読みください。。 Airflow Airbnbが開発元 re:Inventでは多くのセッションで紹介されており、一番勢いがある印象を受けた。 依存関係はPythonで書く タスクの登録はUIからやるのではなく、コマンドラインから登録 Python力を前
オープンソース化するハードウェア 〜ヤフーがOCPサーバを導入するまで〜 - Yahoo! JAPAN Tech Blog
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データセンターのサーバを管理しています宮本です。 今回はOpen Compute Project（以下、OCP）の概要とヤフーがOCP仕様のサーバ（以下、OCPサーバ）を導入するまでに至った経緯をお話したいと思います。 オープンソースとハードウェア オープンソースという言葉はよく耳にしますが、この「みんなで作り上げていく」という考え方はハードウェアの世界にも浸透してきています。 ソフトウェアでオープンというとソースコードの共有にあたりますが、ハードウェアのオープンソースは物理的な仕様の設計書を共有することを意味します。 Facebookが2011年にデータセンターやサーバのオープンソース化を目的としてOpen Comp
スケジューラ色々
Chinachuのエンコードジョブのバッチ管理にAzkabanを使っていたのだが、若干不満もあるので他に良いツールがないか調べてみた。 結果、今のところAzkabanが最適だという結論になってしまった。 Azkabanの不満 Project（ジョブのまとまり）の名前が英数字といくつかの記号でしか使えない。使い方がChinachuのエンコード管理なので、 Project名に「タイトル-日付」とかにしたい。 エンコードをずっとやっているとProjectがたまりまくって割りとうっとうしい。検索とかしやすくなると良いのだけど 要件 フロー・ジョブの登録がシェルスクリプトなどからできる（recordedCommandで実行するので） ジョブの依存関係でDAGフローが作成できる フローの即時実行ができる フローの並列度を制御する できれば、登録したジョブ・フローの検索性が良いこと 調査結果 airfl
rubocop のしつけ方 - onk.ninja
rubocop のしつけ方 TL;DR rubocop --auto-gen-config して Offense count の多い順に毎日数個ずつ設定を確認したら 僕の使っている .rubocop.yml ができました これが onkcop か…(ゴクリ / “僕の使っている .rubocop.yml” https://t.co/KVryle9SJq — そのっつ (SEO Naotoshi) (@sonots) October 26, 2015 rubocop とは コーディング規約に準拠しているかをチェックする gem です。 https://github.com/bbatsov/rubocop こんなコードに対してかけると def badName if something test end end 以下のような警告をしてくれます。 Offenses: test.rb:1:5: C:
プログラミング言語別給与ランキング【2015年版】〜1位はScalaの401万5,909円〜 | HRog | 人材業界の一歩先を照らすメディア
昨年、好評頂いたランキングに引き続き、今年も「プログラミング言語別 求人給与額ランキング」を作成してみました。 企業のIT投資が引き続き活発な中、エンジニアの求人ニーズは高止まりが続いています。プログラマーにとっては就職・転職がより有利に、また企業にとってはエンジニアの採用がより困難な状況が続いていますが、 今回のランキングにおいても、それら状況が伺える結果となりました。 すべてのプログラミング言語の平均求人年俸は3,628,019円で、昨年と比較して全体的に給与額の上昇がみられました。 また、プログラマーの掲載件数は16,820件、昨年比123.9％と、全体として大幅な増加がみられますが、プログラミング言語別に状況をみて行くと、技術トレンドやニーズの移り変わりが現れており、非常に興味深いところです。 今回の調査も昨年に引き続き、IT職種の求人に強い正社員系媒体の中から下記の8媒体を対象に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://kwatch.houkagoteatime.net/blog/2015/10/28/keight_rb_released/
Bindit