spotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
Let's Chat — Self-hosted chat for small teams
Way back in 2012, we didn't like any of the existing chat services out there. So we decided to write our own. Let's Chat is a persistent messaging application that runs on Node.js and MongoDB. It's designed to be easily deployable and fits well with small, intimate teams. It's free (MIT licensed) and ships with killer features such as LDAP/Kerberos authentication, a REST-like API and XMPP support.
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
ライセンスとは何か、整理してみた | オープンソース・ライセンスの談話室
先日の勉強会でも取り上げた「ライセンスとは何なのか」という話題について整理してみます。オープンソース界隈では、オープンソースライセンスは、契約なのか、そうでないのかという話が、昔からありまして。「契約として厳密に考えないとビジネスでは使えないだろう」という意見もあれば、「そんな細かいことは良いんだヨ。イノベーションだ、新しいことに挑戦することが重要だ」という考える人もいます。 私としては、開発者やコミュニティを尊重して、オープンソースライセンスを遵守するなら、実務上は問題にならないと考えています。ただ、「コミュニティって何それ。うまいの？」という人もいるので、そういう立場の人たちとコミュニケーションを成立させるためにも、「そもそもライセンスとは法律的に何なかの」を整理してみました。 日ごろ見かけるライセンス あまり気づいていないかもしれませんが、「ライセンス」(License/Lisenc
Sketchの使い方: 初心者がマスターしておきたいSketchでのデザイン作業がぐっと効率的になるチップス | コリス
10 Sketch Tricks for Designers 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様に許可を得て翻訳しています。 レイヤー間でスタイルをコピペ レイヤーの移動 カラーピッカー 角丸の半径を個別に設定 再利用できるシンボル ツールバーのカスタマイズ iOSデバイスでデザインレビュー Sketchの便利なプラグイン Sketchでプレゼンテーション iPhone, iPadの画面を録画 レイヤー間でスタイルをコピペ レイヤーに同じデザインをコピペしたい時は、カラーコードなどをコピペするのではなく、スタイルをレイヤー間でコピペできます。 レイヤー間でスタイルをコピー ⌘ + Option + C レイヤー間でスタイルをペースト ⌘ + Option + V レイヤーの移動 レイヤーを上下に移動させたい時は、ドラッグ&ドロップの代わりにキーボード
社内改革は、成果が出やすい小さなことから始めるといい
どちらかというと私は、いわゆる起業よりもマッキンゼーでのコンサルティングや日本交通の企業再生のキャリアが豊富です。なので、今回は企業における社内改革の話をしたいと思います。 企業には、すぐには結果が出ないけれども大事なことがあります。たとえば、私の会社では「事故防止」です。タクシーの運営事業者にとっては、安全が一番大事です。 しかし、安全に関する施策が実を結ぶまでにはある程度時間がかかります。こちらが望まなくても事故が起きてしまうこともあります。事故を起こさないようにあらゆることを一生懸命やって、「事故数が前年比1割減りました」となっても、事故にはさまざまな要因が重なりますので、本当にその施策によって減ったのかがわかりません。 企業再生時の社内改革の仕事を通して、私は、社内改革においては、このような大事だけれども結果が見えづらいことよりも、まずはわかりやすく結果の出やすいものにフォーカスし
コミュニティマネージャー職を作ったよという話
弊社では、メディア系の事業と、サービス系の事業の2つがあります。メディアとは、コンテンツによってユーザーに価値を届けるもので、サービスは、ユーザーが動きやすい場を作ることで、価値を届けるプラットフォームを提供する、という住み分けです。 そんな中で、サービス系でも、コミュニティをきちんと作るのが大事だということで、コミュニティマネージャー職というものを作りました。専門職は、エンジニア、デザイナー、エディターしかない弊社ですが、4つ目の職というイメージです。 そこで、この記事で、どんな職かを紹介したいと思います。 コミュンケーションとコミュニティの違いまず、コミュニティとは何か？からです。混合しやすい、「コミュニケーションとコミュニティの違いは何か」から説明します。 コミュニケーションとコミュニティはそれぞれ コミュニケーション・・・線コミュニティ・・・場と定義しています。文字面が似ているので
iemo流、ネットメディアの立ち上げ方
私が住まいのキュレーションメディアである「iemo」を立ち上げた経験からメディアの立ち上げ方の考え方をいくつか紹介します。 まず、市場の選び方です。メディア立ち上げの際に、どのジャンルを狙うのか？という点に関して、考慮すべき軸が大きく2つあると思っています。それは、 ・業界の選び方 ・参入するタイミング です。 まず業界の選び方ですが、一般的に、参入する業界の市場が大きい方がビジネスになりやすいという考え方があります。しかし、その考え方だけでは、単に不動産の市場が大きいから不動産メディアをやろうとか、金融の市場が大きいから金融系メディアをやろう、というレベルの話にしかなりません。それでは、当然、うまくいかない場合が出てきます。 では、うまくいく場合といかない場合で何が違うのでしょうか？それは、「その業界は今、パラダイムシフトが起こるタイミングなのか」という軸で見極めができているかです。 メ
合宿/ハッカーズチャンプルー/esa.ioの作り方 - esa-pages.io
esa LLC @ハッカーズチャンプルー2015 #hcmpl ﾜﾚﾜﾚについて esa LLC エンジニア1人 + デザイナー1人 東京・渋谷 沖縄初めて めんそーれ！みんなよい人で海はきれいですばらしい。 esa.io とは esa.io 知ってる ﾉｼ esa.io 使ってみたことある ﾉｼ esa.io をいつも使ってる ﾉｼ esa.io とは Markdownで書ける情報共有ツール Better Wiki ? esa.io とは 最初から完璧なドキュメントを目指さず、更新しながら徐々に情報を育てることを目指した設計 最初は趣味 → 事業化 Webサービスを最初は趣味で作り始め、事業化するにいたるまでのあゆみや、大事にしていること、やらなかったことなど esaのあゆみ 2014.05.10 esa誕生 "(\( ⁰⊖⁰)/)" 1歳2ヶ月くらい 2014.05.10 p4d 開発
目黒区役所に婚姻届を提出しました - Kentaro Kuribayashi's blog
本日6月28日、大安吉日ということもあり、目黒区役所に婚姻届を提出しました。特に書類上の不備等がなければ、受付日の本日が受理日となり、すなわち婚姻の成立日ということになります。 かねがねインターネット上で「結婚したい」と書いておりましたところ、「結婚しましょう」というお申し出がありました。私が結婚したいという意志を述べていたことが本心からなのであるとすれば、呼応したお申し出に関してはこれを受けるのが合理的です。 物事を合理的に判断するというのが私の信条ですので、その観点から本件について考察を行いました。その結果、現に私の意志が本心からなのであってみれば、すなわちお申し出を受けることは合理的であると判断し、婚姻届の提出に至りました。 なお、お相手につきましては、一般の女性ですので公開は差し控えさせていただきたく存じます。何卒ご了承くださいますようお願い申し上げます。 というわけで、今後ともみ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ProTip/いろいろな(⁰⊖⁰)
The First Penguin
GitHub - rhysd/wandbox-vim: Wandbox plugin for vimmers. http://melpon.org/wandbox/
Wandbox