巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
とっつきにくいけど実はエクセル以上に賢いヤツ フリー統計解析ソフトウェア「R」を触ってみよう【R入門講座】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
なぜなぜ分析は、危険だ | タイム・コンサルタントの日誌から
「なぜなぜ分析」は、品質管理や労働安全管理などの分野で、よく用いられる手法だ。発生した問題事象の根本原因を探るために、「なぜ？」「なぜ？」とくりかえして掘り下げていく。この問いかけを“5回はくりかえせ”と、よく指導しているため、別名「なぜなぜ5回」とも呼ばれる。元々、トヨタが発祥の地であり、トヨタ生産方式の普及とともに、他の業界や分野でも使われるようになった。 図は、トヨタ生産方式の生みの親である大野耐一氏の著書から一例をとって、図示したものだ。工場内のある生産機械が故障してとまったとき、「なぜ機械は止まったか？」の問いに、「オーバーロードがかかって、ヒューズが切れたからだ」と答えただけでは、じゃあヒューズを交換して再起動すればいい、という答えしか出てこない。 しかし、なぜオーバーロードがかかったのか？→ (2)軸受部の潤滑が十分でないからだ、とほりさげ、 さらに (3)潤滑ポンプが十分組
「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記
まず、両者はかなり性質の異なるプロダクトなので、以下の比較は筋違い。 筋違いであることを前提に、ストリームデータ処理プラットフォームとしての両者を比べてみる。 基本情報 fluentd http://fluentd.org/ 今をときめくログコレクター/イベントアグリゲーター。Rubyで実装されているが軽量高速。 RPC基盤ではなく、その下のレイヤーに位置するプロダクト。 Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureで実装されている。 概要については、下記のスライドがとてもわかりやすかった。 Twitterのリアルタイム分散処理システム「Storm」入門 ストリームデータ処理で何をするのかについて ストリームデータ処理のニーズについて、自分が理解している範囲での簡単な説明。 典
Linux ファイルシステムにおけるバグ傾向
Linux には複数のファイルシステムがあります．これらには，仕様としての機能差の他に，品質・安定度に関して大きな差があると考えられています． 今回は，そのあたりを定量的に分析した論文をご紹介． A Study of Linux File System Evolution [キャッシュ] https://www.usenix.org/conference/fast13/study-linux-file-system-evolution 調査の対象は，XFS/Ext4/Btrfs/Ext3/Reiser/JFS の 6 つのファイルシステム．これらについて，Linux 2.6.0 (Dec ’03) から 2.6.39 (May ’11) の間に取り込まれた 5,079 個のパッチを分析しています． パッチの種類 まず，パッチを次の 5 種類に分類しています． Bug バグの修正． Reli
Web系女子がLispと出会って統計学に目覚めるまでのお話 - あんちべ！
こんにちは！今年の春からWeb系企業でHTML/CSSデザイナーとして働きだしたキラキラ女子（を目指してる）のあんちべ（23）です！よろしくお願いします！私は普段自社のWebサービスのCSSなどを書いている*1のですが、最近データマイニングに興味を持ち始め、データを分析して、自社サービスの売り上げ改善に貢献したいなーと思うようになりました！でも。。。私は文系出身で統計学とか全然わからない*2し、プログラミングも得意じゃない*3し、高価な統計解析ソフトを買うのも辛いです。。。無い無い尽くしですね＞＜；！そんな私に救いの手が！インストール作業不要で、便利な統計処理機能が色々あって、しかも無料という素晴らしいソフト*4を発見しました！その名も"Incanter"です！なんでも、 Lispっていう古くから使われてきた実績のあるプログラミング言語で動いてて、Lispの文法でどんな処理をすればよいかを
魔法少女モノアニメの歴史と、『魔法少女まどか☆マギカ』 | 編集・執筆のプロダクション・タブロイド
—– この原稿は、三才ブックスから刊行された『超解読まどかマギカ』収録の原稿です。魔法少女アニメの歴史から魔法少女まどか☆マギカについて語ったもので、映画公開記念に期間限定で公開いたします。まどか☆マギカを振り返り、新たな物語を確認する際の補助線になれば幸いです。 もし、この原稿が気に入られましたら、書籍『超解読まどかマギカ』を、お手にとっていただければ幸いです。 また、iPhoneアプリでも販売中です。現在キャンペーン期間で特別価格85円になっておりますので、こちらも是非。 —– ■魔法少女モノアニメの歴史と、『魔法少女まどか☆マギカ』 ●久保内信行 『魔法少女まどか☆マギカ』は題名に「魔法少女」というジャンルを冠して発表された。事実、使い魔であるキュゥべえと契約して魔法少女に変身して敵である魔女と戦うという外見は、確かに「魔法少女モノ」といえる。 しかし、視聴者側から見ると従来のいわゆ
UMLを使った既存システムの分析
UMLで表現する 分析のためのモデリング 今回紹介する表現方法は、分析の手法として活用するものです。つまり「調べる⇒分析する⇒結果を記述する」という流れではなく、「調べる⇒記述する⇒分析する」というサイクルを前提にしています。限られたアイコンを使い、パターンに従って記述することが分析につながります。個々の要素をつなげる、分類するという行為を繰り返すことが、対象を深く知ることになるのです。ポイントは、間違っていてもいいので、とにかく記述することです。間違いは気づいたときに直せばいいのです。 以下に表現方法を紹介しますが、結果を整理するのではなく「書きながら考える」ということを意識しながら使ってください。そうすると、少数の記号と決まったパターンで表現することの価値を実感できると思います。 表現方法 システムの地図は6種類のデータと2つのモデルで表現します。 誰に： 「アクター」、「外部システ
なぜなぜ分析があぶり出すチェックリスト症候群
ちょっと想像してみてほしい。あなたの勤務先に2つの職場があるとする。「業務を遂行する際に大量のチェックリストを渡されて、作業を終えるたび成果物をチェックするよう命令される職場」と「チェックリストが無くても作業ミスを防げるよう作業手順の改善が日々行われている職場」だ。どちらかを選びなさい、と言われたら、どちらへの配属を希望するだろうか。たぶんほとんどの人が、後者を望むのではないだろうか。 それにもかかわらず「ヒューマンエラーで起きた品質事故の再発防止策を考えろ」と言われると、原因は「担当者の注意不足」とし、対策は「チェックリストを作り確認を徹底」としてしまうマネジャーが、少なくないらしい。 筆者がこのことを意識するようになったきっかけは、旧所属部署（2010年12月まで日経情報ストラテジー編集部）で担当した「なぜなぜ分析」の連載記事だ。この連載は、独立コンサルタントであるマネジメント・ダイナ
｢モテる女｣の法則とは？ ｢ブス｣がモテている実態と背景を詳細分析！
｢モテる女｣の法則とは？ ｢ブス｣がモテている実態と背景を詳細分析！2011.01.19 11:307,453 福田ミホ 意外だけど、納得！ 米国の大手出会い系サイトOkCupidが、サイト内でのデータを使って、どんな女性がモテるのかを分析しました。やり方としては、女性のルックスに対する評価と、実際に女性が受け取る男性からのメッセージの数の関係を分析したのです。その結果、世間でよくある｢あいつブスなのにモテてるみたいだけど、何なの？｣という状況がデータ上でもはっきり確認されました。その状況はどのように、なぜ発生しているのでしょうか？ 以下、OkCupidで行われた分析の詳細です！ 今回は女性の魅力について分析してみたのですが、ありがちな写真の分析とかではなく、写真の向こうにあるもの、つまりその写真を見て男性が女性をどう評価し、行動したのかを分析しました。 いろいろ発見がありましたが、主にこ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
in the looop | Looops communications
ソーシャルゲームにレコメンドエンジンを導入した話