巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
スマホマーケットの概要と、�マーケティングの失敗例と改善 （アナリティクス アソシエーション 特別セミナー）
「少数精鋭で勝つ」Androidアプリ世界展開のポイント～アプリ収益化編～ ■テーマ 成功するマネタイズ戦略の“チェックポイント” ■マネタイズの目的とは？ 収益の最大化が一番重要 ■アプリ事業の売上を構成するものは？ ・アプリ内課金 ・アプリ内広告 上記の2つのみ ■アプリ事業のコストを構成するものは？ ・開発コスト ・運用コスト ・プロモコスト リクープをしなければ収益は生まれない ■アプリ内課金のチェックポイント ・ポリシー＞セッティング＞ルール＞マネタイズの方式 ・アプリ内課金での成功は要件定義の上に成り立つもの ・海外展開においても不変 ・要件定義をプロモ担当から開発者まで全員に共通認識化させることが大切 ■アプリ内広告のチェックポイント ・課金+広告モデルで市場の隙間領域を狙う ・LOWコスト/HIゲインの収益モデルを目指す ・アプリ内広告の収益化は大きく4つにわかれる ・アプ
データの科学--勘に頼らない意志決定を
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 最近、巷ではビッグデータやデータサイエンティストという言葉をよく目にします。2013年7月16日には一般社団法人データサイエンティスト協会が発足し、データサイエンティストに必要となるスキルや知識を定義し、育成カリキュラムを作成するなど、高度IT人材の育成と業界の発展に向けた活動も展開しています。 しかし、期待の大きさからか求められるスキルレベルは非常に高く、Hadoopなどのインフラ技術から統計・機械学習などの専門知識、コンサルティング能力までを求められるケースが多く、なかなか担い手が増加していないのが現情です。 高度な分析を実施するのであればプログラミングや数学などの知識を避けることはできません。本連載では、一般のビジネスマンがデータ
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記
まず、両者はかなり性質の異なるプロダクトなので、以下の比較は筋違い。 筋違いであることを前提に、ストリームデータ処理プラットフォームとしての両者を比べてみる。 基本情報 fluentd http://fluentd.org/ 今をときめくログコレクター/イベントアグリゲーター。Rubyで実装されているが軽量高速。 RPC基盤ではなく、その下のレイヤーに位置するプロダクト。 Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureで実装されている。 概要については、下記のスライドがとてもわかりやすかった。 Twitterのリアルタイム分散処理システム「Storm」入門 ストリームデータ処理で何をするのかについて ストリームデータ処理のニーズについて、自分が理解している範囲での簡単な説明。 典
データレイクと分析 - ユースケース別クラウドソリューション | AWS
AWS は、あらゆるデータ分析のニーズに適合する包括的な分析サービスを提供し、あらゆる規模や業種の組織がデータを活用してビジネスを改革することを可能にします。ストレージと管理、データガバナンス、アクション、エクスペリエンスなど、AWS は最高のコストパフォーマンス、スケーラビリティ、最低コストを実現する目的に合わせたサービスを提供します。 データベース、ログストリーム、アプリケーション、マーケットプレイス、データレイク、ウェアハウスのどこにあっても、AWS、オンプレミス、その他のクラウドのすべてのデータにスムーズかつほぼリアルタイムでアクセスできます。AWS では、データベース、ストリームとログ、データウェアハウスまたはデータレイク、アプリケーション、データマーケットプレイスなど、データを管理するための最も包括的なサービスセットを提供しています。 コンプライアンス義務を果たすために、信頼で
ひとりマーケティングのためのデータ分析 -How to BDA
About this site ビジネスデータ分析のハウツーをコンテンツとする個人製作のサイトです。基本的にハウツーの延長線上でHTMLやCSS，あるいはCGを書(描)いてみたいと思った筆者の趣味的サイトでしかありませんが，もしどこかでどなたかのお役に立つことがあれば幸いです。 プライバシーポリシー・権利表記・著作権と禁止行為・免責事項 プライバシーポリシーその他 その他特に記載しておくべき事項 ハウツー上の設定はフィクションです。例示として使用した人物・会社・店舗および出来事は，実在の対象，あるいは実際に起きた事象とは一切関係ありません。 既存のコンテンツについて，内容の充実を図るため適宜修正・補足等の見直しを入れることがあります(この場合当該箇所に修正内容に関する注釈はおかず，文面等を直接書き換えいたします)。 筆者／サイト管理者 hawcas ご返答いたしかねますこと 「操作手順のこ
ファッション誌トップシェア、宝島社の女性誌マーケティングの秘密（上）(1) | 企業戦略 | 投資・経済・ビジネスの東洋経済オンライン
ファッション誌トップシェア、宝島社の女性誌マーケティングの秘密（上）(1) - 12/07/30 | 16:18 電子書籍やネットメディアの台頭、少子高齢化などで構造不況業種とも言われる出版業界。そんな不況下にあって、異例の好調ぶりを見せるのが宝島社だ。2011年7〜12月期の出版部数は業界全体が▲3．2％のマイナスとなる中、2．3％のプラスを記録（日本ABC協会参加ファッション誌ベース）している。同期間のファッション誌全体の中で宝島社は22．9％を占め、2位の集英社を引き離し、2010年1〜6月期より4期連続で出版業界トップシェアをキープした。宝島社好調の秘密はどこにあるのか、マーケティング本部部長の桜田圭子氏がそのノウハウを明かす。 宝島社は、1971年に創業、当初は地方自治体向けコンサルティングを主な事業としていたが、現在はビジネス誌である雑誌『宝島』の版権を取得して以降、90年代
ソーシャルアプリを分析してみた
CEDEC2021 ダウンロード時間を大幅減！～大量のアセットをさばく高速な実装と運用事例の共有～ SEGADevTech
「Webサイト改善は図を描きなさい！」 〜 SiteCatalyst達人から教わった分析フレームワーク-Six Apart ブログ｜オウンドメディア運営者のための実践的情報とコミュニティ
TOP > 「Webサイト改善は図を描きなさい！」 〜 SiteCatalyst達人から教わった分析フレームワーク こんにちは。マーケティング担当の伊藤大地です。 先日、米AdobeでWeb解析ツール「SiteCatalyst」のプロダクトマネージャープログラムマネージャー（初出時、役職を誤って表記しておりました。お詫びし、訂正いたします）を務めていらっしゃる清水誠さんが、一時帰国された折に弊社に遊びに来てくださいました。たっぷり2時間、最新Webマーケティング事情やWeb解析についてお話を伺いした中から、WebのKPI測定・改善サイクルとそのノウハウについて、エッセンスをお伝えしたいと思います。 清水さんが提唱されているWeb改善のフレームワーク「コンセプトダイアグラム」という手法は、主に3つのプロセスから成り立っています。 ユーザー視点でサイトを図解し、コンセプトを明確にする サイトの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
Excel 統計方法解説辞典
http://hiroma20.com/archives/4326