tsry9000のブックマーク - はてなブックマーク

クックパッドのデータ活用基盤 - クックパッド開発者ブログ
インフラ部 & 技術部の青木峰郎です。クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。今日はその全体像についてお話ししたいと思います。データ活用基盤の全体像まず、以下にクックパッドのデータ活用基盤の全体像を示します。大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。以下1つずつ説明していきましょう。入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。このインポート処理には、つ
tsry9000 2017/10/06
リンク
Webpackerを使ったRailsでのJavaScript開発 - クックパッド開発者ブログ
こんにちは。マーケティングプロダクト開発部の長田です。この記事では、私が現在進めているプロジェクトで、Webpackerを使ったJavaScriptのモジュール管理を導入したので、それについて紹介したいと思います。 Webpackerとは Webpackerとは、Webpackを用いてRails上でJavaScript開発をするために必要な一連の流れを提供してくれる、Rails organizationで開発されているgemです。これまで、Rails上でJavaScriptのパッケージをどのように管理するか、また、モジュール依存をどのように解決するかについて、多くの選択肢があり、それらをどう組み合わせて使うのかについて悩まされてきました。このブログでも過去に何度か記事が投稿されており、その中でも複数の選択肢が上げられています。 webpackを使った Rails上でのReact開発
tsry9000 2017/03/28
リンク
開発の見積もりとスケジュール管理 - クックパッド開発者ブログ
こんにちは。会員事業部の丸山です。エンジニアが開発を開始する時にはタスクの見積もりとスケジュールを作成行って、実装を進めていくと思います。しかし1ヶ月を超えるような規模の開発をする場合、なかなか予定通りの期日に終わらなかったりすると思います。そして大抵の場合、増える方向になりますよね。今回はそういうことにならないために、私が気をつけていること・実践していることをいくつか紹介したいと思います。見積もりとはまずは「見積もり」とは何なのかを正しく理解したいと思います。一般的には「見積もり」＝「全タスクとその工数を洗い出す」というものだと思います。しかしここで以下のことに気をつける必要があります。見積もりとスケジュールとコミットメントは違う見積もりとはあるタスクがどれだけの工数(規模)なのかを算出することです。対して、スケジュールとはあるタスクがどれだけの工期(期間)なのかを
tsry9000 2016/05/18
リンク
巨大なバッチを分割して構成する〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。今日はわたしが開発している「たべみる」の背後で働いている巨大バッチの構成について話したいと思います。たべみるのバッチは約3000行のSQLで構成されており、処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。「たべみる」とはまず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。「たべみる」は企業のみに提供しているB2Bの分析サービスで、クックパッドのレシピ検索の分析をすることができま
tsry9000 2015/06/27
リンク
1