mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です． このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています． 今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤 まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
動的計画法 その１
イントロダクション 動的計画法（Dynamic Programing：以下「DP」と記述）は，ある種の最適化問題を効率的に（少ない計算時間で）解くための方法である。 アルゴリズム関連の参考書籍では，次のように説明される。 k 個の要素だけをとったときの最適解が表の形で与えられているとする。これに要素を1個付け加えたときに，最適解がどのように変わるかをこの表をもとに計算し，表を書き換える。 この操作を続けて，n 個の要素すべてを使った最適解が求まればよい。表の添え字としては，問題の性格を規定するパラメータのうち要素の個数以外のものを選ぶ。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
