Hadoop Conference Japan 2013 Winter にいってきた＆しゃべってきた - たごもりすメモ
Hadoopについてのイベントがあったのでいってきた。なんと東京ビッグサイト！ ソフトウェアのユーザ会主催のイベントで東京ビッグサイトとかすごすぎる*1。主催の方々はお疲れさまでした。 http://hcj2013w.eventbrite.com/ しゃべってきた Log analysis with Hadoop in livedoor 2013 from SATOSHI TAGOMORI Ust録画がこちら: http://www.ustream.tv/recorded/28693167 今回は発表は公募だったので思わず申し込んでしまっていたら通った。ので、自分がつくっているアクセスログ集計システムの全体像について、初期の構造から現在の状態までの変化を俯瞰する形で解説してみた。あれこれ順番に手を入れながら現在の状態にしていったんだけど、そこにどんな理由があったのか、どんな方針でやっていた
How Big Is Facebook's Data? 2.5 Billion Pieces Of Content And 500+ Terabytes Ingested Every Day | TechCrunch
How Big Is Facebook’s Data? 2.5 Billion Pieces Of Content And 500+ Terabytes Ingested Every Day Facebook revealed some big, big stats on big data to a few reporters at its HQ today, including that its system processes 2.5 billion pieces of content and 500+ terabytes of data each day. It’s pulling in 2.7 billion Like actions and 300 million photos per day, and it scans roughly 105 terabytes of data
第2回 レコメンドシステムの実装と課題 | gihyo.jp
今回はレコメンドシステムの実装の問題と、その解決策として利用するHadoopについて説明します。 今回のポイントは以下の通りです。 スケールアップの限界 分散処理フレームワークの民主化 Hadoop Map Reduceの概要 増え続けるデータをどう扱うか レコメンドシステムを協調フィルタリングのうち、ユーザベース方式により実装することを考えます。このシステムでは次のような映画の評価履歴を使い、「この映画を評価した人はこの映画も評価しています」という映画の推薦を行います。 駄右衛門、ザスーラ、5、2009/12/21、・・・・ 駄右衛門、ジュマンジ、5、2009/12/28、・・・・ 菊之助、ブルースブラザーズ、5、2009/12/29、・・・・ 利平、ザスーラ、4、2010/01/01、・・・・ 十三、ハングオーバー、4、2010/01/01、・・・・ 利平、ジュマンジ、4、2010/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
