large scale collaborative filtering using Apache Giraph
This document discusses large scale collaborative filtering using Apache Giraph. It describes neighborhood-based models and matrix factorization for collaborative filtering. It also details how these techniques were implemented and optimized in Giraph to provide recommendations for billions of Facebook users and ratings. Key optimizations included a rotational approach for matrix factorization to
Recommending items to more than a billion people
The growth of data on the web has made it harder to employ many machine learning algorithms on the full data sets. For personalization problems in particular, where data sampling is often not an option, innovating on distributed algorithm design is necessary to allow us to scale to these constantly growing data sets. Collaborative filtering (CF) is one of the important areas where this applies. CF
Scaling the Facebook data warehouse to 300 PB
At Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. In the last year, the warehouse has seen a 3x growth in the amount of data stored. Given this growth trajectory, storage efficiency is and will continue to be a focus for our warehouse infrastructure. There
BigData Counts
During work and play, many times one has to make ‘back of the envelope’ calculations. Sometimes it is hard to get a perspective on scale and various aspects of big data – numbers like millions and billions or even GB/TB/PB et al. So I have started collecting a few representative numbers that can add perspective to any calculation. Please suggest more … PetaByte vs ExaBytes vs ZettaByte vs YoottaBy
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした大規模処理を行うプラットフォームとして使われているのがHadoop。しかしFacebookはHadoop MapReduceのスケーラビリティに限界を感じており、それを解決するための新しいソフトウェア「Hadoop Corona」を開発、オープンソースで公開しました。 Facebookのページ「Under the Hood: Scheduling MapReduce jobs more efficiently with Corona」では、従来のHadoop MapReduceのどこに課題があったのか、4つ
Facebook has the world's largest Hadoop cluster!
It is not a secret anymore! The Datawarehouse Hadoop cluster at Facebook has become the largest known Hadoop storage cluster in the world. Here are some of the details about this single HDFS cluster:21 PB of storage in a single HDFS cluster2000 machines12 TB per machine (a few machines have 24 TB each)1200 machines with 8 cores each + 800 machines with 16 cores each32 GB of RAM per machine15 map-r
Harvey Mudd Facebook Clinic Poster 2011 | PDF | Database Index | Apache Hadoop
What is Scribd?AcademicProfessionalCultureHobbies & CraftsPersonal GrowthAll Documents
Facebook trapped in MySQL ‘fate worse than death’ – Old GigaOm
According to database pioneer Michael Stonebraker, Facebook is operating a huge, complex MySQL implementation equivalent to “a fate worse than death,” and the only way out is “bite the bullet and rewrite everything.” Not that it’s necessarily Facebook’s fault, though. Stonebraker says the social network’s predicament is all too common among web startups that start small and grow to epic proportion
Exploring the Software Behind Facebook, the World's Largest Social Media Site - Pingdom
At the scale that Facebook operates, several traditional approaches to serving web content break down or simply aren’t practical. The challenge for Facebook’s engineers has been to keep the site up and running smoothly in spite of handling over two billion active users. This article takes a look at some of the software and techniques they use to accomplish that. Facebook’s Scaling Challenge Before
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
Facebook’s photo storage rewrite
This week Facebook will complete its roll-out of a new photo storage system designed to reduce the social network’s reliance on expensive proprietary solutions from NetApp and Akamai. The new large blob storage system, named Haystack, is a custom-built file system solution for the over 850 million photos uploaded to the site each month (500 GB per day!). Jason Sobel, a former NetApp engineer, led
Facebook 社が memcached に加えた改良 - Shudo's Notes (2008/12)
技術フェチ日記 (2008年 12月) 先月, 来月 へ 一覧へ 首藤のページへ 2008/12/31 (水) 今年、買ったもの: ThinkPad X300 (日記4/2分) 火の鳥 文庫版 (日記4/6分) EMOBILE D02HW (日記4/18分) 特殊ドライバのセット (日記5/2分) 2万円 PC (日記5/7分) PS2 用の昔のゲーム (日記7/27分) カメラのレンズキャップ (日記7/27分) センサネットワーク本 (日記7/30分) iPhone 3G (日記8/8分) iPhone 3G のケース, イヤフォン (日記8/25分) 本棚 (日記9/1分) カメラのレンズキャップ (日記10/12分) HDD レコーダ (日記11/3分) 私費で買った高価なものは iPhone と HDD レコーダくらい? 今年の散髪、4回: 2/26, 6/10, 9/1, 12
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www-conf.slac.stanford.edu/xldb2012/talks/xldb2012_wed_1105_DhrubaBorthakur.pdf
http://cloud.berkeley.edu/data/hdfs.pdf
Hive Anatomy
Hive ICDE 2010
このページを見るには、ログインまたは登録してください
Facebookにログイン
Facebook、GoogleのBigTableライクなプロダクト「Cassandra」をオープンソース化
このページを見るには、ログインまたは登録してください