GitHub - binhnguyennus/awesome-scalability: The Patterns of Scalable, Reliable, and Performant Large-Scale SystemsYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Architecting for Scale
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Every day, companies struggle to scale critical applications. As traffic volume and data demands increase, these applications become more complicated and brittle, exposing risks and co
Instagramのシェア機能が強化、友達やグループごとにスレッドが持てるように
Instagramのシェア機能が強化、友達やグループごとにスレッドが持てるように2015.09.02 15:385,115 Instagramがもっと楽しくなりそうです。 2013年に登場したInstagram Direct。Instagram上でダイレクトメッセージを送ることができる機能です。そして9月1日、Instagramはこの機能の強化を発表しました。これまでは写真やビデオを送るたびに新しいスレッドを立ち上げなければいけなかったのですが、これからは友達やグループごとにスレッドを持てるようになりました。グループに名前をつけることができる他、スレッド内では簡易セルフィーを撮影したり絵文字で返信することもできるようです。メッセンジャーアプリに近い感じですね。 また、今後はすべてのポストのコメントマークの隣に矢印マークが現れ、@でメンションしなくても簡単に写真をシェアできるようになるそうで
大規模データで単語の数を数える - ny23の日記
大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年のように超大規模な n-gram の統計情報を空間／時間効率良く利用するための手法が提案されている．最近だと， Storing the Web in Memory: Space Efficient Language Models with Constant Time Retrieval (EMNLP 2010) とか．この論文では，最小完全ハッシュ関数や power-law を考慮した頻度表現の圧縮など，細かい技術を丁寧に組み上げており，これぐらい工夫が細かくなってくるとlog-frequency Bloom filter (ACL 2007) ぐらいからから始まった n-gram 頻度情報の圧縮の研究もそろそろ収束したかという印象（ちょうど論文を読む直前に，この論文の7節の
Scalability of the Hadoop Distributed File System (Hadoop and Distributed Computing at Yahoo!)
The bottom line is that we achieved the target in Petabytes and got close to the target in the number of files. But this is done with a smaller number of nodes and the need to support a workload close to 100,000 clients has not yet materialized. The question now is whether the goals are feasible with the current system architecture. Namespace Limitations HDFS is based on an architecture where the
「リニアにスケールするように作れる」からこそのGoogle App Engine
Google App Engineを使った最初の作品 Tiny Message （http://tinymsg.appspot.com）をリリースしてまだ２０時間経っていないが、設計の過程でいろいろと学べたことがある。 その中でも一番収穫として大きいのは、「Google App Engineを使えば、リニアにスケールするサービスを作ることが可能」だということが実感できたこと。 もちろん、Google App Engine上に作ったからと言ってすべてのアプリがリニアにスケールするわけではなし、どんなアプリでもそう作れるわけではない。Entity Groupの構成を間違えればそこがボトルネックになるし、Queryの二重ループなんかを書いたら、すぐにタイムアウトしてしまう。 リニアなスケーラビリティを持つDatastoreの上で作るとは言え、やはりDatastoreの仕組みをちゃんと理解してデー
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scale Up or Scale Out for Graph Processing?
https://www.jenkins.io/doc/book/architecting-for-scale/
http://www.umiacs.umd.edu/~jimmylin/publications/Kumar_etal_EDBT2014.pdf
Scaling out with Akka Actors
Scaling Instagram
UCI ISG Lecture Series on Scalable Data Management
http://agilecatcloud.com/2010/06/15/facebook-%E3%81%AE%E3%82%B9%E3%82%B1%E3%83%BC%E3%83%AB%E6%84%9F%E8%A6%9A%E3%81%AB%E9%A9%9A%E6%84%95%EF%BC%81-_1-cloud-cloudcomputing-facebook-scaleout/
eBay Architecture - High Scalability -
Presentation: What every developer should know about database scalability