koyachiの日記 - Joshua Schachter(del.icio.us)による大規模アプリケーション構築の注意点
del.icio.us/tag/del.icio.usを眺めていたらFlickrのときみたいに面白い資料を見つけたの紹介します。 Things to look out for when building a large application.というタイトルでサーバーサイドの管理等の話が中心かと思って読んでいたらそれ以外のインターフェース、実装すべき機能、spam対策、アプリケーションを如何に広めるかといった話にも触れていて面白いです。 以下にまとめてみました。 スケーリング 早期の最適化を避ける。SQLでスケーリングするのではなく、データを複数マシンに分散させる方法を考慮すべき。SQLプロファイリング重要。Nagiosがお勧め。 タグはSQLと相性がよくない。インデックシングの仕組みを理解し、その方針を決定する。最初の数ページに限定すれば小規模で高速なインデックスを保てる。 Apache
「Linuxには新しいファイル・システムが必要」---第5回 The Linux Foundation Japan Symposiumから
Linuxの普及促進や標準化などを行う非営利団体「The Linux Foundation Japan」は2007年7月10日，技術者向けイベント「The Linux Foundation Japan Symposium」を開催した。5回めの開催となる今回は，Linuxカーネルの開発にかかわる技術者らが，カーネルの最新動向や，仮想化，テスト技術などについて講演した。 「LinuxカーネルはGPLv3を採用しない」と予測 最初の講演は，Linuxの技術に関する記事で定評のあるニュース・サイト「LWN.net」主宰のJonathan Corbet氏（写真1）によるLinuxカーネルの開発動向予測である。同氏は，今後のカーネルに求められる機能をいくつか挙げた。 まずはスケーラビリティの拡大である。 現行のカーネルでは1024個までのプロセッサをサポートするが，この上限を4096に拡大する作業が進
負荷対策概論 - Y-110's Wiki
最新文章 2018-12-26 17:10▪ 致敬英雄，致敬不朽的精魂 2018-12-26 17:10▪ 四十年来闵行人的文化生活史一幕幕回放 2018-12-26 17:10▪ “笔尖上的童画”——欢图学员作品成果展将在东方网文化活动... 2018-12-26 17:10▪ “金色热线”12月27日将迎来年终特别节目 2018-12-26 17:10▪ 北京市发布持续低温蓝色预警信号 2018-12-26 17:10▪ 北京市网信办推进自媒体账号专项治理关闭11万个 2018-12-26 17:10▪ 有创意的崇明“橘农”让梦想和情怀扎根农场 2018-12-26 17:10▪ 突发！上海地铁3、4号线晚高峰运行延误系人员进入线路 2018-12-26 17:10▪ 中国经济总量将达90万亿关键时刻传递重要信息 2018-12-26 17:10▪ 海底捞："吃出卫生巾"系人为当事顾客
Ruby なんて遅くて使えないよねって言ってみる - Akasata's Page（あかさたのページ）
2007-07-03 16:25 : Ruby なんて遅くて使えないよねって言ってみる 「Ruby なんて遅くて使えない」という意見が出ます。（昔、Java も似たようなことを言われましたっけ。）これに対して、Ruby 好きな人からは、「大抵の Web アプリではボトルネックは IO になるからアプリの言語は遅くても構わない」「CPU 時間よりも開発者の時間の方が重要」というような反論が展開されます。 Rails 厨にならないためにも、ここは Ruby に批判的な目を持って、この問題を考えてみたいと思います。 ■ 前提 Ruby を採用するとなると Rails 絡みで Web アプリでしょうから、Web アプリについて考えてみます。（でも、DLR とか話に出てくるわけですから、クライアントで使う場合もそろそろ検証した方がいいと思いますけどね。） ■ Ruby は遅
＠IT [FYI] Linuxの真実、Windowsの真実（9）
企画：アットマーク・アイティ 営業企画局 制作：アットマーク・アイティ 編集局 掲載内容有効期限2004年12月31日 これまで本シリーズでは、主に中小規模の情報システム構築を想定して、LinuxとWindowsそれぞれの特徴と長所・短所を検討し、特に間違った先入観が持たれやすい点について是正を試みてきた。 中小規模の情報システムは、大規模な基幹情報システムとは異なり、事業部や部門、あるいは中小事業者などの単位で、草の根的に誕生し、発展していくケースが少なくない。当初このような情報システムは、互いをよく知る少人数のチームで使われることが多いため、「とにかく動いて必要な機能要件を満たすこと」が最優先され、アクセスの集中による負荷への対処や、万一のシステム障害を見越した可用性への対処などはあまり考慮されないものだ。しかし場合によっては、ビジネス環境の急速な変化などによって、当初想定していた規模
【レポート】mixiを支えるMySQL - FLOSSのスケールアウトによりコストを削減 | エンタープライズ | マイコミジャーナル
MySQLは22日、12日間にわたったMySQLのスケールアウトに関するエデュケーショナルイニシアチブ「Twelve Days of Scale-Out」が終了したことを発表した。同エデュケーショナルイニシアチブではmixiにおけるスケーリングのケーススタディなどが紹介された。 mixiは日本最大のソーシャルネットワークサービス。ユーザ間のメッセージ送受信や日記の作成ができるほか、写真の共有、コミュニティの作成などができる。有償サービスではさらに動画やミュージックといったいくつかのサービスが受けられる。こうしたシステムの基板テクノロジとしてmixiではMySQLを採用している。急成長したソーシャルネットワークサービスを支えていたインフラストラクチャがMySQLだったわけだ。 mixiがサービスインした当時、高価なソフトウェアを購入することはできないとして、LAMP(Linux、Apache
ユメのチカラ: Rubyで習作の性能評価
うひょ〜。大変なことになった。手習いで書いた初めてのRubyプログラムが大御所によってたかって添削指導をうけている。 確かに突っ込みどころ満載のゆるゆるのコードなので、弊社のrubistからの突っ込みくらいは想定していたが、まつもとさんや弾さんの登場までは想定外であった。多くの皆様のコメントに感謝したい。 実装についても、ArrayやらHashやらSetやらいろいろあった。そこで、ちょっと性能評価をしてみた。 具体的には time ruby -rprofile でruby自前のプロファイルをとってみた。 Array#includeはコストが高い。実行時間が21秒〜24秒くらいとなっていて、そのうち12秒〜13秒をArray#includeで消費している。 表の見方なのであるが、コストのかかっている処理のトップ3を表示した。左から、全体から比率、累積実行時間(秒)、実行時間(秒)、呼び出し回
再びRubyのパフォーマンスについて - The Joel on Software Translation Project
Joel Spolsky / 青木靖 訳 2006年9月12日 火曜 ジャック・ヘリントンがRuby on Railsのパフォーマンスの問題について私にメールをくれた。 Unicodeの問題は認める。Railsにはまだ成熟のための時間が必要だということも認める。私はたくさんのWebテクノロジーを使っているが、どれも何らかの問題は持っているものだ。 しかしスケーラビリティの話には同意できない。Railsに回避できないようなスケーラビリティ上の問題があるとは思わない。 私がお願いしたいのは、君のスケーラビリティのコメントに、少なくとも説明を付けてほしいということだ。そのスケーラビリティの問題について教えてほしい。たとえ私たちがそれを直せなかったとしても、コミュニティ全体が君の経験から何か得ることはできる。 デビッド・ハイネマイヤ・ハンソンはこう書いている。 Railsは大半のWebアプリケーシ
ユメのチカラ: MySQLのマルチコアスケーラビリティとLinux
スラッシュドットの情報。FreeBSDとLinuxでsysbench(MySQLを利用している)の結果が出ている。結論から言うと8コアのAMD64のマシンでスレッド数を上げていくと8スレッドまではLinuxでの性能が良かったが、それ以上になるとがたっと性能が劣化して、FreeBSDのSMPngの実装が勝つ。 下記を参照してほしい。 http://jeffr-tech.livejournal.com/6268.html MySQL 5.0.2xではSMPスケーラビリティに問題があることは、われわれの性能評価でもあきらかになっていたが、(例：MySQLに対応した評価ツールDBT-1を利用したハードリソース変更によるパフォーマンスへの影響の考察を参照)、OSのSMPスケーラビリティ問題というよりMySQLの実装上の問題だと考えていた。 linux 2.6.18/2.6.20.1上でMySQL 5
新サービスMyITproの裏側を暴露します
ITpro会員向けの新サービス「MyITpro」が本日（2007年5月18日）中にはオープンできる運びとなりました。ここではMyITproサービスを提供しているシステムの構成などについて少し紹介させて頂こうと思います。 複数サーバーで負荷分散，1台がコケてもほかがカバー MyITproのサーバー群は，ITpro本体のシステムとは完全に独立しています。ドメイン名も少し違いますし（ITpro本体はitpro.nikkeibp.co.jp，MyITproはmy.itpro.nikkeibp.co.jp），サーバー・システムを設置しているデータセンターの場所も異なります。 システムの構成は，ユーザーからのアクセスを負荷分散装置（ロードバランサー）が受け付けて，配下の複数のWebサーバーに割り振るところまではITpro本体もMyITproも同じです（図1）。ただし，ITpro本体のシステムはWebサ
Scaling Rails Presentation (From Scribd Launch) | PDF | Ruby On Rails | Cache (Computing)
What is Scribd?AcademicProfessionalCultureHobbies & CraftsPersonal GrowthAll Documents
How to scale your web app
Scaling web applications, as present at Barcamp London 2 by George PalmerRead less
MySQL Conference & Expo 2007 - とあるはてな社員の日記
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。 というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Technology at Di
Scaling to multiple databases with Rails (Loud Thinking) - Matzにっき(2007-04-16)
<< 2007/04/ 1 1. エープリルフール 2. [Ruby] オブジェクト指向機能を取り除いた Ruby-- が登場!? 2 1. [教会] セミナリー１日目 2. LMLML 3. [Ruby] 最速配信研究会 - なんだかいろいろ申し訳ない気分になった話 4. [Ruby] Headius: ActiveRecord 100%, Performance Doubling, Java Support Improving 3 1. [Ruby] Bitwise Magazine:: What's Right With Ruby? 2. [OSS] オープンソースソフトウエアがビジネスの成長を加速 3. Passion For The Future: なぜ株式投資はもうからないのか 4 1. [Ruby] Rails 1.2と1.1、速いのはどっち? - Railsbenchによる
[PLUGIN RELEASE] ActsAsReadonlyable
Introduction ActsAsReadonlyable adds support of multiple read-only slave databases to ActiveRecord models. When a model is marked with acts_as_readonlyable, some of AR finders are overridden to run against a slave DB. The supported finders are find, find_by_sql, count_by_sql, find_[all_]by_*, and reload. Finders can be forced to fall back to a default DB by passing the :readonly flag set to false.
Magic Multi-Connections
→ Ruby on Rails → ActiveRecords WARNING Despite the 1.0.0 version number, various people have experienced problems using this tool. I haven’t yet found a solution (I haven’t really been looking though), so please subscribe to the forum or RubyForge news for any updates on a solution. What ActiveRecord models are allowed one connection to a database at a time, per class. Ruby on Rails sets up the d
Dr Nic » [ANN] Generating new gems for graceful goodliness
Dr. Nic is the CEO and founder of Stark & Wayne. He previously served as both VP of Technology and VP of Engineering at Engine Yard. He discovered Cloud Foundry in 2011, and launched Stark & Wayne in 2012 to help the enterprise world with successfully running application container platforms. Dr Nic is a heavy user and evangelist of Cloud Foundry, Kubernetes, Rancher, Concourse CI, and BOSH. He is
![Dr Nic » [ANN] Generating new gems for graceful goodliness](https://cdn-ak-scissors.b.st-hatena.com/image/square/a55ad1827009cdc6dded9adb6460e8b762b646d9/height=288;version=1;width=512/https%3A%2F%2Fstarkandwayne.com%2Fimages%2Fbanners%2Fhero.jpg)
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scaling Twitter » SlideShare
http://www.loudthinking.com/arc/000610.html