この本の概要 サーバを単に増やすだけでは解決しない（?!）。大規模サービスの難所は，サービスの成長に伴い巨大化するデータの処理です。データ量の変化は緩やかには推移せず，突然目の前に現れる大規模化の壁。そこで求められるのは，いかにして「データを小さく持つか」「複数サーバに分散させるか」「最小限の回数で読み取るか」といった地道な取り組みの積み上げです。 本書では Web開発における大規模サービスの一つの関門，数十～数百ギガバイトのテキストデータを想定し，データ構造，メモリ，OS，DB，サーバ/インフラと広範なレイヤに及ぶ攻略ポイントをまとめて解説します。はてなインターンシップの初書籍化。 こんな方におすすめ 大規模化しているWebサービスに携わる開発者の方々 大きなデータの処理について興味をお持ちのアプリケーションエンジニアの方々 単体サーバの性能向上について知りたいWeb開発者の方々 複数サ
Web開発者のための大規模サービス技術入門 読んでみた
yoshida-kです。 社内で仙石CTOより、「このの本を読んでみたい人いないー？」っとの メールが社内に流れたため、条件反射で手を上げちゃいましたｗ yoshida-kは、最近負荷対策を行ったりすることが多く、「大規模サービス」だったり 「データ構造、メモリ、DB」などのキーワードに敏感に反応してみたりします。 この本は、株式会社はてな様のサマーインターンで、学生向けに行った講義内容を 元にかかれて、大きく分けて３つの話題が書かれています。 1.大規模サービスにおいて発生する「悩み」と悩みに対しての「考え方」の概論 2.大規模サービスの「悩み」に対しての「実践」と「実例」 3.大規模サービスを「運用」する上でのインフラ基礎知識 といった感じでしょうか？ それぞれをピックアップすると 1.では、データが肥大化していく事により、メモリにデータが乗らなくなった事によるdisk I
Web開発者のための大規模サービス技術入門 —データ構造、メモリ、OS、DB、サーバ/インフラ という本を献本頂きました。技術評論社様、@naoya_ito さん、@stanaka さん、ありがとうございます。 目次の詳細は技術評論社様のサイトをご覧頂くとして、アウトラインは以下のようになっています。 第1回 大規模Webサービスの開発オリエンテーション―全体像を把握する Lesson 0 本書の源 ―本書で説明すること，しないこと Lesson 1 大規模なサービスと小規模なサービス Lesson 2 成長し続けるサービスと，大規模化の壁 Lesson 3 サービス開発の現場 第2回 大規模データ処理入門 ―メモリとディスク，Webアプリケーションと負荷 Lesson 4 はてなブックマークのデータ規模 ―データが大きいと処理に時間がかかる Lesson 5 大規模データ処理の難所 ―メ
先日 Python で実装してみた VBCode の続き。 ここからダウンロードしたはてなのデータを実際に圧縮してみた。 準備 ダウンロードしたやつの中に入っている eid_tags.txt を使う。 $ curl -LO http://image.gihyo.co.jp/assets/files/book/2010/978-4-7741-4307-1/hugedatabook_samplecode.zip $ unzip hugedatabook_samplecode.zip $ du -h hugedatabook_samplecode/hgdata_example/06/eid_tags.txt 172M hugedatabook_samplecode/hgdata_example/06/eid_tags.txt 大きさは、だいたい172MBぐらいらしい。 フォーマットは、「はてなタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［Web開発者のための］大規模サービス技術入門 ―データ構造，メモリ，OS，DB，サーバ/インフラ（WEB+DB PRESS plusシリーズ）｜gihyo.jp … 技術評論社
LargeServiceTechnologyIntroBook - mizzy.org - Trac
Python で Variable Byte Code を実装 その２ - utahta blog