タグ

computerとstorageに関するtsupoのブックマーク (5)

  • Amazon.co.jp: Googleを支える技術 ‾巨大システムの内側の世界 (WEB DB PRESSプラスシリーズ): 西田 圭介: 本

    Amazon.co.jp: Googleを支える技術 ‾巨大システムの内側の世界 (WEB DB PRESSプラスシリーズ): 西田 圭介: 本
    tsupo
    tsupo 2008/06/03
    論文やWebなどで公開されているパブリックな情報をもとに、Googleの基盤システムについて技術的な側面から解説 / 世界規模のシステムにおける『分散ストレージ』『大規模データ処理』『運用コスト』など注目の話題
  • 見えるグーグル、見えないグーグル − @IT

    大ざっぱに言って、グーグルには2つの側面がある。見えるグーグルと、見えないグーグルだ。「見えない」は言い過ぎでも、グーグルの中には、普通に外から眺めているだけでは見えてこない、エッジな分散コンピューティングの世界が広がっている。 検索やメール、カレンダーなどは外から見えている分かりやすいグーグルだ。逆にこうしたサービスを支えるインフラ技術は、かなり一生懸命見る気にならないと、見えてこない。 ある技術系イベントの席で、たまたま隣になったグーグル技術者が、私にこう言った。「アプリはあんまりやらないんですよ。画面とか、面倒くさいでしょ。グーグルドキュメントとか別に消えていいって感じ。インフラに興味があるんです。OS? OSなんて、どうでもいいし」。 変わった人だなという印象を受けた。今の時代はインフラよりもサービスに華がある。フロンティアが広がっているのもサービスの分野だ。そう思っていた。しか

    tsupo
    tsupo 2008/06/03
    『Googleを支える技術』 / いずれ遠くない将来、こうした分散システム上でプログラミングをするのは、何もグーグル社員に限らなくなるのではないだろうか、という予感 / 着々と10年かけて実装してきたこと、実験してきた
  • Amazon S3 をバックアップストレージとして利用する

    Amazon Simple Storage Service(A3)をバックアップストレージとして使うときのメモです。 ここでは自分のみがアクセスする目的と考え、ファイルを公開して配布する目的では必要となるであろうログの取得についてなどは省きます。 利点 単価がとにかく安い(1か月あたりの料金:転送量が$0.20/GB、データ領域が$0.15/GB) Amazonインフラなので信頼性がある 欠点 APIでの提供なので何らかのツールが必要となる そんなに速くない ちょこちょこ使うストレージとしてみると使いづらい ファイル操作は基GET/PUT/DELETEしか用意されていない 移動・名前変更を行おうとするとGET→名前を変えてPUT→DELETEとなるのでムダがある(時間的にも金銭的にも) バケット(bucket) ストレージの領域の事。フォルダよりドライブに近い概念です。 自由に作成できま

    tsupo
    tsupo 2007/02/01
    S3 を利用するためのあれこれ、解説とリンク集
  • A4用紙1枚に256GBのデータを保存する技術 - sta la sta

    Store 256GB on an A4 sheet | Data | Techworld こちらの記事によると、インドの学生Sainul Abideenさんが、A4用紙1枚に256GBのデータを保存する技術を発明したそうです。 従来のデジタルデータの保存は0と1の組み合わせで実現されていましたが、このSainulさんの発明では色と形でデータ保存をするそうです。 その名も『Rainbow Technology』。夢のあるネーミングです。 Rainbow Technologyでは、テキストや写真、ビデオといったあらゆるデータを『Rainbow Format』と呼ばれるカラフルな丸、三角、四角などに変換してデータ保存するそうで、1平方インチあたり2.7GBのデータを保存可能とのこと。A4用紙で計算すると256GB程度になるみたいです。 現行のDVDが4.7GB保存可能であるのに対して、このRa

    A4用紙1枚に256GBのデータを保存する技術 - sta la sta
    tsupo
    tsupo 2006/11/27
    Rainbow Technologyでは、テキストや写真、ビデオといったあらゆるデータを『Rainbow Format』と呼ばれるカラフルな丸、三角、四角に変換して保存 / Rainbow Versatile Disc(RVD)では90〜450GBのデータを保存可能
  • 「mixiの画像ファイルは1日に23Gバイトずつ増える」---バタラ・ケスマCTO

    最大のソーシャル・ネットワーキング・サービス(SNS)「mixi」を運営するミクシィのバタラ・ケスマCTO(最高技術責任者)は8月23日,都内で講演し,mixi内の画像ファイルは合計で9Tバイトを超えていると説明した。さらに「1日に23Gバイトくらい増えている」(バタラCTO)という。 バタラCTOによるとmixi内の画像ファイルは2種類に分かれる。つまり,(1)プロフィールの写真やコミュニティのロゴのように頻繁にアクセスされる画像と,(2)日記やアルバムの写真のようにアクセス頻度の少ないものだ。(1)はファイル数が少なく,サイズも合計で数百Gバイトしかないのに対し,(2)はファイル数が多く,合計で数Tバイトに及ぶという特徴がある。 そこでmixiは(1)の画像ファイルに対しては「キャッシュのヒット率が非常に良いので普通にキャッシュすれば良い」(バタラCTO)という方針を取る。キャッシ

    「mixiの画像ファイルは1日に23Gバイトずつ増える」---バタラ・ケスマCTO
    tsupo
    tsupo 2006/08/24
    mixi内の画像ファイルは合計で9Tバイトを超えている / 1日に23Gバイトくらい増えている / キャッシュ・サーバー「Squid」や外部のCDN(Contents Distribution Network)サービスを使って,画像ファイルを配信
  • 1