タグ

storageに関するdelico69のブックマーク (5)

  • STF Distributed Object Storage - Home

    Distributed Object Storage Made Easy! Use commodity hardware/software to build your own scalable object storage! Learn more » What is STF? STF is a simple, yet very scalable distribute storage system. STF powers sites like livedoor Blog, loctouch and many more, serving gigabytes after gigabytes of data. On one such system, it's serving 400Mbps of image at peak hours without a hitch. GET STF! STF i

    delico69
    delico69 2011/12/22
    Apache、MySQL、Q4M、memcached、Perl等を組み合わせて実装しているらしい。
  • 大容量データを効率よく送る--ファイル転送サービス9選 - CNET...

    メールに添付できない大容量のファイルを相手に送る際に重宝するのが、いわゆるファイル転送サービスだ。クラウド上にファイルをアップロードし、そのURLを相手にメールで通知する。メールを受け取った相手は指定されたURLにアクセスし、必要に応じてパスワードなどを入力してファイルをダウンロードするというものだ。メールサーバに負荷をかけることもなく、また都合のよい時に受け取れるというメリットがある。 こうしたファイル転送サービスとしては、国内での草分けにあたる「宅ふぁいる便」や「データ便」「firestorage」、有料サービスの無料プランとしてはリコーが運営する「quanp」などが有名だが、それ以外にもさまざまなサービスが存在する。マイナーながら息が長いサービスから、新顔のサービス、さらには海外のサービスまで、顔ぶれ豊かな9つのファイル転送サービスを紹介しよう。 複数のファイル転送サービスを使い分け

    大容量データを効率よく送る--ファイル転送サービス9選 - CNET...
  • 第23回 InfoTalk 分散ストレージの資料を公開いたしました | GREE Engineers' Blog

    はじめまして。グリーの田尻です。 先日、10月15日に産業技術大学院大学で行われた第23回 InfoTalk 分散ストレージにて、弊社kgwsが登壇させていただきました。 第23回 InfoTalk 分散ストレージ 講演資料を公開して欲しいとのご意見をいただきましたのでグリーエンジニアブログにて公開させていただきますね。 Gree大規模分散ストレージ戦略 ご意見・ご感想は公式ハッシュタグまでお願いいたします。#nanofs グリーの大規模分散ストレージ戦略(nanofs) グリーの大規模分散ストレージ戦略(nanofs) Vol.1 グリーの大規模分散ストレージ戦略(nanofs) Vol.2

    第23回 InfoTalk 分散ストレージの資料を公開いたしました | GREE Engineers' Blog
    delico69
    delico69 2010/10/27
    このレイヤーでの分散ならもっとシンプルだけど似た概念のもので7~8年前ぐらいにプロダクションでやってたな。もっと追究すべきだった。。
  • グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering

    はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる

    グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
  • グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering

    はじめに グリー株式会社でエンジニアをしておりますkgwsと申します。 今回は、前回に引き続き分散ストレージ(nanofs)のHTTPメソッド毎の処理を紹介させていただければと思います。 nanofsは5つのHTTPメソッド(GET、PUT、DELETE、HEAD、MKCOL)をサポートしております。今回は主なGET、PUT、DELETEの3つについてご説明させていただきます。 まずは構成のおさらい nanofsは、主に3つのプロセスで構成されております。 nanofsd(dispatcher) アプリケーションサーバからリクエストを受け取り実際に保存されているnanofsnに振り分ける 5つのHTTPメソッドをサポートしている(GET、PUT、DELETE、HEAD、MKCOL) データベース(KVS)に保存したデータの情報を送る queueに処理の指示を送る nanofsw(worke

    グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering
  • 1