楽天技術研究所、Webに特化した分散ファイルシステム「LeoFS」リリース | gihyo.jp
2012年7月4日、楽天技術研究所の原陽亮氏が中心となって開発しているWebに特化した分散ファイルシステムLeoFSが、オープンソースとしてリリースされた。 LeoFS http://www.leofs.org LeoFSは数十億といった大量の画像ファイルを扱うことに長けたファイルシステムで、独自のアーキテクチャにより高パフォーマンスを実現する。 主な特徴は以下のとおり。 ソフトウェアだけでストレージの仮想化（オブジェクトベースストレージ）を実現。PBのストレージクラスタの構築が可能 Amazon S3-API準拠（現行バージョンは基本APIのみ） すべての機能は冗長化されており, 単一障害点がなく スプリットブレイン対策が施されている 特別なハードウェアは必要なく、市販されているPCサーバでシステムの構築が可能。また、Linux/Mac OSX/FreeBSDに対応し、OSに特別な設定等
グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering
はじめに グリー株式会社でエンジニアをしておりますkgwsと申します。 今回は、前回に引き続き分散ストレージ(nanofs)のHTTPメソッド毎の処理を紹介させていただければと思います。 nanofsは5つのHTTPメソッド(GET、PUT、DELETE、HEAD、MKCOL)をサポートしております。今回は主なGET、PUT、DELETEの3つについてご説明させていただきます。 まずは構成のおさらい nanofsは、主に3つのプロセスで構成されております。 nanofsd(dispatcher) アプリケーションサーバからリクエストを受け取り実際に保存されているnanofsnに振り分ける 5つのHTTPメソッドをサポートしている(GET、PUT、DELETE、HEAD、MKCOL) データベース（KVS）に保存したデータの情報を送る queueに処理の指示を送る nanofsw(worke
HDFS の信頼性（原題：HDFS Reliability） (Pac Learner)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
グーグルとアマゾンのクラウドの違い ― ＠IT
2008/05/29 米グーグルは現地時間の5月27日、これまでプレビュー版として一部ユーザーに公開していたWebアプリケーションプラットフォームサービス「Google App Engine」（GAE）を、一般向けに公開すると発表した。同時に2008年後半に導入予定の料金体系も明らかにした。 これまで通り500MBのストレージ、月間500万ページビューまでの利用であれば無料。それを超える分については、1CPUコア1時間当たり10～12セント、1GB・1カ月当たり15～18セントかかる。通信帯域の月額は受信について1GB当たり9～11セント。送信については1GB当たり11～13セントとなっている。 この価格設定はAmazon Web Services（AWS）と極めて類似している。例えば「Amazon EC2」（Elastic Compute Cloud）は、1.7GBのメモリ、1CPUコア
P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi
id:nyaxt氏との共同開発の分散ストレージ「Cagra」（かぐら）のアルファ版をリリースしました。 cagra α3リリース cagra テクニカルデモ α２リリース 分散ストレージエンジンテクニカルデモ α版リリース cagraのα版試してみたよ - takumalog Cagraは以下のような特徴を持った（目指した）P2P分散ストレージです。 Zeroconf マルチマスタでレプリケーションするWrite 高速な分散Read オプションで高速な非同期Write インターネットレベルよりもLANレベルのマシン台数に特化 巨大データサポート 高速イベント駆動システムコール＋軽量スレッド 超アジャ〜イルな開発体制 まだα版で全部が実装されているわけではないですが、とりあえず動きます。 Zeroconf UDPマルチキャストでノードを自動的に発見するので、一切設定ファイルを書かずに動作せる
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
MOONGIFT: » C++製の分散ストレージシステム「cagra」:オープンソースを毎日紹介
オープンソースの分散化ファイルシステムで代表例というとMogileFSが挙げられると思う。HTTPでアクセスでき、簡単に信頼性の高い分散化ファイルシステムが構築できる。ただし、基本はPerlからの扱いになっており、Ruby向けのライブラリも存在するが全ての機能を活用できる訳ではない。 クライアント側 もっと手軽に利用できる分散化ファイルシステムが必要だ。それがこれだ。 今回紹介するオープンソース・ソフトウェアはcagra、C++製の分散ストレージシステムだ。 cagraは日本製のソフトウェアで、memcachedのような手軽さで分散ストレージシステムを構築できる。memcachedとの大きな違いは複数ノードを利用できる点にある。各データに対して指定したノード数でのレプリケーションが可能になっているので信頼性を高めることができる。 サーバ側 現時点ではオンメモリストレージのみだが、ファイルシ
EC2の固定IPを使ってみる
初期状態では、一つのインスタンスに、EC2の中だけで使えるPrivate IPと、外部からアクセスするためのPublic IP(グローバルアドレス)が割当たってます。 インスタンス自体への割当IPはPrivate IPですが、上位のルータに1:1のNATがあり、これによって外部からPublic IPでアクセスできる様になっています。 今までの、Private IPとPublic IPに加えて、今度は固定IPのグローバルアドレスが割り当てられるElastic IPを選択出来るようになりました。 これは、Public IPと同じ様に、外部からアクセスするためのグローバルアドレスですが、AWSアカウント毎に発行されるので、インスタンスの再起動などによって代わる事はありません。 これを使えば、EC2で最大の問題点であった、「インスタンスを再起動するとIPアドレスが代わる」という問題から解放されます
Matzにっき(2008-02-08)
<< 2008/02/ 1 1. [言語] 「ハッカーと画家」の著者が新しいLisp系言語「Arc」を公開 | エンタープライズ | マイコミジャーナル 2. 「セキュリティ、なめんなよ!」 なめねこも一緒に情報セキュリティ強化宣言 | ネット | マイコミジャーナル 3. 「サイオステクノロジーはグルージェントの未来技術に期待し子会社化」：ITpro 2 1. [Ruby] Nimble Method: Garbage Collection is Why Ruby on Rails is Slow: Patches to Improve Performance 5x; Memory Profiling 2. [言語] LuaJIT roadmap 2008 3. [Ruby] What will Matz do? 4. [Ruby] EURUKO 2008 − European Ruby
Gentoo Linux OpenAFS Guide — Gentoo Linux Documentation
Gentoo Linux OpenAFS Guide Content: 1. 概略 このドキュメントについて このドキュメントはGentoo LinuxにOpenAFSサーバのすべてのインストールを成功させるために提供します。このドキュメントの一部はAFS FAQとIBM's Quick Begining Guide(AFS)から引用しています。ちなみに、車輪の再発明のように原文を丸写ししたものではありません:) AFSとは？ AFSはローカルエリアネットワークとワイドエリアネットワークを通じてファイルシステムの資源を効率よく利用するためホスト(サーバ、クライアントなど)同士の協力を可能にした分散ファイルシステムです。クライアントはすばやくアクセスし、さらによく使うオブジェクト(ファイルなど)ために自らの領域を持ちます。 AFSは"Andrewファイルシステム"と呼ばれていたCarneg
Home - Fixstars Corporation
Speed up your Business Fixstars Software acceleration service By utilizing optimization as well as parallel processing technology to optimize applications, we provide professional services to realize massive calculation processing in a shorter time. Learn more About us Fixstars is a group of high-speed solutions experts who maximize computer performance to speed up the processing of large volumes
Distributed File System (DFS) 分散ファイルシステムに関するメモ | Silicon Soul
一定期間更新がないため広告を表示しています
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopの解析資料
http://kengo.preston-net.com/archives/003630.shtml
IBM Developer
http://japan.internet.com/linuxtutorial/20021008/1.html