quanpで使われている分散ストレージシステム·Castoro MOONGIFT
CastoroはRuby製のオープンソース・ソフトウェア。知名度はまだ高くはないが、日本のサービスにしては非常に魅力的なオンラインストレージサービスなのがquanpだ。月額980円で100GBまで使えるストレージで、iPhoneやWebブラウザから使うためのサービスも用意されている。 オンラインストレージを構築する上で書かせないのが堅牢なストレージシステムだろう。既にいくつかのソフトウェアは存在するが、quanpでは独自のストレージシステムが構築されている。それがCastoroだ。 Castoroの特徴として、HTTPでのアクセスに加えてNFSをサポートしているということが挙げられる。これによってImageMagickやXPDFをサポートし、ファイルやドキュメントを画像化することができる。さらに100GBといった巨大なファイルも扱えるのが特徴的だ。 遅延レプリケーションになっているので、他
Hadoop分散処理、6時間から5分に高速化 - Yahoo! Japan | エンタープライズ | マイコミジャーナル
Yahoo! JAPAN Tech Blog 1コアあたりの性能向上が緩やかになってきているため、処理速度を向上させるには並列処理へ移行する必要がでている。PCレベルであればマルチコアでの並列化ということになり、もっと大規模でスケーラビリティの高い処理を実現するにはグリッドやクラウドコンピューティングと呼ばれるような分散コンピューティングを実現していく必要がでてくる。 分散コンピューティングはシステムアーキテクチャの設計から実装まで煩雑になると敬遠されがちだが、簡単に実現するための方法がないわけではない。OSSプロダクトではApache Hadoopが代表的な存在だ。Hadoopは大量のデータ処理を分散処理するためのプラットフォーム。Hadoopの流儀にしたがって機能を実装すれば自動的に分散処理を実現できるという優れものだ。 しかし分散コンピューティングというと研究室レベルでの活用とか、G
「キー・バリュー型データストア」開発者が大集合した夜
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア（またはキー・バリュー型データベース）は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー（PFI）最高技術責任者
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
key-value stores: Anti-RDBMS: A list of distributed key-value stores | Richard Jones, Esq.
Please Note: this was written January 2009 - see the comments for updates and additional information. A lot has changed since I wrote this. Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include: You're suffering from Cloud-computing Mania. You need an excuse to 'get your Erlang on' You heard CouchDB was
Bytepawn - Readings in Distributed Systems
Marton Trencseni on Software, Systems and other Ideas.Bytepawn Marton Trencseni on Software, Systems and other Ideas. About Readings in Distributed Systems Readings in Distributed Systems An expanding list of papers on Distributed Systems. If you think something important is missing from this page, please email me. I. The Google Papers A complete list of papers written by Googlers is here. The 5 p
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
第4回 memcachedの分散アルゴリズム | gihyo.jp
株式会社ミクシィの長野です。第2回、第3回と前坂がmemcachedの内部について紹介しました。今回は内部構造から離れて、memcachedの分散についての紹介をいたします。 memcachedの分散 連載の1回目に紹介しましたが、memcachedは「分散」キャッシュサーバと言われていますが、サーバ側には「分散」の機能は備わっていません。サーバ側には当連載の第2回、第3回で前坂が紹介したメモリストレージの機能のみが組み込まれており、非常にシンプルな実装となっています。では、memcachedの分散はどのように実現しているのかと言うと、すべてクライアントライブラリによって実現されます。この分散方法はmemcachedの大きな特徴です。 memcachedの分散とは ここまで数度「分散」という言葉を用いてきましたが、あまり詳しく触れてきませんでした。ここでは各クライアントの実装に共通する大ま
MOONGIFT: » Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」:オープンソースを毎日紹介
Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。 処理状態を確認するコンソール ごく小規模なシステムであればニーズは発生しないかも知れないが、数十台、数百台のコンピュータを結びつける上で分散化処理は欠かせない技術だ。そこでMapReduceをオープンソース実装したこちらを紹介しよう。 今回紹介するオープンソース・ソフトウェアはSkynet、Rubyで実装されたMapReduceのオープンソース実装だ。 Skynetは多数のワーカーを立ち上げ、それらが互いに監視し合うことで障害発生時にも柔軟にタスクの受け渡しが可能になっている。単一障害点はなく、マスタサーバという位置づけのものですら他の
TheServerSide | Your Java Community discussing server side development
Pivoting your developer career into AI? Here's what to know Want to pivot your software development career and focus on AI? Here's how to pick from several paths, hone specific skills and evaluate potential AI roles and organizations. Jira story vs. epic: What's the difference? Anyone who has opened a Scrum board in Jira knows projects are organized into stories and epics. But what exactly is the
GridGain — Extreme Speed and Scale for Data-Intensive Apps
GridGain is a Unified Real-Time Data Platform by the original creators of Apache Ignite. It enables a simplified and optimized data architecture for enterprises that require extreme speed, massive scale, and high availability from their data ecosystem. Flexible memory-first / disk-second architecture minimizes disk I/O to provide ultra-low latencies across transactional, streaming and analytical p
JavaオブジェクトをクラスタリングするTerracotta、オープンソースに | エンタープライズ | マイコミジャーナル
Terracottaは4日(米国時間)、同社のTerracotta製品群をオープンソースソフトウェアとして公開していくと発表した。採用機会の向上を狙うのが目的のようだ。成果物はOpen Terracottaのサイトを通じて公開される。 TerracottaはJavaで開発されたクラスタリングソリューション。JVMとアプリケーションの間に層をはさむことで、既存のアプリケーションに対して変更を加えることなくJavaオブジェクトをクラスタリング、高可用性を実現する。 Java仮想マシンにおけるオブジェクトが自動的にほかのJava仮想マシンにもコピーされ活用される。可用性を高められるほか、ヒープレベルでのリプリケーションの実現、大規模仮想ヒープの実現などが可能。 ライセンスはMozilla Public License(以降、MPL)をベースにして作成されたTerracotta Public Li
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
银娱优越会·(中国)网站登陆
時間結合と挙動結合
IBM Developer
Vertebra: 次世代クラウドコンピューティングプラットフォーム
オピニオン：マルチプロセッサ・コンピューティングの課題は、単に技術的な問題の域を越える
InfoQ: StrokeDBは単に別の分散データベースにすぎないのか?そうでもない。