最近のmemcached界隈の賑わいについてのメモ : DSAS開発者の部屋
repcachedの開発をしている関係で、昨年あたりからmemcached界隈のウォッチを強化しています。 昨日のエントリでもちょっと書いたんですが、なぜかここ最近、にわかにmemcached界隈が賑やかになってきている感があります。具体的には、memcached互換の実装がいろいろと現れたり、新しいクライアントライブラリが登場したりなど。 そんなわけで、最近わたしが気になっている、memcached関連のあのプロダクトやこのプロダクトをささっとまとめてみたいと思います。 クライアントライブラリ (C) libmemcached Brian Akerさんによる、C言語用のライブラリ。 既存のC言語用のライブラリである、libmemcacheとapr_memcacheに続く、第3のC言語用ライブラリです。 Consistent Hashingも実装しているようです。 いままでベンチマークプロ
Welcome to Apache™ Hadoop®!
A wide variety of companies and organizations use Hadoop for both research and production. Users are encouraged to add themselves to the Hadoop PoweredBy wiki page. 8 Aug 2018: Release 3.1.1 available This is the first stable release of Apache Hadoop 3.1 line. It contains 435 bug fixes, improvements and enhancements since 3.1.0 Users are encouraged to read the overview of major changes since 3.1.0
Lustre
This site, wiki.lustre.org, is the main community repository for Lustre information. Consult the sidebar for links to major Lustre topics. Learn more about Lustre at http://www.lustre.org. Lustre Software Releases Downloads Lustre Lustre-aware e2fsprogs Current Maintenance Release Lustre 2.12.9 Released Jun 17, 2022 Changelog Current Major Release Lustre 2.15.4 Released December 22, 2023 Changelog
分散ファイルシステム - pekeqのブログ
more better NFS OpenAFS, Lustre, IBRIX NFSはNetworkedなファイルシステムなだけであって、Distributedではない focus on disconnected operation Coda, Intermezzo I/Oパフォーマンスを上げるために、ネットワーク上でストライピング PVFS 最強？ IBM GPFS フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。ただ、slashdotにあったように、管理が大変そうだ。オブジェクトストレージサーバが、shared diskによるフェイルオーバなのも、いま風のかっこよさではない感を誘う。 現時点では、OpenAFSが一番リーズナブルな解であるように思える。データのレプリケーションをサポートし
スケールアウトする分散ファイルシステム 計画 - VIVER
スケールアウトする分散ファイルシステム 計画 スケールアウトする分散ファイルシステムを設計中です。とりあえずはサーバー１台でも動作し、後からサーバーを足していくと、自動的に容量が増え、冗長化され、負荷分散されるというものを目指しています。LAN用に特化し、NFS+DRBDの置き換えを狙っています。 まえがき 今や、Webサーバーいくらでも冗長化や負荷分散ができるようです。メモリを足す、HDDを足す、と同じ感覚で、サーバーを足す、というのが成り立つのではないでしょうか。（この点に関してはDSAS開発者の部屋全体、特に「DSASのあれこれ」の資料を公開しますやこんなに簡単！ Linuxでロードバランサ シリーズが非常に参考になります） しかしストレージはどうでしょうか。ストレージの冗長化や負荷分散にも、DRBDを始めとしていろいろなソフトウェアが開発されていますが、「スケールアウトするか」「
Google Notebook
As of July 2012, Google Notebook has shut down and all Notebook data should now be in Google Docs. As previously announced, in most cases we were able to automatically export the Notebook data, so please visit Google Docs. Also please update any bookmarks or links to Notebook so that they point to Docs instead. Here are answers to some questions about this transition. We may add or update question
http://www.moodindigo.org/blog/archives/000200.html
For full functionality of this site it is necessary to enable JavaScript. Here are the instructions how to enable JavaScript in your web browser.
GridGain — Extreme Speed and Scale for Data-Intensive Apps
GridGain is a Unified Real-Time Data Platform by the original creators of Apache Ignite. It enables a simplified and optimized data architecture for enterprises that require extreme speed, massive scale, and high availability from their data ecosystem. Flexible memory-first / disk-second architecture minimizes disk I/O to provide ultra-low latencies across transactional, streaming and analytical p
OBB vs AABB - Radium Software Development
iPhoneの一般修理店は予約なしでも来店できる？ 基本的には飛び込みで修理に行ってもOK iPhoneを置いていたソファにうっかりと腰かけてしまい、パネルを割ってしまった、こんな時はスマホの一般修理店へ行きましょう。画面割れは、スマホやタブレットの故障原因として非常に多いものです。予約なしで突然お店に行っても平気かしらと、不安に思う方々もいらっしゃるかもしれません。結論としては特に問題はなく、予約なしで訪問しても画面割れの修理はお願いできます。 ただし他のサービス業のお店同様、予約なしの場合、お店が混雑していると順番待ちをしなければいけないです。特に繁盛しているスマホ修理のお店だと、行列が店内で出来ており、予約なしだと、自分の順番が巡ってくるまで長時間待たされる可能性があります。平日の朝、昼なら利用客が少ない場合が多く、飛び込みでも比較スムーズに修理が頼めます。 予約は入れた方が時短に、
Google Research Publication: The Google File System
The Google File System Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung Abstract We have designed and implemented the Google File System, a scalable distributed file system for large distributed data-intensive applications. It provides fault tolerance while running on inexpensive commodity hardware, and it delivers high aggregate performance to a large number of clients. While sharing many
Google Research Publication: MapReduce: Simplified Data Processing on Large Clusters
MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat Abstract MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with t
Apache Hadoop
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
Google File System(GFS)技術メモ — ありえるえりあ
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
Hadoop
13. $ env | grep JAVA JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home $ java -version java -versionjava version quot;1.5.0_07quot;Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_07-154)Java HotSpot(TM) Client VM (build 1.5.0_07-87, mixed mode, sharing) $ curl -O http://www.apache.org/dist/lucene/hadoop/stable/hadoop-0.13.0.tar.gz $ tar zxvf hadoop-0.13.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GREE Engineering
シリコンバレー通信2006年3月号
http://japan.internet.com/linuxtutorial/20021008/1.html
DRBD:What is DRBD
Grid Datafarm - Gfarm file system [Japanese]