[B! distributed] teahutのブックマーク

teahut id:teahut

distributedに関するteahutのブックマーク (10)

Domain error
Domain error Failed to resolve DNS path for this host
teahut 2008/12/18
小さなデータに特化したkey-valueストア．consistent hashingを利用．MapReduceからsequential accessするようなので，ディスク上のalignmentを保つために，immutable(値の変更不可)にしているのだろうか?

distributed

storage
リンク
StrokeDB, Just Another Distributed Database? Not Really.
teahut 2008/04/23
document-oriented, ruby, まだ3ヶ月, UUID, スキーマ不要, 文書間リンクを先読み?, diff/merge, 全文検索は不明

distributed

database
リンク
[cagra] cagra: Reliable and Flexible Distributed Storage System
やっと開発が一段落したのでお知らせ。frsyuki氏(id:viver)との共同開発作品。 1000speakers:2の３次会で二人でひたすら組んでいたアレです。 Trac: http://nyaxtstep.com/trac/nxfs 概要 cagraは手軽に構築できる分散ストレージシステムです。 memcachedの様な手軽さで、信頼性のある分散ストレージを構築できます。機能／特徴 zeroconf 設定項目はコマンドラインパラメータに集約 UDP Multicastによる自動ノード検出 Large Data Support memcachedに比べ、大きなデータもきちんと取り扱う事ができます。データごとのチェックサムを保持します。数百G〜Terabyteスケールのデータもサポートする予定可変信頼性データに求める信頼性（レプリケーション数）をデータごとに設定することができま
teahut 2008/04/23
consistent hashingによるノード選択. TCP張りっぱなし?. "checksum+多数派" によるレプリカ選択. latencyよりthroughput? keepaliveにmulticast(100台くらい以下を想定?)

cagra

distributed
リンク
1000speakers:3 - Blog by Sadayuki Furuhashi
先日1000speakers:3で発表してきました。題は「Partty!.orgでペアプログラミング」で、Partty!.orgの仕組みについてです。プレゼンの内容は、私の発表も含めてすべてニコニコ動画にアップされていて、アカウントを持っていれば誰でも見ることができます。すばらしい！マイリスト 1000speakers:3 Ustream.tvの録画データでも見られます。Ustream.tv - 1000speakers 2次会で何故かid:nyaxtさんと「3次会で分散ファイルシステムを書こう」という話になり、徹夜しても終わらなかったので、引き続いてひたすら書いています。writeは遅いけど、readがスケールアウトして、データがレプリケーションされてロバストなP2Pでzeroconfな分散ファイルシステム、という感じです（仮）。Partty!.orgでペアプロしているので、録画データ
teahut 2008/03/27
>分散ファイルシステムを書こうという話になり... writeは遅いけど、readがスケールアウトして、データがレプリケーションされてロバストなP2Pでzeroconfな分散ファイルシステム、という感じです（仮）

distributed
リンク
It's boring to scale with Ruby on Rails (Loud Thinking)
I've said it before, but it bears repeating: There's nothing interesting about how Ruby on Rails scales. We've gone the easy route and merely followed what makes Yahoo!, LiveJournal, and other high-profile LAMP stacks scale high and mighty. Take state out of the application servers and push it to database/memcached/shared network drive (that's the whole Shared Nothing thang). Use load balancers be
teahut 2008/03/15
LB-WebServer-LB-AppServer-LB-DB, Web/AppServerには状態を持たせない(ので簡単にスケールする), DBはmaster/slaveで頑張り，不足したらpartitioning. LJ/eBayはこの方法

rails

scalability

distributed
リンク
分散アーキテクチャにおいて一貫性と交換でスケーラビリティを手に入れる
Spring BootによるAPIバックエンド構築実践ガイド第2版何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
teahut 2008/03/12
>複数の物理的リソースに及ぶトランザクションを使わない... (入札では) ACIDの代わりにBASE(利用可能,柔軟な状態,最終的な一貫性)... データ一貫性,システム可用性,パーティショニング耐性の2つしか同時に満たせない

distributed

consistency
リンク
Trading Consistency for Scalability in Distributed Architectures
InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architect. View an example
teahut 2008/03/11
give up on ACID and instead use BASE: Basically Available, Soft state, Eventually consistent... Amazon/eBay/MSは独立に同じ結論に到達... Vogelsの発表や元になったCAP theoremへのリンクあり

distributed

consistency
リンク
生きあたりまったりブログ
休学中の過ごし方…うつ状態で何してた？就活やバイトは？大学休学中おすすめの過ごし方、やめたほうがいいことを経験者が解説。
teahut 2008/03/07
Amazon プラットフォームの開発方針 (いかにスケーラブルにするか) を発表したスライドへのリンクあり

amazon

distributed
リンク
2008-02-24
前回は聞く側だったが、今回は発表側。 Javaでプレゼンツールを自作してJava凄いよ！分散も並列も凄いよ！というコンセプトでの発表。基本的な分散、並列処理のお話からGoogleもどきを作る道具紹介までを話しました。知らない方もいると思うのでここでも紹介 Hadoop : Google MapReduceのオープンな実装 HyperTble : Big Tableのオープンな実装 HDFS : GFSのオープンな実装この三つと動かすマシンがあればGooleの真似事ができます。まあ、まともに動かしたいと重うと2000台ぐらい必要になるんですが。なので割と「分散、並列やりたいけどそんなにマシンがねえよ!!」という話を聞くのでAmazon ec2を紹介しました。これはマシンを時間単位で借りられるサービスで一時間0.1ドルだったはず。同じ構成のマシンを簡単に増やすことができるの
teahut 2008/02/28
>分散、並列やりたいけどそんなにマシンがねえよ!!... という話を聞くのでAmazon ec2を紹介しました (一時間0.1ドルだったはず)... ec2ができたおかげでHadoopプロジェクトも活性化しました... 『Java並行処理プログラミング』

java

distributed
リンク
ベクタークロック : kei@sodan: 分散システムでのクロック
teahut 2008/02/11
Vector Clocks, Lamport Clock の説明

distributed

algorithm
リンク
1