IBM DeveloperIBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
ネットワーク・ファイル・システム チューニング
Introduction 複数の計算機が何らかの形で通信できるようにする、 と言うテーマはそのままそれらの計算機間でデータを転送する、 という問題を意味する。 計算機間の通信ができるようになるとすぐ出てくる問題が どのようなデータを、どのような単位で転送するのか、 という問いだった。 これに対する回答の1つが ファイル を 丸ごと 転送する FTP のような方針だった。 FTP は A という計算機が持つファイルのコピー(レプリカ)を B という計算機に作り上げる能力を提供する。 しかしこれでは一旦レプリカを作った後、 しばらくしてから B が持っているレプリカが、 今もなお A が持っているファイルと同じ内容を保持しているのか、 確認する術がない。 この問題を解決するもっとも安易な手段は 毎回レプリカを取り直す というものだ。 通信速度が十分早く安くなれば、 この方法を用いても特に問題は
Google File System(GFS)技術メモ — ありえるえりあ
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blogs.sun.com/erickustarz/entry/zfs_on_a_laptop
