原稿・資料 ― ありえるえりあアスキー NETWORK MAGAZINE原稿 アスキー NETWORK MAGAZINE 2005年3月号(http://nmag.jp/modules/xfsection/article.php?articleid=3)の「いま改めて知っておきたいこれからのP2P」の原稿です。 Read More…
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
Geekなぺーじ : Linuxにデフラグが無い理由
「ピアリング戦記」の英訳版EPUBを無料配布します！ 英語のIT系技術書が日本語訳されて海外に届けられることは多く行われていますが、日本語版から英語版への翻訳には高いハードルがあります。 過去に、何度か私が書いた本を英語に翻訳して出版することはできないかを模索したことがありますが、これまで企画が実現することはありませんでした（中国語への翻訳はあります）。 しかし、今回、私としては初となる英訳版を上梓することができました。 2022年に出版した「ピアリング戦記 - 日本のインターネットを繋ぐ技術者たち」ですが、これを日本語だけにしておくのはもったいないという声を内外でいただき、それを受けて英訳を行うプロジェクトが去年動き始めました。 続きを読む... IPv4アドレス移転の売買価格推移および移転組織ランキング100 IPv4アドレスの中央在庫が2011年に枯渇後、IPv4アドレスの移転や、移
Windows版FUSE Dokan がオープンソースになったよ！！ - yukobaのブログ
English blog Dokan(Windows版FUSE) が、昨日、オープンソース(LGPL)になりました！ http://decas-dev.net/2008/05/26/open-source-dokan-library-032-released/ FUSE とは、File system in User space の事で、通常はファイルシステムを作るには、カーネルモードで開発しなくてなならないのですが、ファイルシステムへのアクセスがあった際に、カーネルモードからユーザーモードにコールバックすることにより、ユーザーモードのアプリとして、ファイルシステムを作ることを可能にするライブラリのことです。FUSE があることにより、ファイルシステムの作成は劇的に楽になります。 Linux や MacOSX の FUSE はあるのですが、Windows 版の FUSE はオープンソース版が
RESTなWebサービスをマウントするRESTファイルシステム、FUSEで作ってみた:TKMR.blog.show
RESTなWebサービスをマウントするRESTファイルシステム、FUSEで作ってみた FUSE REST Ruby 2007-06-24 FUSE用のRubyライブラリで、FuseFSてのがあるのを最近知った RubyのFuseFS使ってtwitter file systemを作ってみた Rubyで手軽にファイルシステムを構築できるそうな。面白そうなので、ひとつ試しにRESTなWebサービスをローカルにマウントするRESTファイルシステムを作ってみた。 （http://localhost:3000/books/3.xml へアクセスして中身を表示） あと外部Webサービスをローカルにマウント！てのがやりたかったので、TwitterとTumblrのAPIをマウントしてみた。 $ cat ~/restfs/TwitterStatus/user_timeline/117011742/t
エンタープライズ：特集：LVMによるディスクパーティションの動的化（前編） (1/7)
特集：LVMによるディスクパーティションの動的化（前編） (1/7) サーバのディスク容量が減少してくると、いずれ訪れるであろう対処策を考えておく必要がある。この特集で解説する「LVM」は、固定されたパーティション概念を無くすファイルシステムの管理方法だ。 Linuxなどのサーバ運営を行っていると、管理者にはさまざまな悩みが出てくる。その中でも深刻なものの1つとして、物理的な問題であるディスク障害がある。現状の環境をそのまま継続利用したいと思っても、容量不足になってしまうと何らかの対処が急務だ。この特集では、新たなディスク管理規格「LVM」（Logical Volume Manager、論理ボリュームマネージャ）について具体的な導入手順を解説していこう。 この特集では、LVMがどのような仕組みを持ち、どのようにすれば既存環境に導入できるかを解説していく。記事上ではRed Hat Linux
MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記
読みは「モジャイル」かな？ まずは、このへんから。 Learning MogileFS http://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS について http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html MogileFS のインストールと初期設定 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html MogileFS::Client と MogileFS 内部でのファイルノード管理 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html N
unix - atimeはいつ更新される? : 404 Blog Not Found
2008年06月09日15:45 カテゴリiTech unix - atimeはいつ更新される? 以下に対して、 Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro 革命の日々！ ITProのLinuxチューニングの記事がひどい事になっている件について あまりに酷いのでdisる記事を書こうかと思ったら、末尾に小さく 出典：日経Linux 2002年4月号 45ページより （記事は執筆時の情報に基づいており，現在では異なる場合があります） と書いてあった。６年前の記事かよ！！ 古い内容が多いので、よい子は信用しないでね。 と物言いがついていて、さらに ITProのチューニング記事(noatime付加)を検証してみた - 科学と非科学の迷宮 また、はてブのコメントを元に relatime オプションを付加して検証を行ったところ、こちらも性能向上は見られませんでした。
Google File System(GFS)技術メモ — ありえるえりあ
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
Web屋のネタ帳 on CNET - linux上でディレクトリ内に作成できる最大ファイル数は1万から1.5万だが実際は5000個くらいでやめておいたほうが
あまりCNET向きとは言えない技術的過ぎるTIPSで恐縮なのだが。 Linuxのドキュメントには次のように記載されている。 現行の単方向リンクのリストによるディレクトリの実装で、一つのディレクト リ内のファイル数は、実運用上約 10-15k 個が上限になります。この制限はこ のような大きなディレクトリ内のファイルを作成および削除 (さらに検索) す る時のパフォーマンスの問題のためです。 JF: Linux Kernel 2.4 Documentation: ext2.txt より 注：これは現在主流のext3ではなく古いext2のものだが、実際問題としてこの制限はほとんど変わっていない。xfsになると話は別だが。 ということで、ひとつのディレクトリにつくれるファイル数は1万個くらいにしておいたほうがいいようだ。 だが筆者の経験上ではせいぜい5000個くらいでやめておいたほうがいい。
FUSE: Filesystem in Userspace
FUSE (Filesystem in Userspace) is an interface for userspace programs to export a filesystem to the Linux kernel. The FUSE project consists of two components: the fuse kernel module (maintained in the regular kernel repositories) and the libfuse userspace library (maintained in this repository). libfuse provides the reference implementation for communicating with the FUSE kernel module. A FUSE fil
Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定
酒井です。タイトルの通り、今回は MogileFS のインストールから初期設定までをずらずらと紹介します。 MogileFS では各コンポーネントごとに別サーバーを割り当てるのが通常ですが、実際には1台ですべてのコンポーネントを稼動させることができますので、colinux などの環境で手軽に実験することが可能です。今回使用した環境は、 Debian/sid (colinux) perl 5.8.8 MySQL 5.0 (non cluster) です。 また、使用する MogileFS のバージョンは、現時点では開発中ですがもうすぐリリースとなる（はずの）バージョン 2.0 を SVN リポジトリ の trunk からチェックアウトして使用します（revision 421 をインストールしました）。 リポジトリURL http://code.sixapart.com/svn/mogilef
Apple、Mac OS Xのファイルシステムに「ZFS」を採用 | パソコン | マイコミジャーナル
AppleがMac OS Xのファイルシステムに「ZFS (Zettabyte File System)」を採用する模様だ。6月6日(米国時間)にSun Microsystemsが米ワシントンDCでSun Blade 6000 Systemの発表イベントを開催した。その中でSunの社長兼CEOであるJonathan Schwartz氏がZFSコミュニティの広がりについて説明する際に、「Worldwide Developers Conference (WWDC)において、AppleがMac OS XのファイルシステムにZFSを採用することを明かすでしょう」と述べた。WWDCは6月11日〜15日の日程で米サンフランシスコで開催される。主役は今年秋リリース予定のMac OS X "Leopard"だ。Appleが昨年8月のWWDCで、Leopardの新機能として「Time Machine」を披露
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
削除したファイルをlsofで復元する | OSDN Magazine
たとえば、あなたが午後いっぱいを費やして製作したオーディオ・ファイルの再生を楽しみながら、「やあ、こいつはすごい音だ! こっちに移動しておくとしよう」と思ったとする。そのとき、潜在意識が違和感を唱えるのだ。「ええと、mvだっけ、rmじゃないのか?」…やっちまった。そのショックはよくわかる。誰にでもありうる失敗だ。だが、失われたファイルを取り戻す簡単な方法はある。しかも、それはどの標準Linuxシステムでも使える方法だから、覚えておいて絶対に損はない。 簡単に説明すると、Linuxファイルシステム上にあるように見えるファイルは、実際はinodeへのリンクに過ぎない。inodeには、ファイルのあらゆるプロパティ（アクセス権や所有権など）のほか、ファイルの中味が実際に存在するディスク上のデータブロックのアドレスも記録される。rmコマンドでファイルを削除すると、ファイルのinodeを指すリンクは削
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
サン・マイクロシステムズ