最小抽象ファイルシステムで何をしたいのか - 檜山正幸のキマイラ飼育記 (はてなBlog)
最小抽象ファイルシステム（Minimum Abstract Filesystem; mafs）の仕様案を述べました。 最小抽象ファイルシステムの仕様案 最小抽象ファイルシステムの仕様案 その2 最小抽象ファイルシステムの仕様案 その3 なんでこんなことを考えたのかを書いてみます。 コンピュータに直接付いているローカルディスクだけではなく、LAN内のファイルサーバーやネットワーク型ストレージデバイスもファイルシステムとして使えます。インターネットでも、WebDAVのようなプロトコルでリモートストレージをファイルシステムのように使えます。最近では、プレーンなHTTPだけで使えるストレージサービスもあります。 そういう状況ですから、「ローカルか、リモートか」とか、「ストレージの実体が何であるか」とかを気にせずに使えるファイルシステムAPIがあったら便利だろうと思ったわけです。特に、HTTP通信を
最小抽象ファイルシステムの仕様案 その3 - 檜山正幸のキマイラ飼育記 (はてなBlog)
最小抽象ファイルシステムの仕様案 最小抽象ファイルシステムの仕様案 その2 これらの続きです。 内容： ファイル名、だいたいのところ アクション設計の方針 エンティティの分類 アクション動詞の分類 API関数のネーミング API関数群の仕様 まだ続く ファイル名、だいたいのところ ファイル名に関しては： ちゃんと考えると、ものすごくめんどくさいですよね。なので、今は決めないことにします。 もう少し決めておくことにします。まず、名前文字という概念に関して次の規約をします。 文字番号32未満の文字は名前文字ではない。 '/'（スラッシュ）, '\'（バックスラッシュ）, ':'（コロン）は名前文字ではない。 他に禁止する文字があってもいいが、それは環境に依存する。 これじゃ曖昧な点が残ってますが、名前文字がなんであるかが確定すれば、次のBNFで「名前」という構文要素を定義できます。 名前 ::
Facebook’s photo storage rewrite
This week Facebook will complete its roll-out of a new photo storage system designed to reduce the social network’s reliance on expensive proprietary solutions from NetApp and Akamai. The new large blob storage system, named Haystack, is a custom-built file system solution for the over 850 million photos uploaded to the site each month (500 GB per day!). Jason Sobel, a former NetApp engineer, led
最小抽象ファイルシステムの仕様案 その2 - 檜山正幸のキマイラ飼育記 (はてなBlog)
「最小抽象ファイルシステムの仕様案」の続きです。 さて、具体的な例外の種類ですが、POSIXのerrnoを拝借すればいいんじゃないでしょうか。 あーそれと、HTTPステータスコード（例えば、http://www.studyinghttp.net/status_code）も考慮したほうがいいかも。 と、例外／エラーに関する取り決めについて考えます。 POSIXのエラー番号とHTTPステータスコード Erlangのマニュアル（http://www.erlang.org/doc/man/file.html）に列挙されているPOSIXのエラー番号は32個あるのだけど、そのなかから使いそうな17個を選んでみました。 eacces - permission denied eagain - resource temporarily unavailable ebusy - file busy (リソースが
仮想化環境を「DNSで」管理するはてな，分散ストレージを自社開発したライブドア
シンプルでスケーラブルな分散ストレージを自社開発したライブドア 一方ライブドア執行役CTOの池邉智洋氏は，同社のブログや写真投稿サービスなどのインフラで利用中のストレージ仮想化ソフトを自社開発した事例を紹介した。ライブドアのサービス群が求める要件が「いかに安価に容量を追加できるか。過剰な機能と信頼性は不要」（池邉氏）と判断。メーカー製のネットワーク・ストレージの利用を止め，「ファイルのパスがそのままURLになるため，ファイル・システムのパスをURLに変換しなくて済む」HTTPで入出力する分散型仮想ストレージの開発に踏み切ったのだという（写真4）。 設計思想は「複数ノード間の一貫性はCAP定理に基づいて遅延を妥協し，スケーラビリティと読み出しの速さにこだわった。一方で書き込みはそこそこの速度でよく，認証とアクセス制御はアプリケーションで実装するので不要」（池邉氏）というもの。HTTPサーバー
最小抽象ファイルシステムの仕様案 - 檜山正幸のキマイラ飼育記 (はてなBlog)
「新ユニット結成のお知らせ + GAE上でファイルシステムの模倣」にて： 既存のファイルシステムもどきの仕様は考慮したほうが良さそうだけど、僕の要求としては、非常に素朴な（誰でもが常識と直感として持っている）ファイルシステムのメンタルモデルを表現できることかな。 めんどくさいので既存仕様の調査はしないで腹案を提示します。これから述べるファイルシステムの名前は、mafs (minimum abstract filesystem) です。mafsはプログラミング言語中立です。 とりあえず思ったまま／考えたままを以下に。 内容： 認証と認可 バイナリデータ IOモデル ロッキング ファイル名 カレントディレクトリ オーナーとパーミッション ユニークID、ハードリンク、シンボリックリンク 属性またはメタデータ ディレクトリ ファイルとディレクトリの扱い 例外（エラー） オプションや曖昧性は絞ろう
追記型オブジェクトストレージ「Kastor」（pre-alpha） - Blog by Sadayuki Furuhashi
Facebookで写真配信のために使われているストレージシステム「Haystack」に関する情報が公開されました。（Needle in a haystack: efficient storage of billions of photos） Facebookは最初はNFSを使っていたようです。しかし写真の1枚1枚をファイルとして保存していたため、ディレクトリエントリなどのinodeメタデータの総量がキャッシュに収まらないサイズになってしまい、一つの写真を保存したり取り出したりするのにHDDのシークが複数回発生していたのがボトルネックになっていたそうです。 （もしかしたら「NetAppは高すぎた」のがもっと重要だったかも知れません：Facebook、独自の写真配信ネットワーク、Haystackを完成―収益性の改善に寄与か？） シークの問題を軽減するために、profile用などの小さな写真はキ
Needle in a haystack: efficient storage of billions of photos
Facebookにログインして、友達や家族と写真や近況をシェアしましょう。
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
