グーグルがMapReduce特許を取得。Hadoopへの影響は？
大規模なデータを分散処理するためのフレームワークであるMapReduce。グーグルが検索エンジンの基盤技術として開発し、2004年に論文「MapReduce: Simplified Data Processing on Large Clusters」を発表したことでよく知られるようになりました。 そのグーグルがMapReduceの特許を取得したことが、ブログ「Wataru's Blog」のエントリ「 GoogleがMapReduce特許を取得。Googleは用途についてコメントせず」で伝えられています。 グーグルの特許取得は業界にどのような影響を与えるのか。このエントリを起点に、現時点での情報や報道をまとめました。 特許取得は防衛目的だとの観測 米国特許商標庁（USPTO）のWebサイトでは、該当するグーグルの特許「System and method for efficient large
バックアップ用HDDに最適なファイルシステムは？ | スラド Linux
本家/.で「外付けバックアップドライブに最適なファイルシステムは?」というストーリーが立っている。最近では大容量の HDDが安くなっているため、バックアップ用に外付けの HDDを使っている人も多いかとは思うが、FAT32では大容量のファイルを最大ファイルサイズの制限があるほか、ジャーナリング機構がないために不安が残る。NTFSはこれらの欠点が解消されているが、Windows以外の OSからは扱いにくい。ext3や ZFSなどは Linux/UNIXから利用するには良いが、Windowsや Macからでは操作しにくい。 単一の OS環境のみから利用するなら、それぞれの OSがデフォルトでサポートしているファイルシステムを利用するのが最適だろうが、複数の OSから利用される環境では、どのファイルシステムを使うのが（用途にもよるが）良いのだろうか？ ちなみに、本家/.では「安いマシン買って NA
Home - Ceph Wiki
On June 2021, we’re hosting a month of Ceph presentations, lightning talks, and unconference sessions such as BOFs
新しいストレージを構築してみた(ソフト編)
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 前回構築したストレージでは、ホストから12個のハードディスクがそのまま見えます。これを9D+2P+1Sの構成でRAID-Z2にしました。ZFSのRAIDには1つ注意しなければならない点があります。それはRAIDを構成するディスクの数を増やしても、IOPSが増えないことです。 ZFSのRAIDはブロックを書くときに、ブロックサイズに合わせてストライプサイズを変えて、すべてのディスクに書きます。ブロックを読むときはパリティを除くすべてのディスクから読みます。ブロックサイズが小さすぎて、ストライプサイズが512バイトよりも小さくなるときには、書き込むディスクの数を減らしま
ZFSにはfsckが必要? | エンタープライズ | マイコミジャーナル
ZFS is a new kind of file system that provides simple administration, transactional semantics, end-to-end data integrity, and immense scalability. エンタープライズや大規模ストレージで利用できるファイルシステムとして開発されたZFSは、今やSolaris、OpenSolarisのみならずFreeBSDでも利用でき、まだプロダクションレベルには達していないがNetBSDにも移植されている。ZFSはボリューム管理とファイルシステムの双方を提供。柔軟で強力な機能は高信頼性が要求されるエンタープライズ用途から、簡単にディスク容量を追加できるというデスクトップユースまで、幅広くユーザを魅了している。 ZFSの特徴のひとつにfsckが不要というものがある。Z
FrontPage - 詳解ファイルシステム - livedoor Wiki（ウィキ）
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 × FrontPage 最終更新： linuxfs 2009年01月19日(月) 16:03:10履歴 Tweet 詳解ファイルシステム ファイルシステム諸元 subcontentsファイルシステム諸元性能比較パーティション用語集OOMkillerkernelSELinuxgitskillcheckKDBJapanese Linux hackerext3/4最新情報Hans Reiser情報Committerfeature-removal-scheduleTODO中の人OSC2007 Tokyo/FallOSC2008 Tokyo/FallOSC2009 Tokyo/Fall ファイルシステム詳解 filesystem contents注目度の高いファイルシステムvfsext3ext4rei
米Apple、OS XのZFS搭載プロジェクトを中止へ | パソコン | マイコミジャーナル
米Appleは10月23日(現地時間)、ZFSプロジェクトの停止を発表した。ZFSは米Sun Microsystemsが開発した高可用性のある分散ファイルシステムで、Solaris環境における目玉とも呼べる技術の1つだ。両社は2年以上前にZFSのMac OS Xへのポーティングを表明していたものの、現バージョンのSnow Leopardにおいても機能は標準搭載されておらず、Appleもその後の経過についてコメントしてこなかった。Appleのオープンソースプロジェクトサイト「Mac OS Forge」のZFSのページには現在、プロジェクト停止と該当リソース削除の告知が記されるのみだ。 AppleがMac OS XにZFSを採用する旨が明らかになったのは、2007年6月に米Sun Microsystems CEOのJonathan Schwartz氏がブレードサーバの新製品を発表した際のコメン
Apple shuts down ZFS open source project | AppleInsider
Apple's efforts to support the development of ZFS, an advanced file system originally created by Sun, were officially terminated today in a notice posted by MacOS Forge. The tersely worded message only stated that "The ZFS project has been discontinued. The mailing list and repository will also be removed shortly." Mac OS Forge describes itself as "dedicated to supporting the developer community s
ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
NetBSD Blog
ZFS-port project introduction ZFS is well known file system developed by Sun Microsystems, inc. for Solaris operating system. Its source code was released under the CDDL license. ZFS currently was ported to several other operating systems like Mac OS X and FreeBSD. ZFS port to NetBSD was started in Summer of code 2007 by Oliver Gould. Later Andrew Doran (my mentor in this project) worked on zfs po
ハードディスクにおける容量の概念をひっくり返すDrobo
ここ１ヶ月の大きな悩みが増え続けるデータと、それを保存するハードディスクの問題です。 しかも、PCに保存しているデータというのは、それをロストした際の影響範囲でいうと、もはやおれ個人の問題ではなくなっているわけです。 リンク: もう外付けハードディスクはRAIDじゃないと心配でねむれないのでRAID-USB-2TB. そうなると、個人のデータでも冗長性とか、バックアップとか、 そのバックアップも物理的に複数のメディアや場所に置くなんていうことをちゃんと考えておかないといけない時代になってきていますね。 ということで、先日のエントリーでは、より大きなサイズのRAID対応のハードディスクを買うことにほぼ決めていたのですが！ ここにDroboという黒船の来襲です。 そうです、私が求めていたのはただディスク容量が大きいというような問題じゃなくて、このDroboのように、ディスク容量そのものの概念を
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
Ext3のコミット間隔を当てにしたアプリケーションは、Ext4でデータロスの恐れあり | スラド
4月にリリースされる予定のUbuntu 9.04（開発コード名：Jaunty Jackalope）のオプションで提供されているファイルシステムExt4を使用した場合、Ext3のコミット間隔を当てにしたアプリケーションによってはデータロスが発生する恐れがあるそうだ（本家記事より）。 バグレポートではKDE 4のデスクトップファイルがロードされた後にクラッシュし、KDEコンフィギュレーションなどのデータが全て失われるという状況が報告されている。 Ext4の開発者Ts'o氏によると、Ext4はXFSのように遅延アロケーションが用いられており、新しいデータの書き込みは最大60秒かかることもある。遅延アロケーションはディスク領域の割り当てを効率化し、書き込みパフォーマンスを向上させることが出来るのが利点とされている。KDEやGNOMEのデスクトップアプリケーションはコンフィギュレーションファイルなど
Mac OS X Snow Leopard Server to pioneer ZFS ahead of desktop | AppleInsider
Apple's expanded support for ZFS will premiere in Snow Leopard Server before trickling down to the desktop version, according to sources familiar with the company's plans. Read-only support for the sophisticated new 128-bit file system, created by Sun and shared under its open source license, originally appeared in Mac OS X Leopard. It lacked the ability to create new ZFS pools or write data to th
Rails用Amazon S3アップロードプラグイン·s3-swf-upload-plugin MOONGIFT
技術者向けプロフィールサービス「達人」では登録ユーザのプロフィール画像をAmazon S3に保存している。これにより実行環境の独自データを極力少なくすることができる。メンテナンスやスケーリングを行う上でとても便利だ。 Flashを使ったAmazon S3向けアップローダー そんなAmazon S3はデータの保管場所として考えればとても優秀だ。ぜひ他の場面でも利用したいと考える人はs3-swf-upload-pluginを使ってみよう。 今回紹介するオープンソース・ソフトウェアはs3-swf-upload-plugin、Amazon S3用アップローダーだ。 s3-swf-upload-pluginはRailsプラグインとして提供されるソフトウェアだ。インストールして設置するとFlashベースのアップローダーが表示される。後はファイルを指定し、アップロードボタンを押すとアップロード処理が開始
Ext4 - Linux Kernel Newbies
WARNING: This page is not up to date, check the official wiki and other documentation Ext4 is part of the Linux 2.6.28 kernel, read the previous link to know more details about that release. 1. Introduction Ext4 is the evolution of the most used Linux filesystem, Ext3. In many ways, Ext4 is a deeper improvement over Ext3 than Ext3 was over Ext2. Ext3 was mostly about adding journaling to Ext2, but
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux Development - IBM Developer
Executing scripts on a remote machine - Marigan's Weblog
[zfs-discuss] Apple cans ZFS project
gooサービス終了のお知らせ | dメニュー
