ウノウラボ Unoh Labs: 10テラバイトマシンのつくりかた
「iPodの残り容量が200MBを切った」と社内で発言してから「iPhoneを買おう！」としきりに言われるようになったbokkoです。そんな私は先月、ホコリをかぶっていたデスクトップPCを筐体ごと買い換えました。今ではMacBookからSSHでログインしてコンソール上で快適な生活を送っています。 今月、2TBのHDDを6本使ったサーバを立てる機会がありまして、今日はその時のお話です。 HDDの容量とストレージサーバ Webサービスのインフラを構築・運営していると、膨大なデータをどう扱うかといった問題にぶち当たることがあります。仮想化技術の進歩によって複数のOSを1台のマシンで同時に稼働させつつ、物理的なマシンの数を減らすことができるようにはなりましたが、物理的な媒体であるHDDを1台のマシンに搭載できる数には限りがあり、ソフトウェアであるOSの仮想化みたいにじゃんじゃん増やすことができませ
Dropboxを超えた？オンラインストレージ「SugarSync」 - らっこのじゆうちょう
最近「SugarSync」というオンラインストレージを見つけたのですが、これが本当にスゴいです。 （SugarSync自体はかなり前からあったらしいのですが、最近大幅に改良され2GBの無料版も追加されたようです） これまではDropboxを使っていたのですが、同期したいファイルは必ずDropboxフォルダの中に入れなければなりませんでした。 また、オンラインにバックアップしたファイルは全て、DropBoxを使っている別のPCにも同期されてしまっていました。（そのシンプルさがDropboxの良いところでもあるのですが） けれど、「元の場所に置いたままオンラインにバックアップしたいファイル」「別PCとは同期しなくても良いけどオンラインにはバックアップしておきたいファイル」も結構あるわけで、特に後者は別PCのディスク容量が残り少ない場合など、かなり困ったりします。 それに対して「SugarSyn
Project Voldemort
Voldemort is a distributed key-value storage system Data is automatically replicated over multiple servers. Data is automatically partitioned so each server contains only a subset of the total data Server failure is handled transparently Pluggable serialization is supported to allow rich keys and values including lists and tuples with named fields, as well as to integrate with common serialization
Key で sort 済みの Key-Value Storage を作り始めた - higepon blog
タイトルの通り Key で sort 済みの Key-Value Storage を作りはじめました。 良くある DHT だと Key の Hash を取る事で分散させるので順序情報を失ってしまうのですが、それを Skip Graph という仕組みで順序情報を保持したまま分散させることが可能になります。 sort 済みだとうれしいのは KVS に対して Range Query が可能になること。 例えば、empno-999 以上の value リストを 最新10件、KVS に要求するみたいなことが出来るようになります。 従来の KVS では上記のような Range Query は不可能だったので、そこは RDBMS に任せていたと思うんですが。（RDBMS で Range Query 後、Key のリストを KVS に投げるなど） この辺りの RDBMS の負荷と分散しづらさを KVS 側
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
ハードディスクにおける容量の概念をひっくり返すDrobo
ここ１ヶ月の大きな悩みが増え続けるデータと、それを保存するハードディスクの問題です。 しかも、PCに保存しているデータというのは、それをロストした際の影響範囲でいうと、もはやおれ個人の問題ではなくなっているわけです。 リンク: もう外付けハードディスクはRAIDじゃないと心配でねむれないのでRAID-USB-2TB. そうなると、個人のデータでも冗長性とか、バックアップとか、 そのバックアップも物理的に複数のメディアや場所に置くなんていうことをちゃんと考えておかないといけない時代になってきていますね。 ということで、先日のエントリーでは、より大きなサイズのRAID対応のハードディスクを買うことにほぼ決めていたのですが！ ここにDroboという黒船の来襲です。 そうです、私が求めていたのはただディスク容量が大きいというような問題じゃなくて、このDroboのように、ディスク容量そのものの概念を
MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan
本連載「オープンソースソフトウェアでクリエイターを支援するmoonlinx」の第1回「ウェブメディア「moonlinx」を支えるオープンソースソフトウェア」ではmoonlinxの概要およびシステム構成を、第2回の「openSUSEの管理ツール「YaST」で作業を効率化：moonlinxを支えるOSS」では使用OSであるopenSUSEについて簡単に説明しました。 今回は、moonlinxで取り扱うメディアファイル（画像、音楽、動画）の保管方法について説明したいと思います。 分散ファイルシステム「MogileFS」 moonlinxでは、各種メディアファイルの保管に、オープンソースの分散ファイルシステム「MogileFS」を利用しています。 分散ファイルシステムを用いることにより、ファイルシステムを構成するノード群の一部がダウンしても、データを失うことなくシステムとして機能し続け、かつ自動レ
Drop.io APIを使ったシンプルなアップローダー·uSend.io MOONGIFT
個人的にとても興味深いと思っているサービスがDrop.ioだ。ただファイルをアップロードするだけ、からスタートしたこのサービスは派生的に様々な機能が付加され（だがシンプルさは維持しつつ）、樹木のようにサービスの枝を伸ばしている。 同名Webサービスも立ち上がっている そんな中登場したのがDrop.io APIだ。これを使えばファイルのアップロードや取得ができるようになる。それを使ったサンプル的なサービスがuSend.ioだ。 今回紹介するオープンソース・ソフトウェアはuSend.io、ごくごくシンプルなファイルアップローダーだ。 uSend.ioはDrop.io以上にシンプルなWebサービスを提供する。あるのはテキストボックスが二つだけだ。上のテキストボックスはファイルの指定を行う場所になっており、Firefoxであればクリックすればファイルの指定ダイアログが出る。Safariではファイル
記事が見つかりません MOONGIFT
特集「オープンソース×10年」 予算ゼロからのIT環境整備2014/01/30 特別寄稿：センチメンタル・ジャーニー ~OSSはまだ16だから~2014/01/30 EC-CUBE – オープンソース・Eコマースの雄の進化を見る！2014/01/30 Zabbix Japanに聞いたオープンソース×ビジネスを成功させるための3つの基本2014/01/30 MOONGIFTの運営で大事にしている3つのこと2014/01/30 2007〜8年の大きな変動まとめ！2014/01/30 なぜプレミアム？そこから得られた経験教えます2014/01/30 2006〜09年、各年の人気オープンソース・ソフトウェアベスト52014/01/30 狙われやすいサイトはどんなサイト？オープンソース×セキュリティについてペンタセキュリティシステムズに聞く2014/01/30 aegifが考える企業でOSSを開発す
10秒で余ったHDDを外付け化できる「ガチャポンパッ！」
保存用のHDDが足りなくなったので、1TBのHDD（HITACHI製）を買いました。昔なら、「ハードディスクに数百GBも何保存するの？」なんて思っていたりもしましたが、デジカメ画像をRAWで保存したり、iTunesを使ってAppleロスレス圧縮で何十枚もCDを音楽取り込みしていたら、あっという間に容量が足りなくなってしまいました。 で、今まで使っていて余った320GBのHDDを活かす方法はないかなぁと思って買ったのがこれ！ ガチャポンパッ！ ガチャポンパッ！は、簡単に言うと「内蔵用HDDをUSB接続の外付けHDDとして利用」できるようにするハードディスク接続キットのことです。最初、ネーミングセンスに惹かれて「裸族のお立ち台」にしようかとも思いましたが、「ガチャポンパッ！」の方にしました。デザイン、冷却ファン、10秒取り付けが決め手で。 「10秒でHDD搭載可能って、本当なの？」 というわけ
MOONGIFT: » Dropbox以上？iPhone/Windows/Mac OSXで動作するファイル同期ツール「Soonr」:オープンソースを毎日紹介
iPhone/iPod Touchにはドキュメントビューワー機能がある。これが何気に使い勝手が良く、画像、PDF、Excel、Word、PowerPointはたまたVisioのファイルまで閲覧ができる。そのため、色々なドキュメントを入れておけばどこでも見られて便利だ。 iPhone向けクライアント。iPhoneから印刷もできる iPhoneにファイルを入れる方法は幾つかある。メールを使う、DiscoverやAir Sharingを使う。そしてもう一つのアプリケーションが登場した。これはWebDAV形式ではなくWebサービスと連携して動作する。 今回紹介するフリーウェアはSoonr、iPhone/iPod Touchと連携するファイル同期ソフトウェアだ。 SoonrはDropboxのようにWindowsやMac OSX向けの専用クライアントが用意されている。そして指定したフォルダ内にあるファ
無料かつ容量無制限！柔軟な設定ができて使いやすいオンラインストレージの決定版『LiveDrive』 | 100SHIKI
無料かつ容量無制限！柔軟な設定ができて使いやすいオンラインストレージの決定版『LiveDrive』 December 21st, 2008 Posted in ライフハック・生産性 Write comment これは今のうちに登録すべきかも。 Livedriveは（ベータ版のうちは）無料かつ容量無制限のオンラインストレージだ。 こうしたツールはすでに数多くあるが、なんといっても容量無制限だし、細かい設定が柔軟にできるのが魅力だ。 個人的にぐっと来たのはファイルの拡張子によってアップロード、ダウンロードの優先度を設定できる点。画像はあとでいいけど、文書は早く送ってほしい、といったときに便利だ。 またアクセス方法が多彩なのも評価できる。ウェブ上での閲覧は当然として、エクスプローラーと統合されるでの普通のドライブのように見れるし、iPhoneやモバイルにも対応しているようだ。さらにiTunesで
これは便利！オンラインストレージをローカルドライブ化·Gladinet MOONGIFT
Webアプリケーションの台頭によって、インターネット上にデータを保存することが増えてきた。その際に問題になるのがローカルデータとの同期や、バックアップの方法などだ。特にブラウザでしかデータに触れないというのは不便だ。 Amazon S3へのログイン（筆者環境では失敗） Googleドキュメント、Picasa、Amazon S3…それらのデータに簡単にアクセスできるのがGladinetだ。 Gladinetは各種オンラインストレージサービスのデータをマウントし、まるでローカルファイルのように扱えるソフトウェアだ。 例えばGoogleドキュメントをマウントした場合、ファイル一覧でWordやExcel、PDFなどのファイルとしてアイコンが表示される。そしてダブルクリックで開くことができる（失敗する場合もある）。日本語も文字化けずに表示される。 Googleドキュメントをマウントした場合 同様にP
Windows Live FolderShare beta
Keep your latest files with you, no matter which computer you're using.
格安で「Time Capsule」を自作する方法 | ライフハッカー・ジャパン
MacOS Xといえば、クリーンな印象を受けるGUIとユニークなソフトではないかと思います。その中でも、標準添付されている『Time Machine』は、世にあるバックアップソフトの中でも、一二を争うくらいユニークなユーザーインターフェイスを持ったバックアップソフトではないかと思います。 このバックアップソフト、機能もポイントを押さえており、使いやすいので、標準添付するAppleに畏敬の念を持ちますが、残念なことにNAS等ネットワーク接続のディスクには、バックアップ先にすることが出来ません。 唯一、Appleの「Time Capsule」がバックアップ先に指定できますが、同じ機能を持つデバイス（無線LANルーターやNAS）を持っていると、購入に二の足を践んでしまうし、ネットワーク経由のバックアップストレージなんて、PCを使って安く作ることが出来ないの？ と考える方もいらっしゃると思います。
無料かつ無検閲でZIPやRARを含む140種類のファイルを100MBまでアップロードできる「bayimg」
著作権侵害で訴えられているにも関わらず年間400万ドル（約3億7600万円）の広告収入、登録ユーザー250万人、同時ダウンロードの利用者1000万人というP2Pファイル共有ソフトウェアBitTorrentのトラッカーを検索・ダウンロードできるサイト「The Pirate Bay」が運営するのがこの「bayimg」というアップローダです。 ウリは140種類のフォーマット（ZIPやRAR含む）に対応し、最大100MBまで「無検閲」でアップロードできるということ。タグも設定でき、リサイズすることも可能です。 詳細は以下から。 bayimg - free uncensored image hosting http://bayimg.com/ 「Tags」をクリックするとこのようにして、アップロードされた画像を見ることが可能。 「Settings」をクリックすれば、このようにして1ページ当たり何枚画
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webストレージを仮想ドライブとしてマウントできる「Gladinet Cloud Desktop」NOT SUPPORTED
senduit | Share easily.
どんなファイルでもウェブページに変換してくれるサイト「Flie2.ws」*二十歳街道まっしぐら（FC2ブログ時代）
http://www.fumpr.com/