How Google Backs Up the Internet Along With Exabytes of Other Data - High Scalability -
« Sponsored Post: Logentries, Booking, Apple, MongoDB, BlueStripe, AiScaler, Aerospike, LogicMonitor, AppDynamics, ManageEngine, Site24x7 | Main | Stuff The Internet Says On Scalability For January 31st, 2014 » Raymond Blum leads a team of Site Reliability Engineers charged with keeping Google's data secret and keeping it safe. Of course Google would never say how much data this actually is, but f
OpenZFS
See OpenZFS Developer Summit 2022 for presentations and information about last year's conference. Introduction to OpenZFS OpenZFS is an open-source storage platform. It includes the functionality of both traditional file systems and volume manager. It has many advanced features including: Protection against data corruption. Integrity checking for both data and metadata. Continuous integrity verifi
【緊急】 Riak Cloud Storage が OSS になりました【速報】 - kuenishi's blog
BashoのRiak CSがオープンソースになり、さらに、同時に Riak CS 1.3.0 がリリースされました。Riak CSの日本語の紹介もあります。概要を知りたいというひとは第五回クラスト研の僕の発表スライドもよいかと思います。 今まではトライアル版と申しこめば無料で使えていましたが、これからはバグを見つけたりすると自分で直してPull Requestすることができるようになります。素晴らしいですね。Bashoジャパンで開発した機能もいくつか入っているらしいですよ。 ドキュメントにあまり時間をかけられなかったらしく（他人ごと）、公式のドキュメントもなかなかなので、ヒジョーにニッチなQuickStartをここに書いておきます。もう開発者向けといっていいレベル。Tarballも配布されると思うので特に心配はしていません。基本的には公式のQuickStartと同じですが、ちょいと長いので
RAIDレベルの話: 1+0と6はどっちが安全か？ - たごもりすメモ
仕事でちょっくら12台のHDDを使ったRAIDアレイを組むんだけど、その折にちょうどTwitterで「RAID-1+0にしないとRAID-6とか怖くて使えませんよ！」というウソ八百な内容のWebページのURLを見掛けたので、いいかげんそのような迷信が消え去ってもよかろうと思って書くことにした。 1重ミラー設定のRAID-1+0は安全性においてRAID-6に劣る。ただし、正しく運用されている場合に限る。*1 知っている人はずっと前から知っている事実ではあるんだけど、某巨大SIerなんかでも高い方が安全に決まってる的な残念な脳味噌の持ち主がいっぱいいて「いやあデータの安全性を考えるとRAID-1+0」とか考えもなしにクチにし、そっちの方がディスクがいっぱい売れて嬉しいストレージベンダーもニコニコしながら否定せず売りつけて去っていくといううわなにをす(ry まあそんな感じで。ちなみに正しくない運
Fast fulltext search for all languages on MySQL
About Mroonga Mroonga is a storage engine for MySQL. It provides fast fulltext search feature for all languages including Chinese, Japanese and Korean to all MySQL users. Mroonga was called Groonga storage engine. Characteristic The latest release 13.05 is the latest release. It had been released at 2023-08-02. Install The latest posts Mroonga 13.05 has been released! (2023-08-02) Mroonga 13.01 ha
Amazon S3を33%安く使う方法 - よねのはてな
暑いですね、汗 汗 汗（汗３）。 Amazon Simple Storage Service、略してS3というストレージサービスがあります。 少し前に、Amazon Web Services BlogでReduced Redundancy Storage（Amazon RRS）が発表されました。 http://aws.typepad.com/aws/2010/05/new-amazon-s3-reduced-redundancy-storage-rrs.html 簡単に説明すると、S3の可用性は99.999999999%ですが、RRSは99.99%となっていて少し可用性が低いので33%安く利用出来ますよという事です。 blogから引用 RRS pricing starts at a base tier of $0.10 per Gigabyte per month, 33% cheaper
Ruby で Google Storage for Developers API を使ってみました - WebOS Goodies
今年の Google I/O で発表された、 Google Storage for Developers （以下GSfD）というサービスをご存知でしょうか。数ギガバイトクラスの巨大なデータを、 RESTful API で使って Google クラウドに保存・アクセスできるという、いわば Google 版の Amazon S3 です。発表直後にダメもとでアカウントを申請した後すっかり忘却の彼方だったのですが、先日になって唐突にインビテーションが届いたので、本日はその使い方をご紹介します。 GSfD には Web インターフェースやコマンドラインツール、 Python のクライアントライブラリが用意されていますが、 Web 開発者としてはやっぱり API 経由での使い方をマスターしたいところ。ここは敢えて Ruby から Web API を直で叩く方法に挑戦してみました。日本語はもちろん英語で
nginx+squidで画像キャッシュサーバーの作り方 - hideden.hatenablog.com
仕事で画像キャッシュサーバーを構築した時のメモ。大規模事例の設定例が検索してもあまり見つからなかったので同じような境遇の誰かの参考になれば。 ピーク時のトラフィックは数Gbps 画像総容量は数十TB バックエンドのstorageが複数種類 規模とアクセス量とアクセスされる画像の種類が多いので、squidでdisk cacheを使用するとCOSS等を使用してもdiskIOで詰まる為、全てon memory cache。cache容量を確保する為に必然的にcacheサーバーの台数も数十台。 1. squidをsibling構成で並列に並べる cache_peer 10.0.1.1 sibling 80 3130 no-query no-digest proxy-only cache_peer 10.0.1.2 sibling 80 3130 no-query no-digest proxy-o
第1回 memcached 1.4、基本の基本 | gihyo.jp
今回は、1.4になってアップデートされた新機能を中心に紹介します。 memcachedとは？ memcachedとは、主にデータベースへの負荷を下げ、かつWebアプリケーションのスケーラビリティをコストパフォーマンス良く向上させる高性能な分散キャッシュサーバです。memcachedの基本や概要に関しては、以前ミクシィ運用グループの長野と執筆した「memcachedを知り尽くす」をご覧ください。 memcached 1.4の特徴 1.4、5つの特徴 memcached 1.4の大きなニュースの1つはバイナリプロトコルの正式導入です。また、他にも色々と嬉しい機能や改修が施されています。詳しくは1.4のリリースノートに記述されていますが、要約すると以下の5点が上げられます。 バイナリプロトコルの正式導入 パフォーマンス向上 統計システムの強化 報告されたバグの修正 テストの強化 入手先 memc
ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
ウノウラボ Unoh Labs: 10テラバイトマシンのつくりかた
「iPodの残り容量が200MBを切った」と社内で発言してから「iPhoneを買おう！」としきりに言われるようになったbokkoです。そんな私は先月、ホコリをかぶっていたデスクトップPCを筐体ごと買い換えました。今ではMacBookからSSHでログインしてコンソール上で快適な生活を送っています。 今月、2TBのHDDを6本使ったサーバを立てる機会がありまして、今日はその時のお話です。 HDDの容量とストレージサーバ Webサービスのインフラを構築・運営していると、膨大なデータをどう扱うかといった問題にぶち当たることがあります。仮想化技術の進歩によって複数のOSを1台のマシンで同時に稼働させつつ、物理的なマシンの数を減らすことができるようにはなりましたが、物理的な媒体であるHDDを1台のマシンに搭載できる数には限りがあり、ソフトウェアであるOSの仮想化みたいにじゃんじゃん増やすことができませ
Dropboxを超えた？オンラインストレージ「SugarSync」 - らっこのじゆうちょう
最近「SugarSync」というオンラインストレージを見つけたのですが、これが本当にスゴいです。 （SugarSync自体はかなり前からあったらしいのですが、最近大幅に改良され2GBの無料版も追加されたようです） これまではDropboxを使っていたのですが、同期したいファイルは必ずDropboxフォルダの中に入れなければなりませんでした。 また、オンラインにバックアップしたファイルは全て、DropBoxを使っている別のPCにも同期されてしまっていました。（そのシンプルさがDropboxの良いところでもあるのですが） けれど、「元の場所に置いたままオンラインにバックアップしたいファイル」「別PCとは同期しなくても良いけどオンラインにはバックアップしておきたいファイル」も結構あるわけで、特に後者は別PCのディスク容量が残り少ない場合など、かなり困ったりします。 それに対して「SugarSyn
ニコニコ動画で検証開始――ギガバイト単価200円を切るHPの超大容量ストレージ
日本ヒューレット・パッカードは12月10日、本年5月に事前発表されていた超大容量ストレージ「HP StorageWorks 9100 Extreme Data Storage System（以下、「ExDS9100」）」を販売開始する。同時に報道陣に対する説明を行った。 ブログやSNSの普及、そして動画、音楽などの配信サービス拡大により、市場では大容量のファイルベースストレージが求められている。調査会社IDCの予測では、2008年から2012年にかけてワールドワイドで増加するストレージ使用量は年率50％にのぼる。2008年は、RDBMSなどに属するブロックデータの総量をファイルデータの総量が上回るという、逆転現象が起こった年でもある（こちらもIDC調査による）。 会見冒頭、挨拶に立った日本HP 富岡徹郎 ストレージワークスビジネス本部長は「Web2.0型のサービスが急速な発展を見せる現在、
話題のオンラインストレージ 「Dropbox」正式版が公開 ― ＠IT
2008/09/12 オンラインストレージサービスの「Dropbox」が9月12日、ベータテスト期間を終えて一般公開を開始した。容量2GBの無料サービスと、月額9.99ドルまたは年額99.99ドルで50GBが利用できる有料サービスがある。有料サービスは来週開始する。Windows Vista/XP、Mac OS X、Linux向けのクライアントソフトウェアを使ってストレージが利用できるほか、PC向け、iPhone向けのWebインターフェイスでストレージ上のファイルにアクセスできる。 【参考記事】「HDD以上に便利なオンラインストレージ“Dropbox”」 Dropboxはローカルのファイルシステムと統合したクライアントソフトウェアを提供するのが最大の特徴。クライアントをインストールすると、ローカルのディスク上に専用フォルダが作成される。このフォルダがオンラインストレージと同期しており、ユー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.google.com/mymaps/viewer?usp=sharing&mid=1pbfxtxmkezbEUVa_b-NUWJJ5oMbYyTYL
GREE Engineering
Oosah - Homepage