Cosmic っていうネットワークストレージを作り始めた - kazuhoのメモ置き場
GitHub - kazuho/cosmic: fail-safe management tools for network-based software RAID, using mdadm + iSCSI 概要 (というか近場の目標) は、以下のとおり。 fail-safe な network RAID 多重マウントが発生しないプロトコルを実装 RAID だから DRBD や MySQL の async replication のような lost updates 問題がない software RAID + NBD を使用 (NBD は遅いから iSCSI 対応するかも) RDBMS レベルのレプリケーションや DRBD と異なり、高可用性のあるブロックデバイスを提供するソフトウェアレイヤとして機能 様々なストレージミドルウェアを統一的に管理可能なので、管理コストが低い バックアップとかも
［速報］AmazonクラウドがMySQLサービス開始、パッチもバックアップもおまかせ
Amazon Web Servicesがクラウド上でMySQLをホスティングする「Amazon Relational Database Service (Amazon RDS)」のβ公開を開始しました。 インストール不要でMySQLの利用を開始でき、パッチ当てやバックアップなどもAmazonクラウド側で実行してくれるため、MySQLの導入や運用の手間を大幅に削減可能です。 MySQLのインスタンスは規模に応じて5種類が用意されています。 Small DB Instance : （1時間あたり0.11ドル） 1.7 GB memory, 1 ECU (1 virtual core with 1 ECU), 64-bit platform Large DB Instance : （1時間あたり0.44ドル） 7.5 GB memory, 4 ECUs (2 virtual cores with
Amazon Relational Database Service (Amazon RDS)
Amazon Relational Database Service Easy to manage relational databases optimized for total cost of ownership Amazon Relational Database Service (Amazon RDS) is an easy-to-manage relational database service optimized for total cost of ownership. It is simple to set up, operate, and scale with demand. Amazon RDS automates the undifferentiated database management tasks, such as provisioning, configur
クラウドストレージの標準APIがストレージ団体「SNIA」から提案される
「クラウドストレージ」とはクラウドで提供されるストレージサービスのことで、DaaS（Data Storage as a Serivce）と呼ばれることもあります。このクラウドストレージの操作と管理の標準的なAPIを、ストレージ業界の団体「SNIA（Storage Networking Industory Association」を母体とした組織「SNIA Cloud Storage Initiative」が提唱しています。 SNIA Cloud Storage Initiativeは10月12日に発足したばかりで、EMC、ネットアップ、HP、サン・マイクロシステムズ、シマンテックなどが参加。このSNIA Cloud Storage Initiativeが提唱するクラウドストレージのAPIが「Cloud Data Management Interface（CDMI）（PDF）」と呼ばれるもの
仮想化環境を「DNSで」管理するはてな，分散ストレージを自社開発したライブドア
シンプルでスケーラブルな分散ストレージを自社開発したライブドア 一方ライブドア執行役CTOの池邉智洋氏は，同社のブログや写真投稿サービスなどのインフラで利用中のストレージ仮想化ソフトを自社開発した事例を紹介した。ライブドアのサービス群が求める要件が「いかに安価に容量を追加できるか。過剰な機能と信頼性は不要」（池邉氏）と判断。メーカー製のネットワーク・ストレージの利用を止め，「ファイルのパスがそのままURLになるため，ファイル・システムのパスをURLに変換しなくて済む」HTTPで入出力する分散型仮想ストレージの開発に踏み切ったのだという（写真4）。 設計思想は「複数ノード間の一貫性はCAP定理に基づいて遅延を妥協し，スケーラビリティと読み出しの速さにこだわった。一方で書き込みはそこそこの速度でよく，認証とアクセス制御はアプリケーションで実装するので不要」（池邉氏）というもの。HTTPサーバー
高速SSDの落とし穴。データベースで利用するときはご注意を！
今年はSSDの台頭がめざましい。価格の低下、大容量化、そして高速化、さらには低電力化まで期待できるというからもうHDDの出番はなくなるんじゃないだろうかというぐらいの勢いである。しかしそんなSSDもデータベースで利用する時には気をつけてもらいたい。 MySQL Performance Blogでインテル製SSDを使って検証した結果がレポートされている。 インテル製SSDはめっぽう早い。彼らのテストでは一秒間に5250回もの書き込みが出来たそうだ。しかしそれはライトバックキャッシュが有効になっているときの話であって、ライトバックキャッシュを無効にすると書き込みは秒間1200回まで低下したらしい。（それでも高速だが。） で、このインテル製SSDのライトバックキャッシュはくせ者で、バッテリー等で保護されていない。つまり、ライトバックキャッシュにダーティな（まだディスクへの書き出しが完了していない
平澤寿康の周辺機器レビュー Samsung SSD「MMDOE56G5MXP-0VB」～高速ランダムアクセスで大容量の256GB SSD
■平澤寿康の周辺機器レビュー■ 第14回 Samsung SSD「MMDOE56G5MXP-0VB」 ～高速ランダムアクセスで大容量の256GB SSD Samsungから、MLCタイプのNANDフラッシュを採用する高速SSD「MMDOE56G5MXP-0VB」が発表された。 シーケンシャルリード220MB/秒、シーケンシャルライト200MB/秒という高速なアクセス速度に加え、ランダムアクセス性能にも優れ、他社製SSDを凌駕するパフォーマンスを実現するとされており、かなり興味深い製品だ。今回、このSamsung製SSD「MMDOE56G5MXP-0VB」を試用する機会を得たので、パフォーマンス面を中心にチェックしていきたいと思う。 ●見た目は従来のSamsung製SSDとほぼ同じ 今回試用できた「MMDOE56G5MXP-0VB」は、MLC NANDフラッシュメモリを採用する、容量256G
Kazuho@Cybozu Labs: SSD (フラッシュメモリ) のベンチマークと選定基準
ベンチマークに使用したのは、一般的な HDD、高速性で有名な Intel の SSD、ネットブック (DELL Inspiron Mini 9) の内蔵 SSD (STEC 製, 32GB)、および SanDisk の SDHC カード (SanDisk Extreme III) です注。 この表を見て２つの SSD を比較すると、読み込みパフォーマンスの差がそれほど大きくないことに気づきます。また、SD カードの読み込み速度も、HDD を大きく上回っています。つまり、ランダムリードについては、メーカーや SSD 間の差は、あまり大きくない、ということになります。 一方で、書き込みパフォーマンスについては、非常に大きな差があります。X25-M と STEC の SSD の差は、実に 50 倍にのぼります (SSD の書き込みバッファをオフにした場合の値はこちらの表を参照のこと)。また、SD
サーバとストレージの間に“ネットワーク”が生まれた理由（前編）
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます この連載では、SAN（Storage Area Network）やNAS（Network Attached Storage）などのいわゆる「ストレージネットワーク」を中心に、データセンターを構成するサーバやストレージ、さらにはネットワークの最新の市場動向や関連技術を解説する。第1回では、ストレージネットワークが誕生した背景やSANを利用することによるメリットとデメリットについて紹介する。 DASからSAN/NASへ〜ストレージネットワークの誕生と発展〜 そもそもコンピュータにとって、ディスクやテープなどの外部記憶装置（ストレージ）は“周辺機器”である。そしてコンピュータと周辺機器との間のインターフェースとして長年使用されてきた技術が、「
オラクルが「10倍速い」DB専用機、「10年に一度の変革」と遠藤社長
日本オラクルは2009年1月20日、データベース専用システム「Oracle Exadata」を発表した。日本オラクルの遠藤隆雄代表執行役社長最高経営責任者は「10年に一度のテクノロジーの変革」と意気込む（写真1）。大量のデータを扱うデータウエアハウスやバッチ処理を高速化したいユーザーに向けて売り込む。オラクルにとっては初のハードウエア製品となる。会見にはハードを提供する日本ヒューレット・パッカード（日本HP）の小出伸一代表取締役社長執行役員が同席。「ExadataはIT業界にとって重要な位置付けにあるものだ。日本オラクルと技術検証に取り組むほか、パートナーに情報を提供するなど支援をしていく」（小出社長）と述べた。 Oracle ExadataはDB本体の「Oracle Database 11g」に、同DB専用のストレージサーバーを組み合わせることで高速化を図っている。米Oracleの責任者
In-memory database - Wikipedia
An in-memory database (IMDb, or main memory database system (MMDB) or memory resident database) is a database management system that primarily relies on main memory for computer data storage. It is contrasted with database management systems that employ a disk storage mechanism. In-memory databases are faster than disk-optimized databases because disk access is slower than memory access and the in
RDBMSの終わりとかについて - 技術日記＠kiwanami
本人が大まじめなので少し補足説明。 まず、 id:nowokay はコメントで書かれているような、Javaしか書けないとかSQLが書けないとかDBの知識がどうのというような、脊髄反射でDISられるようなレベルではない。寝坊についてはDISられても仕方がない。 自分が理解している、きしだ理論は以下のよう。 前提： JPAは永続化実装に依存しない永続化APIである SQL(RDBMS) < JPA+JPQL 実現したい機能が満たせる前提で、永続化実装に依存しないという意味で。もちろんこの時点でアプリケーション側はJPA(Java)に依存。 話題のターゲットは、参照が多く、REST的なURLにマップできるくらいの複雑さを持つWebアプリ RDBでしか実績が豊富にないような複雑な業務アプリはRDBのままでかまわない。 である時に、JPAでRDBに依存しないような考え方でプログラムを作っておけば、（
「RDBMSの時代の終わりが見えてきた」についてそろそろ一言言っておくか - ひがやすを技術ブログ
2008-12-12 いくつか誤解を生みそうな表現があるので、それをまずは指摘しましょう。 プログラムモデルとしては、すでにRDBMSからの脱却の準備は始まっています。ORマッピングがそれです。 これが、意図的かはわからないけど、ミスリードを生んでいます。「RDBMSの時代の終わりが見えてきた」というタイトルで、こういう書き方をすると、「ORマッピングによって、すでにRDBMSからの脱却の準備は始まっている」という風に読めるでしょう。これが、ミスリード。 JPAが大切だと思っているのは、永続パラダイムの転換に、コーディングを変えることなく対応できるからです。もちろんJPA+RDBMSのシステムをJPA+非RDBMSに切り替えれるという話ではなく、プログラマのコードの書き方の対応の話です。 これをもう少し、噛み砕くと、JPAのJPQL(SQLもどき)を使えば、SQLとしては統一されていない複
RDBMSは死にましぇん - ねこかわいい
RDBMSがクラウドコンピューティングに殺されるらしいです。 とくに組み込みDBから死ぬらしいです。 HDDはSSDにとってかわられるらしいです。 http://d.hatena.ne.jp/nowokay/20081212#1229071535 SSDに対しての反論と、組み込みDBが死ぬことに対しての反論。 RDBMSはサーバから死ぬらしいです。 http://d.hatena.ne.jp/kazuhooku/20081212/1229077256 どっちもびみょいとおもいます。一応、毎日ウェブアプリをごりごり書いており、なおかつORDBMSをばりばり利用している身として、気になる点をだらだらかくよ。 大規模システムはRDBMSからクラウドへ、それ以外はひきつづきRDBMSで RDBMSの一番大きな問題点は、いまさらですがスケーラビリティです。このへんははてなとかmixiの技術ネタを読め
RDBMSの時代の終わりが見えてきた - きしだのはてな
クラウドと一緒にやってきたもの 最近、クラウドが流行ってます。 GoogleのMapResuceから始まって、MicrosoftのAzureまで、大手のクラウド製品が出揃った感じ。 で、そこで、こんなクラウド製品が出ましたというときに、必ずといっていいほどそのクラウド用のデータベースの説明があります。そして、それはRDBMSではありません。 GoogleだとBigTable、MicrosoftだとSQL Data Services、あとはAmazonのSimpleDB。どれも、基本的にはひとつのテーブルにハッシュコードでアクセスするようになっています。 ほかのクラウド製品も、Oracle Coherenceだったり、楽天のRomaだったり、非RDBMSのデータストレージを提供します。 クラウドというわけではないけど、mixiのTokyo TyrantやApache CouchDBも、RDB
SSD とストレージの将来 - kazuhoのメモ置き場
SQL に痛痒感を感じる日々を過ごしている身としては、RDBMS がレガシーだというのは、まったく同感ですが。 SSDを前提にしたプログラムモデルになれば、そもそもシーク時間と戦うこともなく、ストレージを意識せずにプログラムが組めます。そうなったとき、アプリケーションのデータを永続化するためにRDBMSをわざわざ使うことはないでしょう。 2008-12-12 そんなことないと思います。理由は以下の２点。 フラッシュの書き換えブロックサイズは数キロバイト以上 トランザクションは意識して実装せざるを得ない フラッシュメモリはランダムリードできますが、DRAM のようにランダムライトできるわけではありません。書き込みが非常に遅いのに加えて書き換え回数の制限もあるので、メインメモリと同様のプログラム手法を使うのは難しいと思います。 次にトランザクションについてですが、組み込み型データベースとして
アマゾンのウェブデータベースサービス「SimpleDB」、公開ベータテストへ
ウェブサイト構築といったコンピューティングに利用できるAmazon.comのオンラインサービスシリーズの1つ「SimpleDB」が、限定ベータテストから公開ベータテストになった。 プログラマーはSimpleDBを使うと、データベースのレコードをAmazonに蓄積しそこから特定のデータを引き出せる。今回の公開ベータテストへの移行にともない、Amazon.comはデータ保存にかかる1Gバイトあたりの料金を月額を1.50ドルから20セントへと値下げした。 1年近くまえに発表されたSimpleDBは、「Amazon Web Services」（AWS）シリーズでは新参の方だ。AWSのほかのサービスではデータ処理、生データの保存、コンテンツの配信、さまざまなコンピュータ間で送信されるメッセージの保存が行える。 Amazon.comは今回、少なくとも公開ベータから6カ月間は基本的な利用が無料になること
NextReality
2006 | 12 | 2007 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2008 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2009 | 02 | 03 | 06 | 09 | 10 | 2010 | 02 | 07 | 12 | 2011 | 10 | 2013 | 02 | 04 | 2014 | 01 | 03 | 06 | 12 | 2015 | 05 |
Kazuho@Cybozu Labs: ウェブサービスにおける SSD 導入にむけて〜検索サービスの可能性
« Filter::SQL でデータベースを叩くワンライナーを簡単に書く方法 | メイン | ウェブサービスにおけるダメージコントロール (MySQL のスロークエリを自動的に kill する方法) » 2008年10月28日 ウェブサービスにおける SSD 導入にむけて〜検索サービスの可能性 実際に試してみた結果については、ウェブサービスの SSD 化について話してきましたをご参照ください。 検索エンジンや小さな行が多いデータベース等で使用する目的での SSD (Intel X25-M) のベンチマーク結果については、Kazuho at Work: Benchmarking SSD for MySQL をご覧ください (InnoDB の話をしていますが、Senna / Tritonn でも基本的に同じ) Sun が SSD 製品の投入を表明 (マイコミジャーナル) したり、Google
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Martin Fowler氏はデータストレージについての凍結した考えがほぐれてきたと考えている
