今時のWebエンジニアの入り口としてのGAE - ku-sukeのブログ
本日、GoogleがCloud SQL（MySQLのレンタルみたいなの）の無料版を発表しました。500MB/6ヶ月でGoogle App Engineなどから無料で使えるようです。 さて、それはいいとして最近弊社なども含め、今時の環境って本気だすと複雑化してますよね。OSCで発表された前佛さんのMunin資料を31pと２つ戻って29pを見比べてみてくださいｗ Muninではじめる実践★リソース監視 -俺のサーバがこんなに重いはずがない、を乗り切るために- from Masahito Zembutsu こんなの絶対おかしいよ！！ NoSQLや非同期処理など、様々な新しい技術にチャレンジしたいと思っていても、どこから手を付けよう、、みたいなことってありますよね。Cassandraがいいのかな、Redisがいいのかな？みたいにはてブの着いた記事があれば読んでみるんだけど、インストールとか面倒そう
パフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - cypher256's blog
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
［速報］オラクル、HadoopとNoSQLを搭載した専用マシン「Oracle Big Data Appliance」を発表。Oracle OpenWorld 2011
［速報］オラクル、HadoopとNoSQLを搭載した専用マシン「Oracle Big Data Appliance」を発表。Oracle OpenWorld 2011 米オラクルは10月4日（現地時間10月3日）、ビッグデータのための専用マシン「Oracle Big Data Appliance」を、サンフランシスコで開催中のOracle OpenWorld二日目の基調講演で発表しました。 キーバリュー型のデータストア「Oracle NoSQL Database」と「Apache Hadoop」および関連ソフトウェアを、データベースマシンとして開発されたOracle Exadataのハードウェアに載せたものです。 これまでビッグデータに対して特別なアナウンスをしてこなかったオラクルが、ビッグデータ、そしてコモディティサーバによる分散処理が主流になっているHadoopに対しても、ハードウェア
グーグル、NoSQL軽量ライブラリ「LevelDB」を公開。ChromeブラウザのIndexedDBとして採用
LevelDBはSQLをサポートせず、クライアント／サーバ型でもなく、シングルプロセスからアクセスされることを想定したいわゆるNoSQLの高速なキーバリュー型データストアを実現するためのライトウェイトなライブラリだと説明されています。 ChromeブラウザでHTML5の仕様として策定中のIndexedDBを実装するものとして開発されたようです（ドキュメントに明記されていないのですが）。 LevelDBを開発した理由 LevelDBのWebサイトによると、LevelDBは以下の主な機能を備えています。 基本的な操作は、Put(key,value), Get(key), Delete(key) 1つのトランザクションとして複数の変更操作が可能 データは自動的に圧縮し保存される Hacker Newsの記事によると、当初はLevelDBを開発する代わりに平林幹雄氏が開発したTokyo Cabin
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
NoSQLの成功は1:10問題にかかっている:Kenn's Clairvoyance
ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ
Cassandra入門と、さらに詳しく知るためのリソース集
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています（NoSQL＝Not Only SQL。命名の経緯はこちら）。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも（ツイートデータの格納には使われないようですが、それ以外の用途で）利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
Apache Cassandra | Apache Cassandra Documentation
What is Apache Cassandra? Apache Cassandra is an open source NoSQL distributed database trusted by thousands of companies for scalability and high availability without compromising performance. Linear scalability and proven fault-tolerance on commodity hardware or cloud infrastructure make it the perfect platform for mission-critical data.
第2回 Cassandraのインストールから起動まで | gihyo.jp
前回はCassandraとは何かを簡単に説明しました。第2回では、Cassandraを実際にインストールして開発環境で動かしてみましょう。 Cassandraをインストールしよう 環境を確認する まずは環境の確認をしましょう。筆者の環境は以下のようになっています。 Windows 7 Professional Sun JDK 1.6.0_18 64bit Eclipse 3.5.1 この連載ではおもにWindowsでの環境を想定しています。ただ、CassandraはJavaベースなので、MacやLinuxなど別OSでも同様に動くはずです。 Cassandraをダウンロードする 本連載では現時点での最新版Cassandraha 0.6.1を使います。以下のサイトからダウンロードできます。 The Apache Cassandra Project URL：http://cassandra.ap
インフラエンジニアのためのcassandra入門
@marqsさんと@muranetさんと一緒にhbstudy#11で発表させていただきました。 これを機にとか言うとでかすぎる気がしますがCassandraが国内でも盛り上がるといいなーと思います。 懇親会でも結構使おうとしている方がいたりしてうちもうかうかしてられないですねｗ 資料をあげましたのでこちらよろしかったらどうぞ！ インフラエンジニアのためのcassandra入門 View more presentations from Akihiro Kuwano. これだけはかかないと！ 素晴らしい会を開いて下さっているハートビーツの方々や、スピーカーの方々、来ていただいた方々に感謝しております 非常に楽しかったです！ ただいま二日酔いですw
Cassandraデータモデル入門 - Arin Sarkissian - Digital Romanticism
この記事は、Arin Sarkissian氏のブログ記事「http://arin.me/blog/wtf-is-a-supercolumn-cassandra-data-model」を氏の許可を得て翻訳したものです。（原文公開日：2009年9月1日） ここ１、２ヶ月というもの、DiggのエンジニアリングチームはCassandraについて調べ、遊び、最終的にはプロダクションにデプロイするためにかなりの時間を費やしてきました。これは実に楽しいプロジェクトでしたが、楽しくなる前にCassandraのデータモデルについて理解するために相当の時間を費やしたのです。「'super column'って何だよ」というフレーズが何度も口にされました。 もしあなたのバックグラウンドがRDBMSならば（ほとんどみんながそうでしょうが）、Cassandraのデータモデルについて学ぶ際に、いくつかのネーミング規約で
PHPとMongoDBで学ぶ次世代データストア :: handsOut.jp
スライド1: PHP と MongoDB で学ぶ次世代データストア佐藤琢哉LOCAL PHP 部 スライド2: スライド3: 突然ですが スライド4: 4月から札幌市民になります!!!!! スライド5: 友達が少ないので皆さん遊んでやってください スライド6: • MongoDB って何?• 使い方• 他の DBMS との比較• MapReduce• まとめアジェンダ スライド7: そもそも何の話? スライド8: MongoDB すごいよ! スライド9: MongoDB って何? スライド10: http://www.mongodb.org/ スライド11: MongoDB (from "humongous") is a scalable, highperformance,open source, schema-free, documentorienteddatabas
Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」
「いまは新しい技術への大規模な移行をする時期ではないと確信している」。Twitterは、サービスの核となるツイートを保存するデータベースを、MySQLによる大規模分散データベースから、NoSQLデータベースであるCassandraへ移行しようとしていました。しかしCassandraへの移行作業を中止し、引き続きMySQLでの運用を継続すると、Twitter Engineering Blogへのエントリ「Cassandra at Twitter Today」で明らかにしました。 これは戦略の変更だ Twitterは利用者からのツイートを、Scalaによって独自開発したミドルウェア「Gizzard」とMySQL、そしてmemcachedを用いた大規模分散データベースに保存しています。 しかしこうした複雑なシステムによる運用は非常に手間がかかり、人的コストを中心としたコストの増加が非常に大きくな
さくらインターネット、NoSQLデータベースのテストサービスを開始
サーバホスティング大手のさくらインターネットは、NoSQLデータベースの一種であるキーバリュー型データストア（KVS）を試験的に同社のサーバ上で提供する「KVSアルファテストサービス」を行うと、さくらインターネット研究所のブログで明らかにしました。 キーバリュー型データストアは、リレーショナルデータベースよりも単純な形式でデータを格納し、データ操作もシンプルなため、スケーラビリティや高速なアクセスを実現しやすく、クラウドの特徴を活かせるデータベースとして最近注目されています。 今回のアルファテストサービスでは、memcachedプロトコルを用いてさくらインターネット研究所が提供するキーバリュー型データストアを運用しているクラウドへアクセスし、利用する形態をとるようです。 KVSの中身はグリーが開発したFlare キーバリュー型データストアにはApache FoundationのCassan
InfoQ: グラフデータベース、NOSQL、Neo4j
VoldemortやTokyo Cabinetといったキー/バリューシステムにおけるモデリングの最小単位はキー/バリューペアになる。そして、BigTableやそのクローンでは可変数の属性をもつタプルに、CouchDBやMongoDBといったドキュメントデータベースではドキュメントになる。これに対しグラフデータベースでは、データセット全体をひとつの巨大な高密度ネットワーク構造としてモデル化する。 ここではNOSQLデータベースにおける2つの興味深いポイント、スケーラビリティと複雑さについて詳しく説明する。 1. スケーラビリティ CAP: ACID 対 BASE 従来のデータベースシステムのほとんどは、トランザクションに基づいてデータの完全性を保証する。トランザクションを使うことで、データ管理のあらゆる状況において、データの一貫性を確保している。こうしたトランザクションの性質は、ACID（A
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
インフラエンジニアのためのcassandra入門
3. 自己紹介 桑野 章弘 id: akuwano twitter: @kuwa_tw 株式会社サイバーエージェント インフラエンジニア 最近は自分でも何やってんのかわからなくなってきた
NoSQL登場の背景、CAP定理、データモデルの分類
その例としてBeck氏自身が過去に取り組んできた生命保険会社のアプリケーションを例に挙げます。そのアプリケーションでは毎日のようにスキーマが変化するため、SQLとORM(Object-Relational Mapping）では対応できず、オブジェクトデータベースのGemstoneを利用することで対応できたと述べています。 こうしたSQLだけでは満たせないさまざまな要件、上記の図にあるようにスキーマの可塑性、スケーラブルなデータ読み込み、書き込み、処理の柔軟性などを満たすために、リレーショナルデータベース以外のNoSQLな製品が開発された。これがNoSQLの登場の背景にあるとBeck氏は解説します。一方で、こうしたさまざまなNoSQLを、NoSQLという言葉で表すのは適当ではないという憂慮も示しています。 Here is where the futility of defining NoSQ
次の一歩を踏み出した“NoSQL”
「クラウドでパケ死」。 5月中旬、こんな言葉がTwitterで発信された。米Amazon Web Servicesのクラウドサービス「Amazon EC2」と「Amazon EBS」を使ったことろ、わずか5日ほどで利用料が25万円を超えてしまったのだという。ご本人のTwitterをたどると、原因は容量が30テラバイトの巨大な仮想ストレージを3台も借りてしまったことにあるようだ。このストレージに、データベースソフト「Cassandra」を使って1兆件を超えるレコードを登録したのだという。 Cassandraとは、米Facebook社が自社のサービス基盤向けに開発したデータベースソフトである。現在はOSSとして公開され、Apache Software Foundationが開発を進めている。特徴は、複数のノードにデータを分散管理できることで、ノードを追加するだけで容易に処理性能を高められる仕組
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2011/07/13/20110712y-combinator-alum-memsql-raises-2-1-million-from-ashton-kutcher-sv-angel-and-more/
