MongoDB2.2の新機能丸の内MongoDB勉強会 #3で発表した「MongoDB2.2の新機能紹介」の内容をスライドにまとめました。https://github.com/syokenz/marunouchi-mongodb/tree/master/20120926Read less
Cassandraの使いどころ(Looking to the future with Cassandraの翻訳)
Cassandra、おもしろいデータベースなのですが、いまいち使いどころが 理解できていません。 Looking to the future with Cassandra 何だかおもしろそうな内容の記事を見つけたので翻訳してみました。 （内容は保証できませんが・・・） これは、Diggというblog等の記事が面白かったら投票できるサービスを 提供しているエンジニアの方が掲載した記事です。 Diggは、現在使用しているデータベースの基盤を拡張する方法を、今も探しています。 Diggでは、よく知られているMySQLを使用したmaster-slave構成を採用しており、 MySQLを使用したID用のデータベースで共有化が可能であるか調査してみました。 しかし、残念ながらこの方法はうまくいきませんでした。 旧来のmaster-slave構成の場合は、マスターとなるデータベースへの書き込みの冗長性確
へ〜たのめも:Riak と Cassandra と HBase、あらまー! - livedoor Blog（ブログ）
2010年05月25日 Riak と Cassandra と HBase、あらまー! Mozilla Blog Riak and Cassandra and HBase, Oh My!の勝手訳。各分散 KVS の特徴が分析されていて興味深い……と思って訳してみた。この無様なタイトルは Google 翻訳による。 Riak と Cassandra と HBase、あらまー! 我々は、SoCorro Crash プロジェクトにおいて HBase との統合を進めているが、その話はちょっと置いておいて、今回はメトリック・チームが巻き込まれている別のプロジェクトについて話をしよう。 Mozilla Labs Test Pilotは、実世界の Firefox ユーザをから集めたデータを分析して、ユーザ・エクスペリエンスを向上させるための実験をしたり、定量的データを集めたりするためのプロジェクトだ。 私
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
1. スマートフォン×Cassandraによる ハイパフォーマンスサービス基盤の 構築事例 株式会社コスモルート クラウドR&D グループ terurou Cassandra Conference in Tokyo（2011/10/05） 1 All Rights Reserved,Copyright © 株式会社コスモルート 2011 2. 今から話すこと • 自己紹介＋会社紹介 • 事例紹介 – GeQuuとは – リリースに至るまでのサービス基盤の変遷 • どのように技術的な難題を解決してきたか？ • まとめ 2 All Rights Reserved,Copyright © 株式会社コスモルート 2011
Key Value Storeについて
主な3つの機能について実装状況を示してみました。 「データ永続化」とは、ストレージサーバを再起動してもデータが失われないようにデータをメモリではなくHDD等に格納できる機能です。例えば、memcachedはメモリにデータを置くため、ストレージサーバを再起動するとデータが失われます。 「データ冗長化」とは、格納したデータがストレージサーバ側で自動的に複数のストレージサーバにコピーが作られる機能です。1台(または数台)のストレージサーバがダウンしてもデータが失われることはありません。 「データ分散」とは、キーのハッシュ値等を元にデータの格納先のサーバを振り分ける機能で、負荷分散を図ることができる機能です。なお、memcached、Tokyo Tyrantにはサーバ側での分散機能はありませんが、クライアント側のライブラリによって格納先サーバを分散させることも可能です。 memcachedプロトコ
第1回分散処理ワークショップの感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 「第1回分散処理ワークショップ in Tokyo」に参加できましたので、その感想など。 （長らく補欠3番目だったので今回は無理かなーと思ってたんだけど、ぎりぎりでキャンセルが出たので入れた） Togetter： 「第1回分散処理ワークショップ in Tokyo」 #dist_study 資料の場所はokuyamaooさんの「第1回分散処理ワークショップ in Tokyo」を開催しましたに全部出ています。 各DBMS（分散KVS）の紹介を1つ当たり15分。の予定が、Q&Aが入ったりして盛り上がり、けっこう伸び伸びに(笑) 全般的な感想としては、やはりDBMS（分散KVS）を実際に作っている人はすごい(笑) 方式を考えて実装してみて試行錯誤しているだろうから、他のDBMSにつ
はてなブログ | 無料ブログを作成しよう
トルコ水紀行 －前編 イスタンブール－ みなさんこんばんは、地図子です！8月は久しぶりに毎月更新にしようと思います。今までずっと名古屋について書いてきましたが、ワープして・・・ トルコについて書きたいと思います。 2024年6月に念願のトルコに行ってきました。いつからトルコに行きたかったかわから…
「データのライフ・サイクル」で考えるHadoopの使いどころ
「データのライフ・サイクル」を考える RDBMSは、「非定型処理への活用」、「バッチ処理のスケール・アウト」という観点で限界に突き当たっています。しかし、RDBMSの豊富な機能が現代のコンピュータ・システムに欠かせない存在であることも間違いありません。この矛盾をどう解決すればいいのでしょうか。 この問題を解決する鍵は、「データのライフ・サイクル」にあります。 RDBMSは、管理するデータはすべて「起きている（活動している）」、つまり「いつでも更新される可能性がある」ことを前提に設計されています。例えば、銀行の口座残高は、バッチ処理が進んでいる最中にも、ATMからの引き出しなどのリアルタイム処理で更新される可能性があります。 しかし、すべてのデータが「起きている」わけではありません。例えば、銀行口座の「昨日の取引履歴」は、過去のデータなので、更新される可能性はまずありません（過去の取引履歴を
Hadoopの導入事例
hadoop on Flickr - Photo Sharing! 突然のHadoopの話題:-) 分散コンピューティング環境のHadoopが実際にどんな企業で使われているのかメモです。 実際に大きな所はPoweredBy - Hadoop Wikiに書かれているので詳しくはそちらを。 あと、ここに書かれている以外にも気になるものが… Facebook ログ解析と機械学習に利用 4,800コアの600ノード規模 Google & IBM 学生の分散コンピューティング教育のためにGoogleとIBMのハードウェア資産を遠隔操作できるそうです。その上で動いているのはHadoop 元々Googleの技術のオープンソース実装を、Googleが使っているのが面白い:p Google Press Center: Press Release IBM 自社のBlue Cloud製品の基盤にHadoopを採
ジェミナイ、分散KVS「Cassandra」を使ったリアルタイムログ解析システムをOSS化
ジェミナイ・モバイル・テクノロジーズは2011年3月3日、リアルタイムログ解析システム「Flume-Cassandra Log Processor」をオープンソースソフトウエア（OSS）として公開した（配布サイト）。大量のシステムログを瞬時に分析して、グラフィカルなレポートを作成できる。ログ保存には、OSSの分散キー・バリュー型データストア（KVS）「Cassandra」を使用する。 Flume-Cassandra Log Processorでは、監視対象のサーバーで発生したイベントのログを、1秒以内にストレージであるCassandraに保存する。Cassandraは書き込みが高速な分散KVSで、サーバーの台数に比例して、ストレージ容量とI/Oを拡張できる。そのため、クラスターのサーバー台数を増やすことで、数百Tバイトのログの格納が可能になるとしている。ログの分析機能やレポート作成機能のほ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
