MongoDB 2.4 の性能 徹底評価（レコード長による評価） - 中年engineerの独り言 - crumbjp
前回のMongoDB 2.4 の性能 徹底評価の反響が大きかったので続編。 今回の調査対象 ドキュメントサイズ毎の性能を評価する。 今回の検証用にベンチを書いた。 性能見積りにも使えると思うので、紹介しておきます。 MongoDB-JP/mongo_bench 今回の検証も、Sakura VPS 2G で行った。 専用環境ではないので、ある程度まわりの影響を受けている。（何度もベンチを取って極力排除はしたが、、） また、記事に載せた以外にも色々と検証しており、その結果も少し混ざっていたり。。 オンメモリデータの処理が高速な事は解っているので 今回の検証の肝は『ディスクアクセス』 MongoDBはメモリ以上のデータを扱う為のプロダクトなのでなるべく性能が出ない様な条件＝ワーストケースを狙った。 2GBメモリに対して40GBのデータを扱い、データ全体を万遍なく使うようなクエリーを発行する。 評
「演算子のインジェクション」と「SSJI」
「演算子のインジェクション」と「SSJI」：NoSQLを使うなら知っておきたいセキュリティの話（1）（1/2 ページ） ここ数年、大量データ処理時の高速性やデータ構造の柔軟性などから、「NoSQL」が注目を集めています。それと同時に、NoSQLを使うアプリケーションに対する攻撃手法も研究されるようになりました。この記事では、NoSQLを使ったアプリケーションの脆弱性と対策について解説します。 注目集める「NoSQL」 ここ数年、NoSQLと呼ばれる種類のデータベースが注目を集めています。NoSQLはSQL言語を使用しないデータベースの総称で、大量データ処理時の高速性やデータ構造の柔軟性などのメリットがあるため、従来のリレーショナルデータベース（RDB）を補完・代替するものとして、大規模なWebアプリケーションなどにおいてNoSQLを採用する事例が増えています。 このような新しい技術が普及し
第13回 MongoDBの性能 | gihyo.jp
はじめに 前回、前々回とMongoDBの非機能面に着目してきましたが、今回も非機能に着目して、MongoDBの処理性能について説明します。まず前半では、MongoDBの動作の中で処理性能に影響を与える動作を説明します。それをふまえた上で、後半では処理性能をどのように上げるかを説明します。 なお、今回はMongoDBを単体で使った場合の処理性能を考えています。レプリケーションやシャーディングを行った状態の処理性能については対象外とさせていただきます。 処理性能にかかわるMongoDBの動作 データアクセス MongoDBがどのようにデータにアクセスするかは、MongoDBの処理性能を考える上で非常に重要です。 MongoDBではデータファイルを仮想メモリにマッピング（Linuxではmmapという機能を利用）し、MongoDBのプロセスは仮想メモリにアクセスします。図1のように、アクセスするデ
Sysbench Benchmark for MongoDB - v0.1.0 Performance Update
Two months ago I posted a performance comparison running Sysbench on MongoDB versus MongoDB with Fractal Tree Indexes v0.0.2. The benchmark showed a 133% improvement in throughput. Nice, but our engineering team had an effort on our road-map for lock refinement that we believed would really boost our performance, which is now available in v0.1.0. The benchmark application itself is unchanged and a
アプリを支えるFluentd+mongo dbを使った大規模ログ解析
アプリを支えるFluentd+mongo dbを使った大規模ログ解析 Presentation Transcript アプリを支えるFluentd +MongoDBを使った大規模 ログ解析 2013/03/2513年3月25日月曜日 自己紹介 • 田中 勇輔(@csouls) • ハッカーLv.3（ホイミが使えるようになっ た） • 8ヶ月くらい前にユーザ系SIer→Web業界へ 転職13年3月25日月曜日 変化を善とする文化 • 転職して一番変わったことは、周りの人の技 術変化に対する価値観の基準が悪→善になっ たこと • 停滞はゆるやかな死。しかし、変化する方向 を間違え続けるとすぐに死ぬ13年3月25日月曜日 分析 • 変化の方向を決める道標 • 分析基盤も変化(発展)し続ける13年3月25日月曜日 ログ分析基盤 • fluentでログを集めてMongoDBで集計して Ruby o
MongoDB 2.4 の性能 徹底評価（Memory vs DISK） - 中年engineerの独り言 - crumbjp
大体欲しいデータは揃ったのと、MongoDBの気持ちが解ってきたのでMongoDB2.4の性能調査は今回で最後の予定 実は前回MongoDB 2.4 の性能 徹底評価（レコード長による評価）のFETCHバイト数（1.5GB） 実は今回のOn-memoryデータ vs DISKリードに繋げる事を意図した大きさだった。 システムの2GBメモリに収まるだろう。と・・・ しかし、、測れど測れど、意図した通りの結果にならない・・・ それで気付いた。 インデックスの大きさを勘違いしていたのだ。 MongoDBのインデックスは単なるコレクションでは無いようだ！ 1億件の数値型インデックスは2.3GBにもなる。 という訳で、1億件のコレクションのインデックスはそもそもメモリーに入らない。。 １ドキュメント辺り25〜26byte インデックス数値型８バイト＋ドキュメントへのポインタ８バイト＋メタ情報？ _i
NASAハッカソンでGalactic Impact部門のHonorable Mentionを受賞しました
グローバル審査の結果が出たのでエントリにします。 世界規模のハッカソンであるInternational Space Apps Challengeが4月に開催されました。昨年も同じ時期に開催されましたが、今回は開催地が44カ国、83都市。正式にサブミットされたプロジェクトは750を越えたとの事で、圧倒的な規模です。 私が参加したプロジェクトは日本ローカル2位*1となり、グローバル審査ではGalactic Impact部門のHonorable Mention(選外佳作)となりました。ハッカソンから1ヶ月以上経っていますが、今だに作業は続いているので嬉しい限りですね。 主に次の3つの機能を開発しました。 MODIS Cloud Maskの取りこみ、集計 地図上へのマッピング ソーラーパネル発電による収支のシミュレーション サブミットしたプロジェクトページ Cloudless Spots for
米IBM、NoSQL「MongoDB」を開発する米10genと提携
米IBMは2013年6月6日（米国時間）、NoSQLのデータベース（DB）の「MongoDB」を開発する米10genと提携すると発表した。IBMはMongoDBのデータ形式やクエリー言語に関する規約である「BSON」の標準化に参画するほか、BSONをIBMのリレーショナルDB「DB2」やインメモリーDB「WebSphere eXtreme Scale」で利用可能にする。 IBMでは10genとの提携の理由として、MongoDBがモバイルアプリケーションやWebアプリケーションの分野で、代表的なNoSQL DB技術になっていることを挙げた。IBM製DBがBSONに対応することで、DB2などのIBM製DBに情報を蓄積しているユーザー企業は、MongoDBをバックエンドとするモバイルアプリケーションからIBM製DBに蓄積されている情報を活用できるようになる。 IBMは「IBM MobileFir
DJポリスへのインタビュー
警視庁生活安全部 @MPD_yokushi こんにちは、テワタサナイーヌです。警視総監に突撃インタビューをして以来の登場です。あの後おとなしくしていたのは、突撃インタビューで怒られたとか、そういうことではありません。本職さんに放っておかれただけです。 http://t.co/ac6KbofLxa
Selfkleptomaniac — 最近の仕事と勉強について
Blogging is a disease: selfkleptomania, your normal condition. About GPG Public Key 先月は仕事に関係ない勉強としてTiTwilioを作ってみました。Titaniumのアプリに数行でIP通話機能を追加することができるようになりました。今月は、今のところAndroidのHolo themeをTitaniumで作ったアプリでカスタマイズする方法と、Node.ACSとAppcelerator Cloud Serviceを連携させる方法、それらを組み合わせてNode.ACS上にチャットサーバを立ててTwilioの通話アプリと共存させる方法を勉強しています。ちょっとしたLINEを作るみたいな感じですね。これまで縁がなくてその手のやつを実装したことはなかったので、ちょっとやってみます。それから、Elixirの本を買ったの
ruby 2.0.0-p195 + fluentd v0.10.35 + msgpack v0.5.5 の組合せが素敵という話 - たごもりすメモ
fluentd v0.10.35 が出ましたね！ https://rubygems.org/gems/fluentd で、端的に申し上げまして fluentd をお使いの皆様は以下の組合せで使うのがおススメです。 Ruby 2.0.0-p195 Fluentd v0.10.35 MessagePack v0.5.5 なぜかというと以下のようなすばらしい利点があるからですね。 Ruby 2.0.0 でfluentdを走らせると大変高速 2.0.0 は each とかを回すときに非常に高速になるような改良が入っている 1.9.3 向けには funny-falcon patch として知られていたもの rvm を使ってビルドしていたrubyだと知らずに当たってるかも これが大量のメッセージに対してループが回りつづけるFluentdに超ハマる 手元計測で生の 1.9.3 の倍ちょっと高速 Ruby
レッドハットがPaaS型クラウド「OpenShift Online」正式サービス開始。Java、PHP、Ruby、Node.jsなど多言語対応。無料プランは継続
レッドハットがPaaS型クラウド「OpenShift Online」正式サービス開始。Java、PHP、Ruby、Node.jsなど多言語対応。無料プランは継続 OpenShift Onlineは、いわゆるPaaS（Platform as a Service）型のクラウドサービスで、Java、Ruby、PHP、Node.js、Python、Perlなどの多様な言語と、MySQL、MongoDB、PostgreSQLなど複数のデータベースをサポートするのが特長です。 開発はオープンソースの「OpenShift Origin」として進められており、KVMやVirtualBox、VMwareなどの仮想マシン上で動作するイメージも提供されているため、ノートPCで試すこともできるようになっています。 また企業が自社のデータセンターでプライベートクラウドとしてOpenShiftを稼働させるためのソフト
Zabbixローレベルディスカバリ機能&Zabbix2.2仮想環境監視機能紹介
Zabbixローレベルディスカバリについての紹介と、先取りでZabbix2.2の新機能「仮想環境監視機能」を紹介Read less
「被ダメ脱衣」を考えた人は天才だと思うんだ: 不倒城
タイトルを見て、脊髄反射で「お前は一体何を言っているんだ」という熱い思いで胸が一杯になった方も多かろうと思う。同感である。同感であるが、まあ聞いていただきたい。 ゲームにおける脱衣には二種類ある。つまり、「ご褒美としての脱衣」と「慰めとしての脱衣」である。獲得する脱衣と与えられる脱衣、あるいは達成することによって得られる脱衣と失敗することによって得られる脱衣、と言い換えてもよい。 前者は、要するに「勝つ・条件を達成すると脱衣シーンが見られる」という方向での脱衣。一部のパソコンゲームにルーツを持ち、脱衣麻雀を中核とした超強力な定番ジャンルを形作った、圧倒的な王道脱衣である。おそらく、ゲーセンでも最も集金力が高い力の一つだったのではないだろうか。 それに対する後者、「自分がダメージを受ける/敗北することによっても脱衣を見ることが出来る」というのが素晴らしい発明だったと私は思うのである。 被ダメ
うんこを漏らしてしまうできるビジネスマンの特徴
通勤途中にうんこを漏らしてしまうできるビジネスマンで特徴はあまり見かけたことがないので、10個挙げてみました。 胃は丈夫だが腸は繊細(上司のプレッシャーには耐えるが部下のことを思いやることが出来る)括約筋は最後まで抵抗する(最後の最後まで粘り強く抵抗する自己犠牲)うんこが付いたスラックスで歩く(他人に迷惑をかけないよう自己解決を試みる)トイレで被害の大きさを確認する(現状の確認を冷静に行える)シミは諦め、匂いの問題にフォーカスする(問題の切り分けができる)トランクスは捨てる(損切りが出来る)消臭剤を買い求める(出来る範囲での処理が的確に行える)バレないように油断を怠らない(常にリスクを意識できる)問題解決を一歩一歩行なっていく(ポジティブシンキング)家に帰るまでがうんこ漏れです(詰めまでしっかり行える)件の増田は上記をしっかり踏まえて行動し出来るビジネスマンになっていただきたい。 http
結果を残すには「苦労の美学」と「頑張り依存」をまず捨てよう | ライフハッカー・ジャパン
こんにちは。メンタルトレーナーの森川陽太郎です。 「結果を出す組織になるために個人ができること」でも紹介したように、仕事で結果を出すための一番の近道は、本質を見失わないことです。 一方で、ちょっとしたきっかけで結果が出ない状態が続く、いわゆる「スランプ」に陥ってしまうことがあります。しかも、そこから抜け出すためにもがいているのに、余計に結果が伴わない悪循環にハマってしまいがちです。この悪循環を生んでいる原因はいったい何でしょう？ その答えは依存です。 「依存体質」や「依存症」という言葉から連想できるように、一般的に依存は悪いことだという認識があるかもしれません。しかし、何にも依存していない人なんて、世界中どこを探してもいません。依存は決して悪いことではないのです。 しかし、依存過多になってしまった瞬間、今でまうまくいっていた様々なことが噛みあわなくなってしまいます。今回は、あるサッカー選手
『攻殻機動隊 S.A.C. 2nd GIG』が期間限定で全話無料配信 - #RyoAnnaBlog
6月22日の公開が迫った映画『攻殻機動隊 ARISE』。これまでのシリーズとは監督と脚本が異なるため、最初は心配していたが、プロモーションビデオを観る限り十分楽しめそうだ。久しぶりの新作で今からワクワクしている。 「攻殻機動隊ARISE」本予告0511 - YouTube そんな『攻殻機動隊 ARISE』の公開に先駆けて、映画の冒頭8分と、攻殻機動隊 S.A.C. 2nd GIGの全話が無料で配信される事になった。配信期間は6月14日(金)〜6月28日(金)。YouTubeの配信アカウントはこちら。 攻殻機動隊 S.A.C. 2nd GIG 第1話 - YouTube※こちらは以前から配信されている公式チャンネル 攻殻機動隊を観たことがない方はこの機会に是非。1stシリーズを観ていなくても問題なく楽しめるはずだ。 2ndシリーズで特にオススメなのは第14話「左眼に気をつけろ」。少佐がサイト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
存在しない記事 - 標高+1m
記者「加藤コミッショナーと相談して決めたと言ってましたが･･･?」→下田「あの時は頭が混乱してた」ｗｗｗｗｗ : 日刊やきう速報