MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。
MongoDB 2.4 の性能 徹底評価（レコード長による評価） - 中年engineerの独り言 - crumbjp
前回のMongoDB 2.4 の性能 徹底評価の反響が大きかったので続編。 今回の調査対象 ドキュメントサイズ毎の性能を評価する。 今回の検証用にベンチを書いた。 性能見積りにも使えると思うので、紹介しておきます。 MongoDB-JP/mongo_bench 今回の検証も、Sakura VPS 2G で行った。 専用環境ではないので、ある程度まわりの影響を受けている。（何度もベンチを取って極力排除はしたが、、） また、記事に載せた以外にも色々と検証しており、その結果も少し混ざっていたり。。 オンメモリデータの処理が高速な事は解っているので 今回の検証の肝は『ディスクアクセス』 MongoDBはメモリ以上のデータを扱う為のプロダクトなのでなるべく性能が出ない様な条件＝ワーストケースを狙った。 2GBメモリに対して40GBのデータを扱い、データ全体を万遍なく使うようなクエリーを発行する。 評
MongoDBをNUMAなマシンで使うときの注意 - 酒日記 はてな支店
デュアルCPUで計12コア24スレッド、メモリ48GBというマシンで MongoDB-2.0.8 をしばらく稼働させたところ、突然 CPU の system time が1コア分暴走したようになる、という現象が起きました。 最初は原因がよく分からず、とりあえず mongod のプロセスを kill して起動し直したら復旧したのですが、またしばらくすると同じ現象に。 mongoのメモリ使用量と Load Average をプロットしてみると、どうもある程度 (約24GB?) のメモリを使ったところで暴走が起きているような……とログを見直してみると、起動時に WARNING がでていました。 Sun Jan 20 00:10:01 [initandlisten] MongoDB starting : pid=12669 port=27017 dbpath=/var/lib/mongo 64-b
Node.js のログを Fluentd を使って MongoDB に集約する | DevelopersIO
最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB に保存するサンプルを作ってみます。 こんな感じ。とてもシンプルです。。 Input Output +------------------------------------------------+ | | | Node.js --------> Fluentd --------> MongoDB | | | +-------------------------------------------
Node.js、MongoDBでデータの保存
Node.js、MongoDBでデータの保存：Node.jsを使ってみよう（2）（1/4 ページ） Node.jsとSocket.IO、MongoDBを使用して、Webページの更新内容がリアルタイムにView画面に反映されるサイトを作ってみた MongoDBの紹介 前回はNode.jsでWebアプリを作成するために、ExpressやSocket.IOを使用したデモを基に説明した。今回はWebアプリのデータを保存するために必要なデータベースとしてMongoDBの使い方を説明していく。今回の記事でも後半でMongoDBを使った簡単なデモを用意しているので試してみてほしい。 MongoDBとは、ドキュメント指向のデータベースでNode.jsと相性がいいため、Node.jsとともに注目されている。Node.jsで実装したREABLOエンジンを使ったTech Releaseでも記事のデータベースとし
Node.js + MongoDB 位置情報を保存し検索する（CoffeeScriptで）【19日目】 | DevelopersIO
MongoDB には、地理空間のインデックスが用意されていて、簡単に位置情報を操作することが出来ます。 今回は、つぶやきを HTML5 の Geolocation API から取得した位置情報とともに MongoDB に保存しておき、 現在地近くのつぶやきだけを検索して表示するという簡単なサンプルを作ってみます。 ありがたいことに、うえじゅんさんの作った Node.js + MongoDB のサンプルがあるのでこれをベースに作っていきましょう。 https://dev.classmethod.jp/server-side/node-socket-io-mongodb/ 位置情報を保存するフィールドを定義 つぶやきのモデルに位置情報の保存フィールドを定義します。 「message.coffee」 mongo = require 'mongoose' mongo.connect 'mongod
MongoDB : サルでもわかるMapReduce · DQNEO日記
まずは「集計ができる」と覚えておきましょう。 最初はこれだけで十分でしょう。 利用事例 ある日、ピカチューがつぶやきサービスでつぶやき始めました。 ピカチューのつぶやきに対して、仲間からたくさんの「いいね！」ボタンが押されました。 あなたはつぶやきサービス管理人として、ピカチューのつぶやき数と、ピカチューがゲットした「いいね！」のトータル数を集計してみましょう。 準備 Mongoクライアントを起動して、DBを作成しましょう。 ./mongodb/bin/mongo MongoDB shell version: 2.0.1 connecting to: test > use sample; switched to db sample サンプルデータ ピカチューが３回つぶやいて、「いいね！」がたくさんつきました。 > db.entries.save( {username:'pikachu',
MongoDB and PHP の問題 - 中年engineerの独り言 - crumbjp
まず一言！ mongo-php-driver はマトモに動かん！！ （安心して使えるバージョンがない） やれやれ・・・ 『PHPじゃMongoDBが使えない』ってんじゃ寂しいのでちまちま直して使っています。 バージョン別のドライバの状態とパッチ 1.2.0 以前 数々の致命的な問題があるのでお勧めできません。 もし利用しているならば、なる早でアップデートする事を強くおすすめします 特にコネクションプール周りがダメダメで 折角MongoDBを利用してるのに対障害性が全く期待出来なくなる可能性が高い。 1.2.2 初期の1.2系では比較的安定しているバージョンです。 しかし２つの大きなバグがあるのでこれ等のパッチを当ててください。 ソケットディスクリプタ・リーク https://github.com/crumbjp/Personal/blob/master/mongo-php-driver/m
大規模化するピグライフを支えるインフラ ～MongoDBとChefについて～ (前編)
1. 大規模化するピグライフを支 えるインフラ 〜MongoDBと Chefについて〜(前編) 株式会社サイバーエージェント アメーバ事業本部プラットフォームディビジョン サービスディベロップメントグループ CA Developers Connect 桑野 章弘 2. 自己紹介 桑野章弘 サイバーエージェント Ameba を運営しています。 - Blogを中心として様々なサービスがあります。 ピグライフの運用／構築を担当 Twitter @kuwa_tw Blog http://d.hatena.ne.jp/akuwano/ 著書／活動 「MySQLによるタフなサイトの作り方」 勉強会（hbstudy, qpstudyほか）などでの発表など 2
MongoDBを半年運用してみた（のフォロー） - matsukaz's blog
某社との合同勉強会のLTで発表したMongoDBを半年運用してみたが、えらいはてブされててびっくり。。。あのままだとMongoDBは絶対使わないって結論になっちゃいそうなので、自分をフォローする形でエントリを書きたいと思います。 資料はこちら。 Mongo DBを半年運用してみた View more presentations from Masakazu Matsushita コネクションエラー多発 これは、7月にmongosの場所がmongodからSocketサーバ／Webサーバ／管理サーバに移動した件と関係しています。 まず、Socketサーバ／Webサーバ／管理サーバともにJavaで実装されているので、MongoDBへの接続はJavaの公式ドライバーを利用しています。当初のドライバーの利用方法は、 // Shard1, Shard2, Shard3のPRIMARYと同居してるmong
MongoDB全機能解説2
The document describes MongoDB's GridFS specification for storing and retrieving files that exceed the BSON document size limit of 16MB. It explains that GridFS splits files into chunks, which are stored as individual documents, and maintains metadata about the file such as length, MD5, and filename in a separate collection. It provides examples of using the mongofiles command line tool to list, s
MongoDB全機能解説1
This document contains links to MongoDB documentation pages about sharding, databases, collections, inserting, querying, updating, indexing, replication, and backups. It includes a link to a slideshare presentation on MongoDB sharding and links to pages explaining replica set internals and operations.Read less
MongoDBフロントエンド·MongoHub MOONGIFT
MongoHubはWindows/Mac OSX用のフリーウェア（ソースコードは公開されている）。去年、今年くらいから注目を集めているのがNoSQLシステムだ。KVSのような構成で、スケーラブルで高速に動作するのが特徴となっている。ビジネス分野ではまだ難しいが、テスト的に導入されることも増えているようだ。 そんなNoSQLの一つとして知られるのがMongoDBだ。通常、ターミナル操作で完結するが、今後発展していく中ではGUIの管理画面が欲しくなることは間違いない。その時に使ってみたいのがMac OSX用のフロントエンド、MongoHubだ。 MongoHubにMongoDBは含まれていないので別途立ち上げておく必要がある。その後MongoHubを立ち上げて接続する。接続が完了するとデータベースが一覧で表示されるので、そこから選択するとさらにコレクションが一覧になって表示される。 データを一
MongoDBを使った開発のお供に。MongoDB版phpMyAdminとも言うべき「RockMongo」 | MOONGIFT | オープンソース・ソフトウェア紹介を中心としたITエンジニア/Webデザイナー向けブログ
RockMongoはPHP製のMongoDB管理インタフェース。 RockMongoはPHP製のオープンソース・ソフトウェア。NoSQLデータベースが注目を集めている。RDBMSに代わるとは思いがたいが、使いどころによってはNoSQLの方がパフォーマンスが高く、より高速なWebサービスを構築できるメリットがある。 ドキュメント一覧 そのNoSQLの一つして知られているのがMongoDBだ。ドキュメント指向データベースとしても知られ、複数サーバにまたがったようなスケーリングにも対応している。そんなMongoDBを扱う上で便利な管理インタフェースがRockMongoだ。 RockMongoはMongoDB用のPHP製管理インタフェースだ。MySQLで言う所のphpMyAdmin的存在だ。データベースの一覧、コレクションの一覧、ドキュメントの一覧など階層的に閲覧できるようになっている。もちろんコ
MongoDBとAjaxで作る解析フロントエンド＆GraphDBを用いたソーシャルデータ解析
2. 自己紹介 • [自分] ▶ いのうえ たかひろ（ twitter: doryokujin ) ▶ 慶應大学院2年、数学科 25歳 ▶ MCMC、#P問題、近似ゕルゴリズム ▶ マラソンも好き(2時間30分位で走れてた) • [会社] ▶ 芸者東京エンターテンメント GTE ▶ ゕルバト3ヶ月目、ログ解析部隊（1人） ▶ おしごと非常に楽しいです 3. 最近の活動 • [MongoDB] ▶ MongoDB の日本語ドキュメント訳（Admin Zone） ▶ 進捗が遅くてすいません、勉強します、がんばります ▶ 勉強会とか、ユーザー会発足とか、もっと Mongo な活動 がしたい！ ▶ ご意見・協力してくれる人、いつでも声をかけて下さい • [ブログ] ▶ 始めました ▶ 勉強会報告、MongoDB、GraphDBを中心に… 4. 発表の目的 • ソーシャルゕプリの裏側（ログ解析）
Mongo db japan
The document discusses MongoDB, an open-source document database. It provides an introduction to MongoDB, describing how it is implemented in C++ for performance and supports many platforms and languages. It also discusses how MongoDB is adopted by over 90,000 users per month with over 1,000 production deployments, and how it provides a non-relational data model with horizontal scalability and no
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソーシャルゲームにおけるMongoDB適用事例 - Animal Land
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜