MongoDBを2.4から3.4にアップデートしてパフォーマンスを大幅改善できた話 | CyberAgent Developers Blog
こんにちは。 スマホアプリのピグパーティでサーバサイドエンジニアをしている阿久津と申します。 2018年1月、ピグパーティで使っているMongoDBを2.4から3.4にアップデートしました。 本記事では、その改修内容と、アップデートによるパフォーマンス改善についてまとめます。 1: MONGODBとは MongoDBとは、NoSQLの一つでドキュメント指向のデータベースです。 MongoDBにおいて、各データはドキュメントと呼ばれ、コレクションと呼ばれる集合に対してドキュメントを保存します。 弊社でも複数のプロジェクトで利用されています。 具体的な機能は公式ドキュメントにまとまっています。 2: ピグパーティにおけるMONGODBクラスタの構成 MongoDB2.4でのクラスタ構成図 MONGODB2.4でのクラスタ構成 MongoDB2.4での運用当時、ピグパーティではMongoDBのr
「MongoDB」狙うランサムウェア攻撃で2万7000超のデータベースが被害に--研究者ら報告
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 貧弱な設定のままで運用されている「MongoDB」データベースに侵入し、データを消去したうえで、復元料として最高1ビットコインを要求する攻撃が相次いでいる。その数はここ1週間で数万に及んでいるという。 オランダに拠点を置くGDI Foundationの共同創設者であるVictor Gevers氏と、ノルウェーに拠点を置く開発者のNiall Merrigan氏は、MongoDBに対する攻撃の急増を追跡してきている。この攻撃は、複数のグループによって実行されており、標的となるデータベースの内容を消去し、「WARNING」（警告）や「PWNED」（制圧済み）、「PLEASE_READ」（必読）といった名称の空のデータベースで置き換えるというも
Development Checklist - MongoDB Manual
The following checklist, along with the Operations Checklist for Self-Managed Deployments, provides recommendations to help you avoid issues in your production MongoDB deployment. Data Durability Ensure that your replica set includes at least three data-bearing voting members and that your write operations use w: majority write concern. Three data-bearing voting members are required for replica-se
MongoDBの便利ツール「mtools」紹介 - Qiita
MongoDBには、MongoDB開発者御用達の便利ツール「mtools」というものがあるのですが、まだあまり知られていないようですので、紹介していきます。 mtoolsの概要 mtoolsはgithubで公開されており、 以下のコンポーネントが含まれます mlogfilter MongoDBのログファイルをマージして、スロークエリを探したり、フルスキャンを探したりできるツール。さらにログを属性でフィルタして、JSONにすることもできる。 mloginfo MongoDBのログファイルを食わせると、ログの開始時間、終了時間、バージョン、出してるバイナリ、各種イベント(リスタート、レプリカ関連)、クエリの種類などを集計してくれる。 mplotqueries MongoDBのログファイルを食わせると、グラフを作ってくれる mlogvis MongoDBのログファイルを食わせるとhtmlをはいて
まとめ！MongoDB 2.6のリリースノート翻訳と所感 - Qiita
今回の記事を含めて6回にわたって連載してきたMongoDB 2.6のリリースノート翻訳シリーズですが、最終回になって驚きの事実が。 過去の投稿で"MongoDB 2.6は年内リリース予定です。"と書いてきましたが、 MongoDB 2.6は年内にリリースされる予定はありませんでした！ すみません、完全に勘違いしていました。JIRAを見ると、まだまだ先のようです。直近では、MongoDB 2.4.9（と2.5.5）が 2014年1月7日にリリース予定となっています。 https://jira.mongodb.org/browse/SERVER 今回はリリースノートの内容をまとめてみました。 目次 2.6で何が変わったの？ すぐに使える注目の新機能 検証が必要な新機能 2.4からアップグレードするべきか？ MongoDBの今後 翻訳記事へのリンク 2.6で何が変わったの？ 1. Aggrega
月間10億pvを支えるmongo db
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
mongodbのObjectIdの生成規則 - としたにあんの左脳
MongoDBのマイグレーションとかしてたら，MongoDBのObjectIdって本当にユニークだっけ？っていう疑問がわいた． 確かいろいろな要素を使って，ユニークになるようにできてたよなぁ．．．と思って，ちゃんと調べてみた． とりあえず公式のObjectIdの説明．ObjectId - MongoDB Manual 2.4.9 4バイトの，Unixエポックからの経過秒数(Unix時間) 3バイトのマシンID 2バイトのプロセスID 3バイトのカウンタ(開始番号はランダム) からできているらしい． ↑がんばって書いた． 実験！ 同じマシンで生成してみる． 以下の２つのObjectIdは同じマシン上で生成したObjectId. 52fcf106 0af12b af9e 8d5bba 52fcf108 0af12b af9e 8d5bbb 確かに最初のUnix時間は2秒ずれていることがわかる．
【CyberAgent】技術情報／TechReport - テックレポート／MongoDBの運用について | 株式会社サイバーエージェント
■はじめに 弊社でも、ピグライフをはじめとしてモバイルゲームなどのサービスでMongoDBを使い始めています。 運用に関してはMySQL等にはまだノウハウ的にはかなわないものの、NoSQLのジャンルの中では有用なプロダクトであるといえるかと思います。 ですが、運用に関しての共有ができておらず、有効な使い方ができていないパターンも多いです、そのため運用に関してノウハウを共有するための資料を作成しました。 ■概要／特徴 MongoDBには以下のような特徴がある ● BSONによる、JSONによるスキーマレスなデータ運用 これにより、柔軟なデータ構造をわかりやすく表現できる。 加えてスキーマレスなため、データの構成を柔軟に帰ることが出来る ● レプリカセットによる冗長化対応 MySQLでも、マスタを冗長化するためには、MySQLCluster、MHAなどのプロダクトがあ
『mongodbのsharding』
参考にさせて頂きましたのはこちら ↓からダウンロード http://www.mongodb.org/downloads ↓今回はこちら http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.3.tgz とりあえず↓な今回は感じとすることにする # mv mongodb-linux-x86_64-2.4.3 /usr/local/ # ln -s /usr/local/mongodb-linux-x86_64-2.4.3 /usr/local/mongodb shardingまで試したいので3つ分用意する ↓データディレクトリ /mongodb/data1 /mongodb/data2 /mongodb/data3 ↓ログディレクトリ /mongodb/logs では起動 # mongod --shardsvr --port 100
Indexes - MongoDB Manual
Indexes support efficient execution of queries in MongoDB. Without indexes, MongoDB must scan every document in a collection to return query results. If an appropriate index exists for a query, MongoDB uses the index to limit the number of documents it must scan. Although indexes improve query performance, adding an index has negative performance impact for write operations. For collections with a
Index Builds on Populated Collections - MongoDB Manual
Index builds use an optimized build process that holds an exclusive lock on the collection at the beginning and end of the index build. The rest of the build process yields to interleaving read and write operations. For a detailed description of index build process and locking behavior, see Index Build Process. Index builds on a replica set or sharded cluster build simultaneously across all data-b
MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。
fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
【CyberAgent】技術情報／TechReport - テックレポート／MongoDBの運用について | 株式会社サイバーエージェント
■はじめに 弊社でも、ピグライフをはじめとしてモバイルゲームなどのサービスでMongoDBを使い始めています。 運用に関してはMySQL等にはまだノウハウ的にはかなわないものの、NoSQLのジャンルの中では有用なプロダクトであるといえるかと思います。 ですが、運用に関しての共有ができておらず、有効な使い方ができていないパターンも多いです、そのため運用に関してノウハウを共有するための資料を作成しました。 ■概要／特徴 MongoDBには以下のような特徴がある ● BSONによる、JSONによるスキーマレスなデータ運用 これにより、柔軟なデータ構造をわかりやすく表現できる。 加えてスキーマレスなため、データの構成を柔軟に帰ることが出来る ● レプリカセットによる冗長化対応 MySQLでも、マスタを冗長化するためには、MySQLCluster、MHAなどのプロダクトがあ
MongoDB & Python
NoSQLデータベースMongoDBをPythonと組み合わせて使う方法を概説した書籍です。Python 2.7とpymongoを利用してMongoDBのさまざまな機能にアクセスします。MongoDBへの接続、データの読み書き、削除といった基本的なものから、サブドキュメントの利用、位置情報の操作、アップサートなどMongoDBに特化した機能までを紹介します。またPylons、Pyramid、DjangoとMongoDBを組み合わせて利用するための基本的な情報も掲載しています。なお本書はEbook版のみの販売となります。 まえがき 1章 使ってみる はじめに 参照ドキュメントのありか MongoDBのインストール MongoDBの実行 MongoDBを使うためのPython環境の設定 2章 Pythonを使ったMongoDBの読み書き MongoDBとPythonを接続する データベースハン
Emerge Technology: mongodbのmap reduceを使ってみた
生まれ変わった「Days of Liris」。プログラミングのこと、Pythonのこと、気になったソフトウェアのこと、身の回りのこと、いろんなこと。など MongoDBにはMap Reduceを簡単に使う機能があります。それ以外にコレクション(テーブル)にgroupというメソッドが定義されていて、RDBMSのgroup by相当のことができるとマニュアルには書かれています。ただ、次のような怖い注意書きがあります。 注意: 現在のところ、shardの環境では、group()の代わりにmap/reduceを必ず使ってください。結果はなるべく小さくしてください(10,000キー以内)。大きすぎる場合例外が発生します。Shard環境では問答無用にMap Reduceを使うしかなさそうです。結果はなるべく小さくしろと言うことですが、10000キーあればそこそこ大きいような気がします。最初の制限の「現
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Default MongoDB Port - MongoDB Manual v7.0
marunouchi-mongodb/20120926/syokenz at master · shoken0x/marunouchi-mongodb
mongoDBを知ろう！ | CROOZ公式エンジニアブログ
web2py - The database abstraction layer