MongoDB データモデリングのベストプラクティス
モデルのrelationship 1-to-1, 1-to-many, many-to-many mongodbでのrelationshipの表現: embeddingとreferencingがある embedding nestの形で一つのドキュメントに関連するデータを埋め込む mongoDBのキー思想である、「Data that is accessed together should be sotred together」を実践している 1度のクエリで情報を取れるためクエリの数が減り、applicationでのjoinロジックが不要になりパフォーマンスも上がる 書き込みもatomicになる ただし、embeddingをやりすぎるとdocumentが肥大化し、メモリ使用が非効率に。パフォーマンスが劣化することも。極端なケースでは、arrayフィールドなどにどんどんデータが溜まっていき、mo
MongoDB Aggregationを使う際の注意点 | 株式会社CAM
｜目次 1. はじめに 2. 前提 3. Aggregationの最適化 4. Pipleineのメモリ上限 5. Sharding環境でのAggregationについて 6. さいごに 7. 参考文献 ｜はじめに CAM でバックエンドエンジニアをしている「たいしん」です。 こちらは CAM advent calendar 2022 の 7日目の記事です。 今回はMongoDB aggregationの最適化について学んだので紹介します。 ｜前提 「MongoDB」とは「ドキュメント」と呼ばれるkey:valueデータを「コレクション」というまとまりで管理するドキュメント指向のデータベースです。「Aggregation」はデータの集計を行う際に使用します。 例えばチャットアプリでユーザーが受信したメッセージの既読を管理するコレクションの中に次のデータがあったとします。 このデータに対して
MongoDB AtlasからBigQueryへのリアルタイムレプリケーション
今回のブログではプラットフォームチームにて取り組んだ、異なるデータベース間のリアルタイムレプリケーションについて解説いたします。
6 Rules of Thumb for MongoDB Schema Design | MongoDB Blog
“I have lots of experience with SQL and normalized databases, but I’m just a beginner with MongoDB. How do I model a one-to-N relationship?” This is one of the more common questions I get from users attending MongoDB office hours. I don’t have a short answer to this question, because there isn’t just one way, there’s a whole rainbow’s worth of ways. MongoDB has a rich and nuanced vocabulary for ex
MongoDBのインデックスについて
はじめまして、ココネでインフラ・データベースを担当しているYです。 ココネではメインDBとしてMariaDBとMongoDBを使っていますが、今回はMongoDBのインデックスについてお話しできればと思います。 MongoDBのインデックスはRDBのB-Treeインデックスと似ていますので、それをベースにいくつかのTipsをご紹介します。 インデックスの管理コスト クエリのパフォーマンスを高めるためにコレクションにインデックスを追加しますが、インデックスは維持するのに管理コストがかかるものです。 コレクションにデータを登録するコストを1とすると、インデックスキーを追加するコストは一般的に1〜1.5くらいだと予想されます。 例えばインデックスが3つあるコレクションにデータを登録すると、そのコストは約5.5（1 + 1.5 * 3）くらいになります。 インデックスの数が増えれば増えるほどデータ
MongoDB × Elasticsearch × Monstache での部分一致検索
こんにちは。tech blog 編集長の N です。 今回はポケコロツインの1月中旬頃のアップデートで、「ココロノート」に新たに導入された部分一致検索についてご紹介いたします。 ポケコロツインとは ポケコロツインは「世界一かわいいをつくれるデザイナー」がプロデュースしたふたご着せ替えアプリです。 『ポケコロツイン』は二人のアバター「ココロン」を着せかえたり、二人の動きに癒やされたり・・・。CCPサービスの一つとして、これまで以上にアバターの可愛らしい動きや、表情、世界の表現にこだわりました。 ココロノートとその問題点 ココロノートとは、自分が思ったことを自由に投稿できる、ポケコロツイン内での交流の場（いわゆる掲示板）です。 投稿の公開範囲を 自分のみ・フレンドまで・全体 から選ぶことができます。 従来のココロノートの検索機能では、前方一致検索しか実装されていませんでした。 例えば、ペットを
ひとりMongoDB University / M201 MongoDB Performance(4)
この記録は、アドベントカレンダー形式ではじめた、MongoDB Universityの学習コースの記録の続きになります！ ただいまのコース M201 MongoDB Performance https://university.mongodb.com/courses/M201/about このコースでは、開発者 / オペレーション担当者双方向けの中級レベルの内容とのことです。 前回の記事は、ひとりMongoDB University / M201 MongoDB Performance(3) でした。 Chapter 2: MongoDB Indexes Text Indexes (動画) 文字列のフィールドに対しては、完全一致が基本。あるいは部分一致（like的なもの)での検索になる。 テキストインデックスを使うと、テキストをスペース（その他、トークナイザー）で区切って分かち書きし、それ
Dockerで起動しているMongoDBにリストアする | TOMILOG
docker run --rm --link mongo_mongodb_1:mongo -v /var/www/mongo/backup/:/backup --network mongo_default mongo:3.2 bash -c 'mongorestore --db ${DATABASE_NAME} --host mongo /backup' mongo:3.2を起動して、mongo_defaultというネットワーク上にある、mongo_mongodb_1というコンテナに接続する。 ホストの/var/www/mongo/backup/ディレクトリにある、リストアデータを/backupにマウントする。 mongorestoreコマンドを実行して、終了したら、今回起動したコンテナを削除する。 オプションの説明 --rm --rm 今回走らせるdockerコンテナがexitしたときに
MongoDB のストレージに Docker Managed な Volumes を利用してみた - Qiita
普段ローカルでデータを取り扱うとき極力環境を汚したくはないので DB サーバ立てる時もなるべく Docker コンテナ利用するのですが、MongoDB データの永続化に初めて Docker Volumes を利用してみました。 Docker コンテナ内のデータ永続化にはこれまで公式で言うところのいわゆる Bind Mounts しか利用したことがなく、Docker Managed なやり方が出てきていたことを知らなかったのでちょっと試しに利用してみたぐらいの温度感です。 一応 201801 現在のところの Best Practice はこの Docker Volumes らしいですが、まぁユースケース次第だと思うのでちゃんと考えて選択したほうが良いでしょう。 今回は Web サイトからクローリングしてきたデータが JSONLines 形式のファイルに収められている際に、そのファイルを mo
Go言語でJSONファイルをMongoDBへ挿入！並行処理でデータ挿入を効率化
事前準備 まずは、mongo-db-driverをインストールしましょう。 $GOPATH配下へインストールするか、Go 1.11以降に導入されたGo Modulesという仕組みを使って、プロジェクト毎のライブラリバージョン管理をするか選択してください。 # GOPATH配下へインストール go get go.mongodb.org/mongo-driver/mongo # Go Modules export GO111MODULE=on go mod init github.com/$user_name/$repository_name go get go.mongodb.org/mongo-driver/mongo 実装 それでは実際のコードを見ていきましょう。 1. MongoDBとの接続クライアント実装 package main import ( "context" "fmt" "
DatadogによるMongoDBコレクションごとのメモリ利用量の可視化 - スタディサプリ Product Team Blog
一般的なDBのテーブルのことをMongoDBではコレクションと呼びます。 下のグラフはコレクションごとのキャッシュメモリの利用状況（１週間分）です。毎日同じ時間に特定のコレクションのメモリ使用率が増えていることがわかります。キャッシュメモリの上限は一定なので、どこかで使う量が増えればほかのコレクションが使える量が減ります。 コレクションごとのメトリクスを可視化する理由 シャーディングするコレクションを選定する 異常をより早く検知して大規模な障害を未然に防ぐ 突然ですが質問です。みなさんは新しいプロダクトを作ったり、プロダクトが成長する過程で、システムの拡張性（スケーラビリティ）について悩んだことはありませんか？ オンライン教育の浸透によりスタディサプリ&Quipperの利用者は右肩上がりで増えており、将来に対するスケーラビリティは優先度の高い課題です。 Quipperでは一部のコレクション
mongodbのIndex（転載メモ） - varmil’s diary
MongoDBのインデックス このドキュメントはMongoDB 2.6を前提にしています インデックスとは 例えば1億件のドキュメントからnameがwatanabeであるドキュメントを検索することを考えます インデックスが無ければ 全てのドキュメントの中を一つづつ見なければnameがwatanabeのドキュメントを見つけることができません。 辞書で単語を１ページ目から順番に探すイメージです 処理時間はドキュメント数に比例します。いわるゆ O(N) です インデックスがあると nameがwatanabeであるドキュメントの物理的な位置を既に知っているため、すぐにドキュメントを見つけられます 辞書の索引を引くイメージです 処理時間はドキュメント数に比例しません。いわゆる O(1) です インデックスはDBのパフォーマンスチューニングで、最も基本で最も重要！！！ MongoDBとて例外ではない！
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to increase Mongo aggregation $lookup performance
MongoDB Atlas and BigQuery Dataflow templates | Google Cloud Blog
Keeping Elasticsearch in sync with MongoDB using Change Streams - Kowshik Sundararajan
About golang mongo driver CountDocuments
Back Up a Sharded Cluster with Database Dumps - MongoDB Manual v7.0
Compatibility — Node.js Driver
Managing Multiple Extended Reference and Outlier Patterns
Multiple documents updates