MongoDBの勉強会を実施しました | CyberAgent Developers Blog
はじめに 技術本部 サービスリライアビリティグループ（SRG）の小林です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 SRG Studyとは 今回SRGのデータベースワーキンググループの活動の一環として、社内に向けてMongoDB の勉強会を実施しました。 この勉強会は、100を超えるサービスのインフラ領域をサポートし、得てきた知見を共有するための場として、SRG Studyと称し新たに初めた取り組みになります。 今後も、Datastore（MySQL、MongoDB…）、Observability、Cloud Design Pattern（AWS、GCP）、SREなどのキーワードを元に開催する予定です。 発表概要 弊社におい
75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 | CyberAgent Developers Blog
75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 はじめに タップル SREの赤野、CAM SREの庭木です。 タップルは2021年3月頃にMongoDB on Amazon EC2(以下EC2 MongoDB)からMongoDB Atlas(以下Atlas)への移設を行いました。 今回はこの移設での取り組みについて紹介します。 Atlasへ移設することになった経緯・目的 タップルでは定期的にキャパシティプランニングを目的とした負荷試験を実施しており、今後のDAU増加のシミュレーションに対してシステムのキャパシティが確保できるかを定期的に確認しています。 タップルSREのキャパシティプランニングの取り組みについては、以前発表させていただいた資料があるのでこちらにも目を通していただけると幸いです。 2020年
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 オープンソースソフトウェアの開発元がクラウドベンダへの不満を表明し、商用サービス化を制限するライセンス変更を行う例が続いています。 高速なインメモリデータストアを実現するオープンソースソフトウェアとして知られる「Redis」の開発元「Redis Labs」は、2018年8月に同社が開発したRedis拡張モジュールに関するライセンスの変更を発表しました（Redis本体のライセンスはBSDライセンスのまま）。拡張モジュールには、全文検索を行うRediSearchなどが含まれています。 変更後のライセンスでは、クラウドベンダによる商用サービスでの利用を制限するものとなっています。 ライセンス変更を発表した記事「Redis’ License
「MongoDB 4.0」正式リリース。マルチドキュメントに対するACIDトランザクションをサポート
MongoDBはオープンソースとして開発されているドキュメント指向データベース、いわゆるNoSQLデータベースのひとつです。データの形式として柔軟にデータを格納できるJSONライクな形式を採用し、1つのJSONライクな形式のデータを1つのドキュメントとして保存します。 MongoDBの開発元であるMongoDB社は6月27日、ニューヨークで開催された同社のイベント「MongoDB World'18」において、最新のMongoDBとなる「MongoDB 4.0」の正式リリースを発表しました。 MongoDB 4.0の最大の特徴は、マルチドキュメントの操作に対してACIDトランザクションがサポートされたことです。 マルチドキュメントのトランザクションでは、「start_transaction」によりトランザクションの開始を宣言したあとで、複数のドキュメントに対する操作を行い、そのいずれかが失敗
[速報] ACID トランザクションをサポート！ MongoDB 4.0 がリリースされました！ #MDBW18 | DevelopersIO
こんにちは、菊池です。 MongoDB使いのみなさん、ニュースです。現地時間の2018年6月26、27日、アメリカ・ニューヨークでは MongoDB のカンファレンス、MongoDB World'18 が開催されています。 そんな中、現在開催されいてるキーノートで、MongoDBの新しいメジャーバージョンである、4.0 の正式リリースが発表されました。 Release Notes for MongoDB 4.0 MongoDB 4.0 の目玉は、以前よりアナウンスされていたマルチドキュメントトランザクションのサポートです。 MongoDB 4.0 では複数ドキュメントの ACID トランザクションがサポートされます 本記事では、マルチドキュメントトランザクションについてリリースノート、ドキュメントからわかる内容を紹介します。 Transactions | MongoDB Documenta
![[速報] ACID トランザクションをサポート！ MongoDB 4.0 がリリースされました！ #MDBW18 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4b70c2b40a85a4c93c8bd820601e4f0d872ae67a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F06%2Fmongo.png)
MongoDBのベストプラクティスのPDFを読んだメモ - Qiita
掲題の通り、MongoDBのベストプラクティスのPDFを読んだメモです。 Linuxの設定系 ファイルシステムのatime設定（アクセス時間機能）を無効にすること WiredTigerの場合、xfsのファイルシステムがストロングレコメンド raid組むなら0 or 10を推奨 LinuxのHugepageの機能はオフにすること Mongo系 ジャーナルファイルとデータファイルを別々のストレージに保存すると、パフォーマンスアップする GCPでは通常のSSDを使う場合は一緒で良いと言っています（おそらく容量によってストレージパフォーマンスが変わるため、分けないほうがコスパが良くなるのかと。） インデックスとコレクションを別々のストレージに保存できる Zone機能でシャーディング分割できるから、RDBMSのパーティション的なことを出来る directoryPerDBを使えば、DBごとに使うディス
[MongoDB] AWS 3 Availability Zone 構成でのレプリカセットノード配置 | DevelopersIO
こんにちは、菊池です。 以前、こんな記事を書きました。 [MongoDB] AWSにおけるレプリカセット構成の配置パターン 上記の記事執筆時点では、AWS東京リージョン（ap-northeast-1）では一部のユーザを除き2つのアベイラビリティゾーンしか利用することができませんでした。しかし、先日のアップデートで新しいアベイラビリティゾーン、ap-northeast-1dが利用可能になり、全てのユーザで3つのAZが利用できるようになりました。 東京リージョンの新しいアベイラビリティゾーン「ap-northeast-1d」がリリースされました。 ということで、3つのアベイラビリティゾーン環境でのMongoDBのベストプラクティス、移行方法を紹介します。 3つのアベイラビリティゾーン（AZ）を使ったノード配置 冒頭の記事でも紹介した通り、MongoDBのレプリカセットでは3つのノードを配置する
MongoDB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongoDB 4.0で。性能劣化はないと
MongoDB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongoDB 4.0で。性能劣化はないと 複数ドキュメントに対する操作をコミット／ロールバック可能に 今回実現するマルチドキュメント対応のACIDトランザクションとは、「start_transaction」によりトランザクションの開始を宣言したあとで、複数のドキュメントに対する操作を行い、そのいずれかが失敗したときにはロールバックしてすべてのドキュメントをトランザクション開始前の状態に戻す、というもの。 ドキュメントに対する操作がすべて成功し、「commit_transaction」でトランザクションのコミットが宣言された場合、その状態が確定されます。 同社共同創業者兼CTOのEliot Horowitz氏は、こうしたACIDトランザクションの実装による性能劣化はないと説明してい
MongoDBを2.4から3.4にアップデートしてパフォーマンスを大幅改善できた話 | CyberAgent Developers Blog
こんにちは。 スマホアプリのピグパーティでサーバサイドエンジニアをしている阿久津と申します。 2018年1月、ピグパーティで使っているMongoDBを2.4から3.4にアップデートしました。 本記事では、その改修内容と、アップデートによるパフォーマンス改善についてまとめます。 1: MONGODBとは MongoDBとは、NoSQLの一つでドキュメント指向のデータベースです。 MongoDBにおいて、各データはドキュメントと呼ばれ、コレクションと呼ばれる集合に対してドキュメントを保存します。 弊社でも複数のプロジェクトで利用されています。 具体的な機能は公式ドキュメントにまとまっています。 2: ピグパーティにおけるMONGODBクラスタの構成 MongoDB2.4でのクラスタ構成図 MONGODB2.4でのクラスタ構成 MongoDB2.4での運用当時、ピグパーティではMongoDBのr
MongoDB 1.0からのリリースヒストリーと MongoDB 3.6 の新機能紹介 - Qiita
MongoDB Release History MongoDB勉強会 in 2017 の発表資料です。 MongoDBのリリースヒストリーを振り返って、1.0からリリース予定の3.6までを紹介します。 バージョニングルール x.x.x: メジャー.マイナー.リビジョン マイナーが偶数だと安定版、奇数だと開発版 Example 2.0.0 : Stable release. 安定版リリース。 2.0.1 : Revision. リビジョン。 2.1.0 : Development release for testing only. 開発版リリース。 2.2.0 : Stable release. 安定版リリース。2.1.xで開発での開発の成果物。 Release History Version Release Date Topics 世界の動向
MongoDB 3.x インデックス生成前後のexplain()結果を読む - makisuke report
はじめに MongoDB 3.0 から explain() の出力結果が変わり、読み解くのに時間がかかってしまいました。 今回はインデックスの生成前後で explain() の結果がどう変わるかを確認してみます。 環境 Mac OS X 10.10.3 MongoDB 3.0.2 MongoDB storage engine: mmapv1 (default) サンプルデータの準備 DBを用意 1 2 3 4 $ mongo > use sample_db switched to db sample_db サンプルデータ追加 とりあえず10万件のドキュメントを生成しておきます。 1 2 3 4 5 6 > for (var i=0; i < 100000; i++) { ... db.items.insert({ name: 'item_' + i, price: 100 + i }) .
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
[徹底解説] MongoDBの監視やバックアップができるMMS(MongoDB Management Service)の使い方 - Qiita
[徹底解説] MongoDBの監視やバックアップができるMMS(MongoDB Management Service)の使い方MongoDBMMS MMSの概要 MMSの機能 MMS(MongoDB管理サービス)はMongoDBの自動運用管理をしてくれるサービスであり、主に以下の機能があります。 監視 MongoDBの各種統計情報収集、グラフ化、監視 閾値を指定して超えたらアラートメール送付 バックアップ スナップショット取得・リカバリ 差分バックアップ ポイントインタイムリカバリ（時間指定リカバリ） オートメーション（2014/5現在、公開予定） 無停止バージョンアップ ワンクリック環境構築 MMSとMMSエージェントの役割分担 MongoDB単体ではMMSを利用できません。MMSエージェントを導入して、MMSと接続する必要があります。 MMSエージェントには監視を行う監視エージェントと
![[徹底解説] MongoDBの監視やバックアップができるMMS(MongoDB Management Service)の使い方 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2c1c0443dd3ddebbadd06735824e38a7b896f65/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU1JUJFJUI5JUU1JUJBJTk1JUU4JUE3JUEzJUU4JUFBJUFDJTVEJTIwTW9uZ29EQiVFMyU4MSVBRSVFNyU5QiVBMyVFOCVBNiU5NiVFMyU4MiU4NCVFMyU4MyU5MCVFMyU4MyU4MyVFMyU4MiVBRiVFMyU4MiVBMiVFMyU4MyU4MyVFMyU4MyU5NyVFMyU4MSU4QyVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4Qk1NUyUyOE1vbmdvREIlMjBNYW5hZ2VtZW50JTIwU2VydmljZSUyOSVFMyU4MSVBRSVFNCVCRCVCRiVFMyU4MSU4NCVFNiU5NiVCOSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDVmMTBiMTkzM2YyMmQ4ODFkZGVkOWY2M2NiMTU4NjM%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwZmV0YXJvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mMDRkZDMwNTRjZGQ5YmQzMzU5YWNjZTQyOTRhNmM4Mg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D67fca54405ec2c0637c570d61ce2219a)
Mongo DB Casual Talksに行ってきた - matsuou1の日記
あんまりMongo DB Casual Talks のブログがないようなので、ざっくり書きます。 「MongoDBのアレをアレする」 by [twitter:@kuwa_tw] さん クラスタが遅い1 必要なデータを一気にインポート oplogが許容範囲を超えてレプリケーションが停止 PrimaryShardにChunkが溜まってI/Oバウンドに 負荷が高いのでBalancerは動かない クラスタが遅い2 ShardするCollectionのShard設定漏れ PrimaryShardでデータファイルが多くなりつづけてメモリマップドファイルのサイズをこえてI/Oバウンド ShardしてないのでもちろんBalancerは動かない 本当に突然パフォーマンスダウンする PrimaryShardは余裕を持たせておく Shard設定は定期的に確認、もしくはShardの設定を自動化する バックアップ
MongoDB Schema Design
I’ve put together a list of resources on schema design with MongoDB — you can say I’m a bit obsessed about NoSQL data modeling : Firstly, a video of Kyle Banker’s presentation discussing how the document model answers questions related to querying, access patterns, managing relationships. Graham Ashton also published his ☞ notes from Kyle’s talk. Then there’s Roger’s presentation covering MongoDB
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDB’s ACID Transaction Guarantee
GitHub - caosiyang/fluent-plugin-mongo-slow-query: fluent plugin for mongoDB slow query
Mongo sharding
Transactions - MongoDB Manual v7.0
CyberAgentにおけるMongoDB
