大規模サービスにおけるMongoDBのインデックス運用 - スタディサプリ Product Team Blog
QuipperではメインのデータベースとしてMongoDBを活用しており、データサイズは1TBを超えています。 これまでユーザーやデータが増えるたびにスケールアップを繰り返してきたので、AWSの最高性能のサーバを使う状況になっていました。 このような大規模なサービスにおけるMongoDBの運用について書いていきたいと思います。 今回はインデックス編です。 はじめに 当記事で登場するMongoDBの構成 クラスター管理: MongoDB Cloud Manager & AWS EC2 ReplicaSet Cluster: Primary, Secondary, Hidden Secondary EC2 instance type; i3en.24xlarge (Primary/Secondary) RAM: 768GB (Primary/Secondary) MongoDB Version
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化 代表的なNoSQLデータベースの1つであるMongoDBの最新バージョン「MongoDB 6.0」がリリースされました。 MongoDB 6.0 is now available! More support for time series data Build better event-driven architectures Deeper insights from enriched queries More operators, less work More resilient operations Smoother search & seamless data synchttps://t.co/PvF17HXMI7 pic.twitter.com/GOW
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
調べ物をしてて発見したMongoDB Atlasを触ってみます。 自前でインストール不要、無料ですごく楽に始めることが出来るMongoDB公式のサービスといったところでしょうか。 少し触ってみましたが、プロトタイピングやデモ作成に向いてそうな印象を受けたのでそういった目線で紹介してみます。 MongoDBのDBaaS Atlasを使うと、簡単にMongoDBのクラスタを作って、各種管理を行えます。 性能や機能は限定されるものの、無料で使える種類のクラスタもあります。 と紹介してくれている記事もあります。 参考: MongoDB Atlasを使い始める (MongoDB as a Service) 全然ウォッチできてなかったけど便利なものが出てたんですね。 インフラ各社のサービスだと、AWSのDocumentDBやAzureのCosmosDBみたいな雰囲気を感じます。 似た雰囲気はありますが
FerretDB
A truly Open Source MongoDB alternative, built on Postgres FerretDB allows you to use MongoDB drivers seamlessly with PostgreSQL as the database backend. Use all tools, drivers, UIs, and the same query language and stay open-source. Get started today:
MongoDBの勉強会を実施しました | CyberAgent Developers Blog
はじめに 技術本部 サービスリライアビリティグループ（SRG）の小林です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 SRG Studyとは 今回SRGのデータベースワーキンググループの活動の一環として、社内に向けてMongoDB の勉強会を実施しました。 この勉強会は、100を超えるサービスのインフラ領域をサポートし、得てきた知見を共有するための場として、SRG Studyと称し新たに初めた取り組みになります。 今後も、Datastore（MySQL、MongoDB…）、Observability、Cloud Design Pattern（AWS、GCP）、SREなどのキーワードを元に開催する予定です。 発表概要 弊社におい
GitHub用の「Copilot Extension」が登場、DataStax・Stripe・MongoDBなどを外部アドオンとしてCopilotに組み込むことが可能に
Microsoftが2024年5月21日に、同日から開催されている開発者カンファレンスの「Build 2024」で、GitHub Copilotにサードパーティーの拡張機能を組み込める新機能「Copilot Extensions」を発表しました。これにより、開発者は使用中の開発環境やGitHubから離れることなく、好きなツールやサービスを使ってクラウドを構築し、デプロイできるようになります。 Introducing GitHub Copilot Extensions: Unlocking unlimited possibilities with our ecosystem of partners - The GitHub Blog https://github.blog/2024-05-21-introducing-github-copilot-extensions/ GitHub Cop
データで見るサイバーエージェントグループのSREと横断的なSRE推進の取り組み | CyberAgent Developers Blog
サイバーエージェントグループには、様々なSRE組織があり、日々サービスの信頼性向上に取り組んでいます。 6月27日〜28日にかけて開催した「CyberAgent Developer Conference 2023」では、当社のDeveloper Experts（SRE領域）を務める柘植が、サイバーエージェントグループのSRE組織やSREsの活動についてもご紹介しました。 柘植 翔太 2014年新卒入社。インフラエンジニア、SREとして、AMEBA、AWA、社内基盤など50以上のメディアサービス・システムへのSRE推進、リスク改善、サービス立ち上げを経験。現在は、横断SRE組織のマネージャーとして、SREのプラクティス開発やEnablement、人材育成へ注力している。 サービスリライアビティグループというメディア事業横断のSRE組織のマネージャーをしている柘植と申します。本日はデータで見る
GitHub - scottrogowski/mongita: "Mongita is to MongoDB as SQLite is to SQL"
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Heroku の mLab Add-on を MongoDB Atlas に移行する · Yutaka 🍊 Kato
11 Jul, 2020 · Read in about 9 min · (4051 words) · Share this on: 先日 (2020/7/10), Heroku のアドオン mLab MongoDB が 2020/11/10 にシャットダウンするとアナウンスがありました[参考文献1]。 mLab (旧 MongoLab) といえば、Heroku 界隈では無料でサクッと MongoDB を試せる便利な DBaaS として多くの採用例がありました。 有償プランも充実しており、最大ストレージ 700GB / RAM 64GB までスケールさせることができるのも強みで、本番用には有償プラン、開発用環境や Review Apps などでは無料の sandbox、みたいに使っていた方も多いのではないでしょうか。 しかし 2018/10/9 に MongoDB の開発元 MongoDB
GitHub - CodeverDotDev/codever: Bookmarks, Snippets and Notes Manager for Developers & Co (website)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MongoDB Releases Queryable Encryption Preview | MongoDB Blog
Today we are announcing the Preview release of Queryable Encryption, which allows customers to encrypt sensitive data from the client side, store it as fully randomized encrypted data on the database server side, and run expressive queries on the encrypted data. With the introduction of Queryable Encryption, MongoDB is the only database provider that allows customers to run expressive queries, suc
How a Docker footgun led to a vandal deleting NewsBlur’s MongoDB database
tl;dr: A vandal deleted NewsBlur’s MongoDB database during a migration. No data was stolen or lost. I’m in the process of moving everything on NewsBlur over to Docker containers in prep for a big redesign launching next week. It’s been a great year of maintenance and I’ve enjoyed the fruits of Ansible + Docker for NewsBlur’s 5 database servers (PostgreSQL, MongoDB, Redis, Elasticsearch, and soon M
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
米MongoDBは7月13日、ドキュメント指向データベースの最新のメジャーリリーースとなる「MongoDB 5.0」の一般公開（GA）を発表した。時系列のネイティブサポートなどが加わっている。 MongoDBはJSONのような形式でドキュメントとしてデータを表現するドキュメント指向のデータベース。スキーマレスで、分散構成が可能。独自のServer Side Public License（SSPL）の下で公開されている。MongoDB 5.0は2018年に公開された4系に続くメジャーリリース。 時系列データを格納するコレクションを導入した。通常のコレクションと合わせて利用でき、容易に時系列データを組み合わせることができる。時系列コレクションで時系列データを格納することで、クエリの性能を改善し、ディスクの使用も削減できるとしている。 Versioned APIを導入した。アプリのライフサイクル
GitHub - panx27/wikidata-dump-processor: Import Wikidata json dump (.json.bz2) into Mongodb
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Today, we are excited to share the 2.27.0 stable release 🎉 🌟 Help us spread the word about Prisma by starring the repo ☝️ or tweeting about the release. 🌟 Major improvements & new features MongoDB is Now in Preview 🎉 We're thrilled to announce that Prisma now has Preview support for MongoDB. Here's how to get started: Inside your schema.prisma file, you'll need to set the database provider to
MongoDB Atlasへの接続方法をインターネット経由からVPCピアリング接続に切り替えてみた | DevelopersIO
今回は、Amazon EC2インスタンスからMongoDB Atlasへの接続をVPCピアリング経由にする方法をまとめました。サーバーは、Amazon ECSやAWS Fargateなどのコンテナでも参考になります。 はじめに Amazon EC2インスタンスからMongoDB Atlasへの接続方法をインターネット経由からVPCピアリング接続に切り替える方法をまとめました。 インターネット経由では、EC2インスタンスから直接インターネット経由でMongoDB Atlasに接続します。 その場合、セキュリティを強化するためには、MongoDB Atlas側でIP制限を設定する必要があります。 ただし、EC2インスタンスがAuto Scalingを使用する場合、NAT Gatewayを設置してIPを固定も可能ですが、ランニングコストが高くなるため、今回はVPCピアリング接続経由に切り替えます
How a routine gem update ended up creating $73k worth of subscriptions
On November 5, 2021 (a Friday of course), we've deployed innocent-looking gem updates. Minor versions of Ruby on Rails, Ruby Sentry client, Ruby Slack client, http libraries, Puma, Devise, OmniAuth Ruby client, Mongoid, and a few test gems. However, something went very wrong. We saw odd Stripe errors on Airbrake. Then, on our Stripe account, we saw this: In less than 1h, we've created 474 new subs
こんにちは、Sansan Engineering Unit マスターデータグループの金子です。 私たちが開発しているシステムの中に、MongoDBを採用しているシステムがあります。私自身NoSQLを使用しているシステムの開発に携わるのは初めてなので、毎日いろいろな学びを得ています。 ある時、そのシステムで大量のデータをDBに書き込む処理を行うと、MongoDBのoplog関連のエラーが出てしまったことがありました。今回はその時の原因と対応について紹介し、MongoDBのoplogについて理解を深められた話をします。 環境 MongoDB 5.0 MongoDB Atlas 発生したエラー エラーの文言はこちらです。 PlanExecutor error during aggregation :: caused by :: Resume of change stream was not po
MongoDBについて調査・検証しました - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、株式会社ラクスで先行技術検証を行っている技術推進課の@t_okkanです。 技術推進課では、新サービス立ち上げ時の開発速度アップを目的に、現在ラクスでは採用されていない新しい技術の検証を行う、技術推進プロジェクトがあります。 今回はその技術推進プロジェクトで、ドキュメントDBであるMongoDBについて検証を行いましたので、その結果の報告を行います。 なお、別テーマの取り組みや、過去の取り組みに関しては、こちらからご覧ください。 tech-blog.rakus.co.jp ドキュメントDB MongoDB トランザクション WiredTigerストレージエンジン 水平方向と垂直方向へのスケーリング Aggregation Pipline MongDBのスキーマ設計 PostgreSQLのjson型、jsonb型との比較 Javaアプリケーションでの実装例 MongoDBとの接続
MongoDB atomic "findOrCreate": findOne, insert if nonexistent, but do not update
as the title says, I want to perform a find (one) for a document, by _id, and if doesn't exist, have it created, then whether it was found or was created, have it returned in the callback. I don't want to update it if it exists, as I've read findAndModify does. I have seen many other questions on Stackoverflow regarding this but again, don't wish to update anything. I am unsure if by creating (of
Spring BootのPageableで一定量以上のoffsetや意図しないSortを防ぐ - grep Tips *
動作確認環境 Java 11 Spring Boot 2.5.5 一定量以上のoffsetや意図しないSortによる問題 一定量以上のoffset Spring Bootによるpage, sizeへの制限 Spring BootのPageableをControllerの引数にセットすればpage, size等のクエリパラメータを解釈してPageableにセットしてくれる。 OutOfMemoryを防ぐために、Spring Bootのデフォルト設定でsizeに2,000件以上設定しても2,000件になるようになっている（docs.spring.ioか日本語訳spring.pleiades.ioのspring.data.web.pageable.max-page-sizeを参照）。つまりPageableの1ページの件数はセーフガードが入ってる。 しかしpageには上限の設定がない。確かにJav
「MongoDB 4.4」ベータ登場。データを統合するUNION対応、シャードキーの動的変更、最速レスポンスのためのヘッジドリードなど新機能
NoSQLデータベースの代表的な製品の1つであるドキュメントデータベース「MongoDB」の最新版となる「MongoDB 4.4」のベータ版がリリースされました。 発表は同社がオンラインで開催したイベント「MongoDB.Live 2020」で行われました。 MongoDB 4.4の主な新機能は、以下のようなものです。 Union MongoDB Query Languageを拡張し、複数のコレクションを1つの結果セットにまとめることが可能に。 Refinable Shard keys データをクラスタ内の複数データベースへ分散させるキーとなる「シャードキー」（shard Keys）が、データベースを止めることなく、いつでも変更し最適用可能に。 Hedged Reads 複数のレプリカサーバに対して読み取りリクエストを同時に送信し、もっとも早く返された結果をそのまま採用することで、レイテン
Build a REST API with Rust and MongoDB - Actix web Version
Demola Malomo for Hackmamba Posted on May 26, 2022 • Updated on Aug 6, 2022 REST API has become the De Facto for connecting and transferring data from one source to another. It offers a set of guidelines and architectural patterns for designing and developing web services. This post will discuss building a user management application with Rust using the Actix web framework and MongoDB. At the end
MongoDB、MongoDB AtlasとAmazon S3をMQLで検索できる「MongoDB Atlas Data Lake」を発表
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
The MongoDB Node.js team is delighted to announce the major version release 4.0.0 of the MongoDB Node.js Driver! Release Highlights We finally did it! The major version release of the MongoDB driver is now generally available! This release represents over a year's worth of effort that couldn't have been done without stellar contributions from the community and our Node.js DBX team. We hope you giv
こんにちは。tech blog 編集長の N です。 今回はポケコロツインの1月中旬頃のアップデートで、「ココロノート」に新たに導入された部分一致検索についてご紹介いたします。 ポケコロツインとは ポケコロツインは「世界一かわいいをつくれるデザイナー」がプロデュースしたふたご着せ替えアプリです。 『ポケコロツイン』は二人のアバター「ココロン」を着せかえたり、二人の動きに癒やされたり・・・。CCPサービスの一つとして、これまで以上にアバターの可愛らしい動きや、表情、世界の表現にこだわりました。 ココロノートとその問題点 ココロノートとは、自分が思ったことを自由に投稿できる、ポケコロツイン内での交流の場（いわゆる掲示板）です。 投稿の公開範囲を 自分のみ・フレンドまで・全体 から選ぶことができます。 従来のココロノートの検索機能では、前方一致検索しか実装されていませんでした。 例えば、ペットを
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
“I have lots of experience with SQL and normalized databases, but I’m just a beginner with MongoDB. How do I model a one-to-N relationship?” This is one of the more common questions I get from users attending MongoDB office hours. I don’t have a short answer to this question, because there isn’t just one way, there’s a whole rainbow’s worth of ways. MongoDB has a rich and nuanced vocabulary for ex
これはなに? こつこつ進めているMongoDBの学習記録のための、前書き的な記事です。 どうやって進めるの？ 12/1からのアドベントカレンダーとして、MongoDB Universityでの学習記録を公開する形で進めます。 まとまった時間の確保は難しいので、それこそ呟き程度とか、1日10分くらいしかできないこともありますが、できる範囲で記録をつけていこうと思います。 MongoDB Universityってなに？ MongoDB University A full range of courses is available, from MongoDB Basics for development and administration to advanced courses in Data Modeling, Security, and Debugging. Courses start r
MongoDB Realmで、超初心者でも無料でスマホアプリとクラウドDBをお手軽連携 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #はじめに この記事は、スマホアプリ未経験者がクラウドDBサービス**「MongoDB Realm」**を利用して、 サーバデータと連携したスマホアプリを作成した記事となります。 私はスマホアプリ開発未経験の超初心者ですが、公式サイトが丁寧だったこともあり、目的の連携処理を実装することができました。 (実践編として、こちらの記事もご参照いただければと思います) スマホアプリ初心者がバックエンド処理を作成する際の、一つの指針になればと思います。 英文チュートリアルを参考にしたため、間違いがあるかもしれませんが、見つけた場合はご指摘頂けます
はじめに この記事は、Visual Studio Code Advent Calendar 2020 の11日目の記事になります。 今回は、表題の通りMongoDB for VS Codeを使ってMongoDBに接続してみるというお話です。(※VisualStudio Code は、以下VSCodeと記載します） ところでなぜMongoDB? ただいま個人学習として、MondoDB公式が提供している、MongoDB Universityというオンライン学習コースをコツコツ進めています。12 MongoDBのクライアントとしては、MongoDB Compassという非常に優れたツールがあります。ただ、コーディングしながらであれば、データの簡単な確認はエディタ内で済ませたい...。 また、コースが進むにつれ、APIのみでの操作でなく、MongoDBのプロセスや運用面のトピックも出てきたので、も
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kafka、MongoDB、Maxwell's Daemonを使用したSQLデータベース監査システムの構築
MongoDB Atlasで無料かつ手軽にDB環境を利用してみる - Qiita
JepsenがMongoDBのデータ整合性の主張に異議を唱える
GitHub - mongodb-js/compass: The GUI for MongoDB.
MongoDB のデータを Neo4j で可視化してみる #Neo4j #MongoDB #Graph - クリエーションライン株式会社
時系列データをネイティブサポートした「MongoDB 5.0」が公開 | OSDN Magazine
Release 2.27.0 · prisma/prisma
MongoDBのoplogについて理解を深めた話 - Sansan Tech Blog
mongo-connectorでMongoDBからElasticsearchへリアルタイム同期 #mongodb - クリエーションライン株式会社
Release v4.0.0 · mongodb/node-mongodb-native
MongoDB × Elasticsearch × Monstache での部分一致検索
MongoDB インストール (Ubuntu 18 LTS) - Qiita
6 Rules of Thumb for MongoDB Schema Design | MongoDB Blog
アドベントカレンダー / ひとりMongoDB Universityの準備
VisualStudio CodeからMongoDBにつなげてみよう！ - Qiita
note.com/terrakei07
anond.hatelabo.jp
yuria1.nm.bex.jp
guru2-neko-otoko.hatenablog.com
excelressha.com
beatkazuma.hatenablog.jp