[B! mongodb] motchangのブックマーク

75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 | CyberAgent Developers Blog

75億ドキュメント以上のデータを保持するMongo DBを、Amazon EC2からMongo DB Atlasへ約3ヶ月で移設した方法はじめにタップル SREの赤野、CAM SREの庭木です。タップルは2021年3月頃にMongo DB on Amazon EC2(以下EC2 Mongo DB)からMongo DB Atlas(以下Atlas)への移設を行いました。今回はこの移設での取り組みについて紹介します。 Atlasへ移設することになった経緯・目的タップルでは定期的にキャパシティプランニングを目的とした負荷試験を実施しており、今後のDAU増加のシミュレーションに対してシステムのキャパシティが確保できるかを定期的に確認しています。タップルSREのキャパシティプランニングの取り組みについては、以前発表させていただいた資料があるのでこちらにも目を通していただけると幸いです。 2020年

motchang 2021/07/09

リンク

Running MongoDB on Amazon EKS Distro

motchang 2021/01/05

リンク

AWS Solutions Architect ブログ

こんにちは、ソリューションアーキテクトの舟崎です。 4/26(火)に開催しましたAWS Black Belt Online Seminar「AWSで使うMongo DB 」の資料が公開されました。また、頂いたOnline Seminarで頂いたご質問とその回答が以下になります。こちらも併せてご覧ください。 Q1: Mongo DBのシャードの追加・削除/ノードのスケールアップに関しては、メンテナンスなどを使用せずオンラインで実施できますでしょうか？止められるなら確認等の意味で安心ではありますが、シャーディングのシャード追加・削除は完全にオンラインで可能ですし、スケールアップもレプリカセットのメンバーを1台ずつローリングでスケールアップすることで実施可能です Q2: 別リージョンのレプリカセットに接続するにはVPNを利用する想定でしょうか？インターナルな接続であればVPNを使用する想定です

motchang 2016/05/12

MongoDB
aws

リンク

もう二度と、絶対にMongoDBを使うべきじゃない理由

Mongo DBは悪だ。なぜならそれは… …データを無くす（ソース：1、2）。 …実際、長期間、デフォルトでエラーを無視し続け、何があってもすべての単一書き込みが成功したとみなした（ 32ビットのシステムで3GBかそこらを使用したら、Mongo DBの制限によって何の警告もなしに全データを失うことになった）。 …宣伝していたユースケースでですら遅く、これが早いと主張するには完全に証拠に欠けている（ソース：3、4）。 …ほぼ全てのユースケースで、暗黙のスキーマという悪しき習慣を強要してくる（ソース：4）。 …ロッキングに問題がある（ソース：4）。 …セキュリティの問題になるくらい、応答時間が酷く遅い。求めてきた人全員に認証なしで全データをさらしてしまうという危険なデフォルト設定をパッチするのに2年かかった（ソース：5）。 …ACID特性に準拠していない（ソース：6）。 …拡張やメンテナンスをする

motchang 2016/02/21

DB界のPHPってコメントに草

MongoDB

リンク

AWS News Blog

New – Amazon EC2 M7a General Purpose Instances Powered by 4th Gen AMD EPYC Processors In November 2021, we launched Amazon EC2 M6a instances, powered by 3rd Gen AMD EPYC (Milan) processors, running at frequencies up to 3.6 GHz, which offer you up to 35 percent improvement in price performance compared to M5a instances. Many customers who run workloads that are dependent on x86 instructions, such a

motchang 2015/04/17

MongoDB
aws

リンク

45歳以上はMongoDBを使ったシステムが使えなくなる件 - Qiita

Mongo DBを使うシステムが、最近多いと思います。 2.6系(安定版)の最新2.6.7ですが、Date型のインポート処理にバグがありそうです。「1970/01/01」以前の Date型を mongoexport すると、負の "$numberLong" として出力されるのですが、それを mongoimport すると、それ以降のフィールドが欠落してしまうのです。例えば、ユーザマスタに「誕生日」フィールドがあると、45歳以上の人は「1970/01/01」以前の値が入っているわけで、マスタデータを移行したりでもすると、その人のフィールドがガッツリ無くなってしまいます。でも若手は大丈夫だから「どうせ部長の使い方がおかしいんでしょwww」といういつもの「偉い人に限って障害が発生する」パターンが展開されます。大急ぎで調べた所、以下が判明しました。 2.6形式 "1965-11-17T00:

motchang 2015/02/28

リンク

CentOS 7 MongoDB (4.0) のインストール - Qiita

[mongo db-org-4.0] name=Mongo DB Repository baseurl=https://repo.mongo db.org/yum/redhat/$releasever/mongo db-org/4.0/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongo db.org/static/pgp/server-4.0.asc

motchang 2015/02/17

リンク

[MongoDB] フロントエンドエンジニアにもできるMongoDBを使ったログ分析 - YoheiM .NET

このような表を作ることで、例えば以下のことがわかります。経路002は流入数の割に獲得効率や翌日継続率も悪い。ここを改善するサービスをグロスできるかも。経路003は獲得効率と翌日定着率が良い。何が良いのかをさらに分析すれば、他の流入経路の改善に生かせる。 Action2は翌日継続率に良い結果を与えている可能性がある。もう少し詳しく調べてみたい。このようにユーザーの活性化は流入経路別に分析をすることで、問題点やチャンスを浮き彫りにすることができます。今回はこの表を作るためにログ分析を行います。ここまでで分析のスタート地点とゴール地点がわかりました。あとはその間の道をつなぐためにプログラムを書くだけです。次の章では、Mongo DBでの分析を行うための準備段階を紹介します。分析（準備編）ここでは分析の準備編として、サーバーログをダウンロードしてきて、整形して、Mongo DBに登録

motchang 2014/12/11

MongoDB
log

リンク

MEAN(MongoDB, Express, AngularJS, Node.js)を解説する

MEAN(Mongo DB, Express, AngularJS, Node.js)を解説する前に触った感想です。 Mongo DB 良くも悪くもNoSQL。トランザクション無を補うためスキーマが基本汚くなる。汚いスキーマにアプリケーションの変更が入って安全にデータが壊れる。結局、不整合が起きてバッチに頼る。バージョン変えるとデータが壊れる。スケール環境は不安定になって止まるのは基本。基本いつのまにか変更されて変な動きして死んでる前提で、動く/戻せる環境構築できない奴は死ぬ Expressシンプルに書けるんじゃなくて、薄い機能しか無い。ミドルウェアをたくさん詰むことになり、ミドルウェアのチェーンは黒魔術詠唱と変わらん。唱えた本人もどうなるか分からないのがざら。エラーが勝手に握りつぶされるのは基本。落ちるのがミドルウェア内のエラーとか基本。いつの間にか落ちるのも基本。基本いつのまに

motchang 2014/10/07

リンク

MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog

こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + Mongo DBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、Mongo DBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。そ

motchang 2014/08/01

リンク

Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例

「Hatena Engineer Seminar #2」で発表した資料です

motchang 2013/11/27

リンク

DB tech showcase：噂のMongoDBその用途は？

2014年2月7日、OSS推進フォーラムクラウド技術部会にて発表したMongo DBの入門プレゼンです。

motchang 2013/11/19

リンク

fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog

追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongo dbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで最近は、fluentd + mongo db でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti

motchang 2013/10/17

リンク

多段fluentd + mongodb のハマリ所 - stanaka's blog

fluentdを多段構成にして、mongo dbに出力するところでハマったのでメモ。上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongo dbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongo DBへ連携する際の注意点 #fluentdを参考にしてください。ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって

motchang 2013/10/17

リンク

MongoDBの$150M調達で色々考えさせられたこと - ワザノバ | wazanova.jp

http://www.bloomberg.com/news/2013-10-04/mongo db-becomes-king-of-nyc-startups-with-1-2-billion-valuation.html 10genが社名もMongo DBに変えてたことは知りませんでした。さて、同社が$1.2BのValuation (企業価値)で$150M調達ということですが、昨年、Githubが$750Mのvaluationで$100M調達したのに続き、オープンソースがベースになってる会社で大型資金調達が成功する事例が続いてますね。 Mongo DBはHacker Newsで取り上げられる度に驚くほどネガティブコメントを集めてるのですが、今回も例にもれず、この資金調達のニュースには219件のコメントがつき、トップに掲載されてる（おそらく掲載順ロジックはUpvoteの数なので、一番人気のコメン

motchang 2013/10/07

MongoDB

リンク

TechCrunch | Startup and Technology News

Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov

motchang 2013/10/06

MongoDB

リンク

Aerospike, Cassandra, Couchbase、MongoDBを比較したNoSQLベンチマーク

Spring BootによるAPIバックエンド構築実践ガイド第2版何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

motchang 2013/09/07

リンク

MongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存など

Integration of Hadoop and Mongo DB, Big Data’s Two Most Popular Techno logies, Gets Significant Upgrade | 10gen, the Mongo DB company Mongo DB Connector for Hadoopは、Hadoopへの入出力データとしてMongo DBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongo DBのデータへSQLライクな問い合わせインクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 Mongo DB BSONファイルをHadoop Distributed File System（HDFS）上に保存することで、データの移動を削減これにより以下のようなメリットが

motchang 2013/08/21

リンク

Abusing CSS Selectors to Perform UI Redressing Attacks

Engineering Blog Techno logy that sparks innovation to ignite growth Generative AI Musings on Building A GAI Product Here is a unique behind-the-scenes look at the development process for integrating generative AI from two LinkedIn’s engineers who worked on the AI-powered Premium experience.