Migrating MongoDB to Kubernetes
This blog post is the last in the series of articles on migrating databases to Kubernetes with Percona Operators. Two previous posts can be found here: Migrating PostgreSQL to Kubernetes Migration of a MySQL Database to a Kubernetes Cluster Using Asynchronous ReplicationAs you might have guessed already, this time we are going to cover the migration of MongoDB to Kubernetes. In the 1.10.0 release
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 オープンソースソフトウェアの開発元がクラウドベンダへの不満を表明し、商用サービス化を制限するライセンス変更を行う例が続いています。 高速なインメモリデータストアを実現するオープンソースソフトウェアとして知られる「Redis」の開発元「Redis Labs」は、2018年8月に同社が開発したRedis拡張モジュールに関するライセンスの変更を発表しました（Redis本体のライセンスはBSDライセンスのまま）。拡張モジュールには、全文検索を行うRediSearchなどが含まれています。 変更後のライセンスでは、クラウドベンダによる商用サービスでの利用を制限するものとなっています。 ライセンス変更を発表した記事「Redis’ License
[速報] MongoDB 互換のマネージドデータベース！Amazon DocumentDB が登場しました | DevelopersIO
こんにちは、菊池です。 個人的には待ちに待ったサービスです！AWSに新しいマネージドデータベースサービスである、Amazon DocumentDB（with MongoDB Compatibility）が登場しました。 New – Amazon DocumentDB (with MongoDB Compatibility): Fast, Scalable, and Highly Available Amazon DocumentDB Amazon DocumentDBは、MongoDBと同様にBSONフォーマット対応したドキュメント指向のデータベースです。 特徴 スケーラビリティ ストレージは最小10GBから、最大で64TBまで自動で拡張します。15.25 GBから488GBまでのメモリをもつインスタンスから選択可能で、最大で15台のリードレプリカ（合計16台）を構成できます。 信頼性 デ
![[速報] MongoDB 互換のマネージドデータベース！Amazon DocumentDB が登場しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d5a93a3aed514cf8dda9cd4381b5a1e0117c53f6/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F01%2Famazon-document-db.jpeg)
mongod replicaSet セカンダリノードを起動後に[RS102 too stale to catch up]が出たときの対処法 - kakts-log
mongoでレプリカセットを組んでいて、たまに障害でセカンダリノードのサーバなどが死んで、 セカンダリノードのmongodプロセスを起動した後に、プライマリのデータをsyncできずに下記のエラーが出る場合があります [rsBackgroundSync] replSet error RS102 too stale to catchup, at least from.... このエラーは、セカンダリノードが数時間とか長い間死んだ状態になっていて、syncの状態がstale(古い)な状態で再起動した場合に発生します。 原因 原因としては、セカンダリノードのoplogの情報が古すぎてsyncできないことが挙げられます。 mongoの仕組みとして、プライマリノードにデータが書き込まれるときのオペレーション情報をoplogに保持しています。 oplogコレクションは capped size colle
![mongod replicaSet セカンダリノードを起動後に[RS102 too stale to catch up]が出たときの対処法 - kakts-log](https://cdn-ak-scissors.b.st-hatena.com/image/square/bf094e5e745f13c1826af0251e04e9fc3022a984/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687190779584%2F10328749687213541096%2F1486223150)
Node.js+pm2+Mongoose+MongoDB環境で’no valid seed servers in list’
MongoDBセカンダリノードがオートフェイルバックしない HAProxyで負荷分散構成にしたアプリケーションサーバー群（Node.jsをpm2でデーモン化）からMongoose経由でMongoDBレプリケーション環境に接続しているのですが、先日にMongoDBセカンダリの幾つかのノードが疎通できない障害が起きました。 MongoDBレプリケーション環境のためダウンしたノードは自動的に接続先から外され、アプリケーションサーバーのDB接続は問題が起きませんでした。その後、疎通できなかったノード群がオートフェルバックしたのですが、なぜか一部のアプリケーションサーバーのノードだけがオートフェイルバックしたMongoDBに自動的に接続に行かず、生きたままだった状態のノードにのみ接続する状況が続きました。 なぜだろう…と３日間ほど原因調査をしていました。 no valid seed servers
MongoDB on AWS Cloud その2：ストレージエンジンをWiredTigerにしてみた | DevelopersIO
こんにちは、菊池です。クラスメソッドにJOINして1ヶ月が経ちました。 先日のブログで、AWSクイックスタート：MongoDB on the AWS Cloudを試してみたという記事を書きました。MongoDBクラスタを簡単に構築できるCloudFormationテンプレートでしたが、公開から若干時間が経っているため、以下のような改善点があると記載しました。 MongoDBのストレージエンジンをWiredTigerにする MongoDB 3.0 からストレージエンジンとしてWiredTigerが使用可能になっていますが、デフォルトではMMAPv1となります。WiredTigerを使うことで、データ圧縮や、書き込み性能の大幅向上などのメリットがあります。 そこで今回は、テンプレートから構築したMongoDBクラスタのストレージエンジンをWiredTigerにアップグレードしてみたいと思います
Percona Toolkit and systemd
After some recent work with systemd I’ve realized it’s power and I can come clean that I am a fan. I realize that there are multitudes of posts out there with arguments both for and against systemd but let’s look at some nice ways to have systemd provide us with (but not limited to) pt-kill-as-a-service. This brief post introduces you to a systemd unit file and how we can leverage them to enable p
MongoDBで、日付の期間を指定して検索する方法 · DQNEO日記
RDBMSの場合 SELECT * FROM userlog WHERE timestamp BETWEEN '2011-11-01' AND '2011-11-02' ORDER BY timestamp; Mongo Shellの場合 var query = { "timestamp" : { "$gte" : ISODate("2011-11-01T00:00:00+09:00"), "$lte" : ISODate("2011-11-02T00:00:00+09:00") } }; db.userlog.find(query).sort({timestamp:1}); 境界値を含みたくない場合は、"$gt","$lt"と書きます。 var query = { "timestamp" : { "$gt" : ISODate("2011-11-01T00:00:00+09:00"),
MongoDBのCollectionを削除しても容量が減らない対応 - Qiita
MongoDBはデータを削除しても容量は解放されない。再利用されるのかどうかよくワカラナイ （検証してないので教えてくれたら嬉しい） 。 節約型でMongoDBを運用していたりすると「ハードディスクやばいよー」ってなる。 何度か実際に対応して問題なさそうだったのでまとめた。 環境 ReplicaSetで3台構成で運用 MongoDB Versionは 2.4.4, 2.4.8 でやった OS debian squeeze 一般的な解決策 サービスをメンテナンスにして大きなサーバに置き換える 必要ないデータを削除後、サービスをメンテナンスにして repairDatabase する 考えてみる。 大きなサーバに置き換え メリット シンプル 安全そう 簡単そう デメリット サービス一時停止 コストアップ repairDatabase メリット コストキープ 他のデータ不整合とかも取れるぽい Mo
The AWS and MongoDB Infrastructure of Parse: Lessons Learned
Users and Traction1 million apps were deployed to Parse.The largest Parse app had 40M users. The largest Parse customer only used it for Push notificationsParse was one of the world’s largest MongoDB userClash of Kings used Parse for push notifications and made up roughly half of all pushes that went through Parse. They never moved any other parts to Parse, due to scalability concerns.Original rea
第3回 MongoDBのクエリを使いこなそう | gihyo.jp
はじめに 本記事では、MongoDBのクエリを解説します。MongoDBはリレーショナルデータベース（以下"RDB"と略記）ではないため、SQLは使用できません。その代わり、MongoDB特有の「Mongoクエリ言語」を用います。Mongoクエリ言語のCRUD操作については公式ドキュメントに詳しい解説があります。 本記事の構成は、最初にMongoクエリ言語の特徴について解説し、2ページ目ではSQLとMongoクエリ言語の比較を行います。3ページ目では、MongoDBクエリ言語の使い方を説明し、最後に、プログラミング言語からの利用の仕方の説明として、Rubyからの利用を説明します。 Mongoクエリ言語の特徴 Mongoクエリ言語には以下の特徴があります。 コレクションの各メソッドを用いてCRUD操作をします メソッドの引数にはJSON形式のデータを渡します 変数が使えます 制御構造が使えま
第11回 MongoDBのバックアップ | gihyo.jp
はじめに 本連載ではこれまでMongoDBの機能面に着目してきましたが、今回から数回に分けてMongoDBの非機能面を紹介します。非機能面の中でも、今回はMongoDBの運用に欠かせないバックアップについて説明します。なお、MongoDBは最新バージョンの2.4を対象としています。 コマンド表記について $ ： コマンドラインで実行するコマンド MongoDBのバックアップの概要 MongoDBをバックアップするには、データそのもののバックアップと、コンフィグオプションのバックアップが必要です。 コンフィグオプションは、mongodの起動引数かコンフィグファイルで指定します。どちらの場合も、mongod起動シェルやコンフィグファイルなどのファイルをコピーするだけでバックアップ可能ですので、今回の記事では割愛します。 データのバックアップには一般的にフルバックアップと差分バックアップを組み合
だれがなぜMongoDB辞めたんですか？(Quora訳) - Qiita
Google Trends でも引き続き勢いのある MongoDB ですが、一方でちらほらネガティブな意見も聞かれます。Quora に記事を見つけたので訳してみました (ちょっと古いですが時々更新されています)。章立てを少し追加していますが、それ以外は直訳です。 まとめ MongoDB は色々な特徴があって使いやすいハイブリッドなDB。でも、特定の機能を重視するなら特化したDBを使いましょう。 大量のデータをMap/Reduceしたいなら、Hadoop Key/Value の大量の操作ならスケールする Riak キャッシュとして使いたいなら、Membase, Redis, HBase キューとして使いたいなら、RabbitMQ, ActiveMQ, ZeroMQとか 検索用途で使いたいなら Solar & Sphinx とか 翻訳 Q.どの企業がなぜMongoDBをやめたんですか？ A.ま
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
MongoDBとPythonを使ったWebアプリをHerokuで無料で運用する - memorandum
はじめに MongoDBとPythonで開発したWebアプリをHerokuで運用してみます。MongoDBの運用にはMongoDBホスティングサービスのMongoHQを使い、PythonのWeb Application Frameworkは軽量なBottleを使います。HerokuのようなPaaSやMongoHQ/MongoLabのようなDBaaSを使えば、IaaSよりも短期間で楽にアプリを公開できます。 HerokuにWebアプリをデプロイ アプリのローカルgitリポジトリ作成 mkdir アプリ名 cd アプリ名 git init git add . git commit -m "コメント" ※virtualenvでPythonの仮想環境を作っておくとパッケージ管理等が楽ですが必須ではありません。 Pythonアプリの開発 Bottleを使ったアプリを開発します。 注意点 MongoH
Python REST API Framework: Eve, the Simple Way to REST. — Eve 2.1.0 documentation
Eve. The Simple Way to REST¶ Version 2.1.0. Eve is an open source Python REST API framework designed for human beings. It allows to effortlessly build and deploy highly customizable, fully featured RESTful Web Services. Eve is powered by Flask and Cerberus and it offers native support for MongoDB data stores. Support for SQL, Elasticsearch and Neo4js backends is provided by community extensions. T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rsBackgroundSync : Fatal Assertion 18752 and abort mongodb process
MongoDB2.6のクラスタを3.0+WiredTigerに移行する方法 - Qiita
MongoDBでデータをバックアップ/リストアする - Qiita
