[DMS] MongoDB Sourceのマイグレーションモードを比較する | DevelopersIO
菊池です。 先日のブログで紹介しました通り、Database Migration Service(DMS)の移行元データベース（Source）としてMongoDBが設定可能になりました。 AWS Database Migration Service Adds Support for MongoDB and Amazon DynamoDB Using MongoDB as a Source for AWS Database Migration Service Database Migration Service の Source に MongoDB が選択可能になりました！ 今回は、DMSでMongoDBからマイグレーションする際の、2つのマイグレーションモードについて調べてみました。 マイグレーションモード MongoDBからのマイグレーションには、以下の2つのモードがあります。 テーブル
![[DMS] MongoDB Sourceのマイグレーションモードを比較する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e59904c0a159dfc457327d272461b59b3bdf7ae8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_dms.png)
[DMS] MongoDB：テーブルモードのデータパターン検証 | DevelopersIO
菊池です。 先のブログで紹介しました通り、Database Migration Service(DMS)を使ってMongoDBを移行する際には、2つのマイグレーションモードがあります。 [DMS] MongoDB Sourceのマイグレーションモードを比較する 特に、テーブルモードでは、キーの追加が反映されないケースがあるなど、注意が必要です。今回は、DMSのCDCを使って、MongoDBからテーブルモードでS3に色々なデータパターンでの出力を検証してみました。 検証 SourceとしてEC2で動作するMongoDBのレプリカセット、TargetとしてS3を利用します。CDCを有効にしたタスクを実行したまま、MongoDBにデータを投入していきS3に出力されるファイルを確認します。 初期データのマイグレーション まずはデータを1つMongoDBに挿入し、レプリケーションを実行します。 s0
(レポート) DAT204 – Thermo Fisher事例：AWSとMongoDBによる質量分析時間の短縮 #reinvent | DevelopersIO
こんにちは、菊池です。 re:Inventの事例セッション、"How Thermo Fisher Is Reducing Mass Spectrometry Experiment Times from Days to Minutes with MongoDB & AWS (DAT204)"の動画を視聴しましたのでレポートします。 スライド：AWS re:Invent 2016: How Thermo Fisher Is Reducing Mass Spectrometry Experiment Times from Days to Minutes with MongoDB & AWS (DAT204) | SlideShare 動画：AWS re:Invent 2016: Thermo Fisher Is Reducing Mass Spectrometry Times with Mong
MongoDB On EC2を試してみる | DevelopersIO
クラメソダー市田です。 今回は、MongoDB on EC2についてです。 目的としては、MongoDBのレプリカセットをアマゾンで紹介されていた方式で構築してみることなんですが、何回かに分けて書かせていただこうと思います。 概要 初回はAmazon Linux単体にMongoDB Community Editionをインストールして、データの登録や簡単な操作方法までを確認してみたいと思います。 公式ページの通りにやれば問題なくインストールできると思いますが、試しにやってみます。 なお、使ったAmazon Linuxは「Amazon Linux 2016.03.2 (HVM)」です。 MongoDBの種類 MongoDBにはエンタープライズエディションとコミュニティエディションがありますが、大きな機能差がある訳ではないので、今回はコミュニティエディションをインストールしたいと思います。 ち
AWSクイックスタート：MongoDB on the AWS Cloudを試してみた | DevelopersIO
3ノードのレプリカセット、1シャードの構成として以下のように入力し作成しました。 構成イメージ 起動・配置されるインスタンスのイメージは下図のようになります。 本来、3ノードのレプリケーション構成では3つのAZに分散するのが望ましいですが、東京リージョンではアカウントによってAZ-a/AZ-cの2つしか使えないため、AZ-aに2つのノードを寄せています。 構成確認 10分程度でスタックの構築が完了しComplete状態になりました。 7台のインスタンスが稼働しています。 まずはNATサーバ経由でPrimaryDBにログインし、DBの状態を確認します。MongoDB関連のプロセスを見ると $ ps aux | grep mongo mongod 9248 0.2 1.4 42749424 57312 ? Sl 00:50 0:00 /usr/bin/mongod -f /etc/mongod
AWS上にハイパフォーマンスMongoDBを構築する方法 - 中年engineerの独り言 - crumbjp
AWSインスタンスの選定 AWSインスタンスタイプ一覧 以下のインスタンスボリュームが付随しているプロダクトラインが候補になる。 個人的にはi2.xxx が好みである。 r3.xxx メモリ最適化インスタンス i2.xxx SSD容量最適化インスタンス ただし、インスタンスボリュームはスナップショットが取れず、揮発性なので取り回しが悪い。 Provisioned IOPS (SSD) ボリュームも検討候補になるが、高くつく事になるのでお金持ちの人用。。 バックアップ戦略 流石にバックアップを全く取らずに運用する事は出来ないので 以下様にレプリカセット構成を組み、バックアップを取る。 Primary: i2.xxx Secondary: i2.xxx Secondary(hidden): 適当なインスタンス + SSD 最後のノードはバックアップ専用なので、SSD以外は非力出よい。 ただしあ
【小ネタ】MongoHQ を 10 分位触ってみた | iret.media
どうも、MongoDB 初心者の かっぱ（@inokara）です。 はじめに MongoHQ という Mongo as a Service（勝手に命名）があるようなので試してみました。 MongoHQ また、以下のスライドにて MongoHQ が紹介されておりました。 エンジニア3人で支える月間10億PV MongoHQ とは？ MongoHQ は MongoDB のホスティングサービス 下図のようにバックエンドのインフラを複数のクラウドサービスやロケーションから選べる 他にも特徴がありますが、追記していきます。 アカウント作成 アカウント作成 名前とメールアドレス、パスワード設定するだけです。 とりあえずはお試しで… 最後に Deployment Type を指定します。今回はお試しなので 512MB Sandbox を選択しましょう。 Hello MongoHQ とりあえずドキュメント
Elastic Beanstalk with Docker と OpsWorks で Node + MongoDB する
Node + MongoDB のアプリを立ち上げたい ある文脈で「HerokuはアカンけどAWSならええで」って言われたので、AWS使ってみた。 AWSでは、EC2やS3などを使ってアプリケーションの実行環境を編成するわけだが、その管理ツールとして以下のサービスが用意されている。EC2やS3がリソースなのに対して、これらはあくまでツールまたはサービスといえる。 Elastic Beanstalk OpsWorks Cloud Formation できあがった構成 いじくってみた結果、最終的には App と Batch を Elastic Beanstalk with Docker でデプロイし、MongoDB を OpsWorks で編成できた感じなので、なんとなくメモにして残す。 AZ1 - App - Batch - MongoDB Primary AZ2 - MognoDB Seco
AWS + MongoDBな環境のバックアップスクリプト(Python) – OpenGroove
しばらく前にMongoDBのバックアップスクリプトのサンプルを探してみたが、mongodumpの例が多かったみたいだな。シングル構成のmongoでmongodumpをシェルで実行とか。こういっちゃ何だけど、それで済むならググらない。 レプリカセットのセカンダリで取得、かつ環境はAmazon EC2だからスナップショット取得するのがいい、という条件が重なると結局自作か。で、Pythonで書いてみたのが以下。本来は切り詰めてもっとスマートにするべきなのだが、ここではベタにやることそのまま書いている。でないと、書いた本人も忘れるから。 追記 AWSの認証情報は、/etc/boto.cfgに記載している前提です（過去記事参照）。 mongo_backup_ec2.py #!/usr/bin/env python # -*- coding: utf-8 -*- from pymongo import
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
Building a Social Music Service Using AWS, Scala, Akka, Play, MongoDB, and Elasticsearch - High Scalability -
This is a guest repost by Rotem Hermon, former Chief Architect for serendip.me, on the architecture and scaling considerations behind making a startup music service. serendip.me is a social music service that helps people discover great music shared by their friends, and also introduces them to their “music soulmates” - people outside their immediate social circle that shares a similar taste in mu
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDB tuning on AWS
Gumi_study_1017
MongoDB on AWS
OSCON 2013 talk on AWS and MongoDB