第3回 MongoDB勉強会 ダイジェスト
「第3回 MongoDB 勉強会 in Tokyo」 : ATND 先週土曜日（2011年5月14日）にフューチャーアーキテクトさんのセミナールームにて行われたMongoDBの勉強会に行ってきました。 MongoDBの仕様・機能などの体系的な話からチューニングの話、開発に利用する話、プロダクションとして運用している話と、バランスよくまとまっていてとても勉強になりました。 RDBとの違いや特有の挙動をきちんと把握して利用すれば、十分プロダクションで利用出来るというビジョンが見えました。 詳細は各発表者の方のスライドを見るとわかると思いますが、当日会場でメモしたものでダイジェスト的にまとめました。 MongoDB勉強会は毎月開催（予定）しているそうなので、興味を持たれた方は是非参加して見てください。 MongoDBコミュニティー：MongoDB JP | Google グループ 【発表1】Mo
MongoDBにおけるISODateの実装を調べてみた · DQNEO日記
> ISODate; function (isoDateStr) { if (!isoDateStr) { return new Date; } var isoDateRegex = /(\d{4})-?(\d{2})-?(\d{2})([T ](\d{2})(:?(\d{2})(:?(\d{2}(\.\d+)?))?)?(Z|([+-])(\d{2}):?(\d{2})?)?)?/; var res = isoDateRegex.exec(isoDateStr); if (!res) { throw "invalid ISO date"; } var year = parseInt(res[1], 10) || 1970; var month = (parseInt(res[2], 10) || 1) - 1; var date = parseInt(res[3], 10) || 0;
mongodb で auto increment の運用をするにはどうすればいいか - コードを舐める日々
mongodb は すべてのテーブルに _id という 識別子 が必ず含まれている。 insert した時に、自動的に一意性キーとして ObjectId("514af36644f9cb2eb8000002") といったような感じで生成される。 それを ObjectId ではなくて、数字による auto increment として自動生成させるにはどうすればいいかという話。 mongodb 公式サイトに 方法が書かれていたので、参考に書く。 http://docs.mongodb.org/manual/tutorial/create-an-auto-incrementing-field/ まずログインし、 test データベースに接続。 # mongo use test auto increment の元である、counters テーブルを作成。 db.counters.insert( {
Mongo DB Casual Talksに行ってきた - matsuou1の日記
あんまりMongo DB Casual Talks のブログがないようなので、ざっくり書きます。 「MongoDBのアレをアレする」 by [twitter:@kuwa_tw] さん クラスタが遅い1 必要なデータを一気にインポート oplogが許容範囲を超えてレプリケーションが停止 PrimaryShardにChunkが溜まってI/Oバウンドに 負荷が高いのでBalancerは動かない クラスタが遅い2 ShardするCollectionのShard設定漏れ PrimaryShardでデータファイルが多くなりつづけてメモリマップドファイルのサイズをこえてI/Oバウンド ShardしてないのでもちろんBalancerは動かない 本当に突然パフォーマンスダウンする PrimaryShardは余裕を持たせておく Shard設定は定期的に確認、もしくはShardの設定を自動化する バックアップ
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
MongoDB 環境構築(その１: Replica Set)。
今回の目標: 3台構成の Replica Set 構築 MongoDB の Replica Set は２台以上のサーバで構成される master/slave の拡張(的な理解)である。Replica Set はフェイルオーバ機能を備えており、Primary サーバが停止した事が検知されると自動的に Secondary サーバが Primary へと昇格する事で障害時にもサービスを自動的に継続し続ける事が可能となる。 Replica Set を構成する環境において Primary サーバが停止すると、残りの Secondary サーバの投票によって１つのサーバが選出される事で新たな Primary サーバが生成されるが、その際に特定の状況(ex. ２台構成の Replica Set)で新たな Primary が選出されない事を防ぐ為に投票専用のサーバである Arbiter を設置する事で P
MongoDBのレプリケーションとバックアップ機能の紹介 - doryokujin's blog
久々の更新です。MongoDBのドキュメントのReplicationの部分の訳が一応完了しましたので、それに合わせてこのブログでもReplication機能について書いていきたいと思います。まだ解釈の甘い部分も残っていますので、今後もこの部分の勉強を続け修正を行っていきます。また、引き続きAdmin Zoneの訳を進めていくつもりです。 本日のアジェンダです： MongoDBのReplication機能について Master/Slave Replica pair Replica set MongoDBのバックアップ機能について ファイルのバックアップ mongodumpによるエクスポート MongoDBのReplication機能について MongoDBのReplicationは細かく分けると3種類あります。 Master/Slave 典型的なMasterとSlaveの構成です。Maste
MongoDB Index基本 - L4L
MongoDBのIndexメモ Indexの作成 1 db.things.ensureIndex({a: 1}); フィールドaに対してIndexを作成する。すでに作成済みであれば何もしない。 試してみる テスト用のCollectionを作成。 1 2 3 > for (var i=0; i<10000; i++) { ... db.things.save({a: i, b: i*i, c: i*i*i}) ... } 初期状態でのIndexの作成状況を確認。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 > db.things.stats() { "ns" : "test.thi
MongoDBのAggregation Framework/MapReduceを使ってより賢く集計を行うためのまとめ - Yuta.Kikuchiの日記
Mogodb集計 MongoDBの集計機能が便利過ぎて泣けてくるお話し - Yuta.Kikuchiの日記 1月程前にMongoDBを使った集計機能の紹介をさせていただいた@yutakikucです。内容は全く大した事無かったのですが、タイトルで誘導を引っ張って200近いbookmarkを集める事ができました笑。みなさんの参考にしていただけたこと、大変嬉しく思います。今日はMongoDBの集計をもう一歩踏み込んだ内容を紹介して行きたいと思います。題材としてはAggregation FrameworkとMapReduceについてです。因に今回試してみたMongoDB-Versionは2.2.3です。Versionによって挙動が変わると思うので注意してください。 $ mongo --version MongoDB shell version: 2.2.3 Aggregation Framewor
[MongoDB] クエリ結果を標準出力させてファイルに保存する方法
MongoDB でクエリ結果を標準出力させてファイルに保存するコマンドをご紹介します。 mongo --quiet dbname ./export_users.js > users.tsv —quiet オプションを付けると、バージョン表示などの余計な情報が出力されなくなります。 ちなみに、export_users.js は下記のような mongo script です。 var users = db.users.find(); users.forEach(function(user) { if (user) { print(user._id + '\ ' + user.name + '\ ' + user.email); } }); 以上です。
MongoDB : サルでもわかるMapReduce · DQNEO日記
まずは「集計ができる」と覚えておきましょう。 最初はこれだけで十分でしょう。 利用事例 ある日、ピカチューがつぶやきサービスでつぶやき始めました。 ピカチューのつぶやきに対して、仲間からたくさんの「いいね！」ボタンが押されました。 あなたはつぶやきサービス管理人として、ピカチューのつぶやき数と、ピカチューがゲットした「いいね！」のトータル数を集計してみましょう。 準備 Mongoクライアントを起動して、DBを作成しましょう。 ./mongodb/bin/mongo MongoDB shell version: 2.0.1 connecting to: test > use sample; switched to db sample サンプルデータ ピカチューが３回つぶやいて、「いいね！」がたくさんつきました。 > db.entries.save( {username:'pikachu',
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Y's note
MongoDBイン・アクション 作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yuta.Kikuchiの日記 時給3000円のCEOと揶揄されている@yutakikucです。今日は簡単にMongodbのログ集計機能を紹介します。機能が豊富過ぎて泣けてくるんで、ログ解析する人は是非使ってみて下さい。FluentdでMongodbにNginxのLogを流し込む設定は上のエントリーを参照して下さい。次回はAggregationFramework/MapReduce周りについて触れたいと思います。 泣ける話 : 集
MongoDBでdumpとかrestoreとか - するめとめがね
diskいっぱいになってきたのでdb.repairDatabase()で綺麗にしちゃおうかな！と軽い気持ちで実行したら「Cannot repair database」とMongoDBさんに怒られました。 db.rapairDatabase()を実行するには現在の使用disk容量と同じだけのdiskが必要になるっぽく、disk使用量が50%余裕で超えてたので怒られたみたいです。 mongod起動時に選択したデータ保存ディレクトリのmoveChunk配下はどうやら消していい(Can I remove old files in the moveChunk directory?)らしいのでそいつらを消してみたりもしましたがまだまだ足りない。 詰んだ？もしかして詰んだ？と思いながら検索したら以下のページが引っかかりました。 Google Groups copy the data files to d
node.js から MongoDB にアクセス (Mongoose の紹介) - KrdLab's blog
node.js から MongoDB にアクセススためのライブラリに Mongoose があります．今回はこれを紹介しようと思います．O/R Mapper っぽく使えるように設計されており，既存の O/R Mapper を使ったことがある人にとっては，比較的わかりやすい仕様です． 見出し Mongoose とは？ インストール 何はともあれ使い方を Schema 定義について ドキュメント生成 (保存) ドキュメント読み取り ドキュメント更新 ドキュメント削除 Embedded Document 終わりに Mongoose とは？ node.js 向けに開発された MongoDB アクセスライブラリです． 公式：http://mongoosejs.com/ GitHub：https://github.com/learnboost/mongoose/ Mongoose is a MongoD
SQL脳に優しいMongoDBクエリー入門 - taka512's blog
mongoコマンドから接続した際にオールドタイプ(SQL脳)たる我々人類にも 調べやすい形でinsert、select、updateを行う方法を調べました。 定義参照 // use [データベース名] use [データベース名] // show databases show dbs // show tables show collections参照系 // select * from [コレクション名] db.[コレクション名].find() // select * from [コレクション名] where x=4 db.[コレクション名].find({x:4}) // select j from [コレクション名] where x=4 db.[コレクション名].find({x:4}, {j:1}) // select * from [コレクション名] limit 1 db.[コレクション
多段fluentd + mongodb のハマリ所 - stanaka's blog
fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mongodb get distinct records
SQL to Aggregation Mapping Chart - MongoDB Manual v7.0
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.