Etsukata blog: Mongodb の Aggregation Framework で月ごとに集計をとる
はじめに mongodb ので Date Object を含むデータを集計する際に、月ごとで集計をとる方法について説明します。ここでは mongodb version 2.2 で導入された aggregation framework を用います。aggregation framework は非常に柔軟なフレームワークで、SQL に迫るほど強力な集計機能を備えています。map-reduce ほど表現力が豊かではありませんが、ほとんどの集計処理をより手軽に行えます。 早速 aggregation framework を用いて、月ごとに集計をとって見ましょう。 サンプル まず、mongodb を起動し、mongo shell からサンプルデータを入力しておきます。 > db.revenue.insert({ revenue : 10 , date : ISODate("2013-06-20")
MongoDBに触れる (3) 集計処理 (Aggregationフレームワーク) | ZDRIVE blog
今回も前回に引き続き、コンソールでの操作を行います。 NoSQLプロダクトには通常、SQLで言うところの WHERE句やGOURP BY句などの集計機能が備わっていません。 ですが、MongoDBはNoSQLでありながらRDMBSの機能も一部実装しており、集計機能に関しても実装されています。 MongoDBで集計処理を行う場合はさまざまな方法があるようですが、今回はAggregationフレームワークを使用します。 まずは集計を行うに当たり、適当なデータを入れておきます。 >db.member.insert( { "name" : "sato", "score" : 100, "birthplace" : "Tokyo"}) >db.member.insert( { "name" : "suzuki", "score" : 90, "birthplace" : "Tokyo"}) >db.
mongoDBの集計にはMapReduceよりaggregateが簡単で楽な件 - ちょびろぐ出張版
先日、僕の開発してるあにみた！が一周年を迎えました。 せっかくなのでデータを公開してみようと思いたったのが始まりです。 が、PHP上（正確にはFuelPHP）で集計するにはメモリーが足らないとサーバーから怒られてしまった。 集計したいこと＆やっていることをまとめたのが下記。 集計期間を1年 全ユーザー、作品対象 ソートをPHP上でやっている（mongoはjoin出来ないので） そら重いよね。。。 チェックインデータだけでも100万件以上あるし、それを作品ごとに全ループすれば当然その分の配列データをメモリー上に保持し続けるわけで… ちなみにmongoDBの操作にはFuelPHPに標準で搭載されている拡張を使っているのだけれども、細かいところに手が届いておらず、何かやりたい時にはmongoコマンドを叩かないといけない。 結局、自前のmongoexなるMongoマッパーを作成し使っています。 し
第10回 MongoDBでの集計処理 | gihyo.jp
MongoDBでの集計処理の概要 一般的なNoSQLプロダクトは、RDBのSQLでいうGroup By句やSum関数などの集計機能がありません。集計を実施するには、アプリケーション側で独自にコードを書くことになります。 しかし、MongoDBは、NoSQLのパフォーマンスを維持しながら、RDBライクな機能を実装することを開発方針として掲げており、集計機能に関してもいち早く実装してきました。MongoDBで集計処理を行う方法は3つあります。 1. Aggregationフレームワーク SQLでいうGroup By句やSum関数を提供します。Mongo Shellからクエリと同じように実施できます。一部の処理（$groupと$sort）はシャーディングに対応しており、各シャードで処理します。 2. MongoDBのMap/Reduce機能 Map関数/Reduce関数を独自に定義し、集計処理を
MongoDBで集計（Aggregate） - Qiita
Aggregation MongoDBでは集計のために Aggregation という仕組みが用意されているのですよ。すわ！便利。 例として、WebShopsコレクション（≒テーブル）に各Web店舗のアクセス数が日単位で記録されているものとし、ここ一週間のアクセスランキングを取得してみます。 PHPでのサンプルコードは下記のようになります。 // MongoDBへ接続 $mongo = new Mongo(); // MyDBデータベース $db = $mongo->selectDB('mydb'); // WebShopsコレクション（≒テーブル） $collShops = $db->selectCollection("webshops"); // ここ一週間でのWebアクセスが多い順に店舗を取得 $docs = $collShops->aggregate( array( // $mat
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
Our Customers
Customer success storiesMore than 47,800 customers have chosen to build the applications of today and tomorrow on MongoDB. To provide the best online customer experience possible, Ulta Beauty selected MongoDB Atlas to transform their legacy technology stack into a secure, scalable, and agile solution.
PythonでMongoDBを使うunittestのひな形 - Kesinの知見置き場
タイトルのとおりですが、ケースとしてはFlaskみたいな軽いフレームワークでMongoDBをデータベースに使うModelを自分で実装するような場合です。 実際にデータベースを動かすModelのテストを書くときに、FlaskはフルスタックのDjangoと違って何も面倒を見てくれないので、自分でテストのときだけ使用するdbの作成、破棄などを行う必要があります。 やりたいことは、 テスト起動時にテスト用のdb('test')を作成 テスト用のデータ(json)を予めdbに入れておく Modelクラスのメソッドをテスト テスト終了時にテスト用のdbの破棄 という流れです。mongodの起動と終了まで面倒を見てくれるともっと便利なはずですが、今回はそこまで求めなかったので、mongodは事前に起動しているという前提になります。 *1 コードにするとこんな感じです。Python2.7で動作確認していま
Express で twitter OAuthで認証してmongoにほりこむとこまで - Qiita
var mongoose = require('mongoose') mongoose.connect("mongodb://localhost/oauth_test"); var userSchema = new mongoose.Schema({ uid: Number }); // mogooseからfindAndModifyがみれないので追加 userSchema.statics.findAndModify = function(query, sort, doc, options, callback) { return this.collection.findAndModify(query, sort, doc, options, callback); }; var User = mongoose.model('User', userSchema); var passport =
スキーマレスなオブジェクトたちからスキーマを推測するやつ - hitode909の日記
MongoDBなどはスキーマレスなデータベースであり，先にスキーマ決めなくても，何でもつっこめることになってる． データベースから見ればスキーマレスということでいいけど，アプリケーション的には，何が入ってるかちゃんと管理したい． 下の例では，AliceとBobでは持ってるフィールドがちがって，Bobはhobbyを持ってるけど，Aliceは持ってない． { name => 'Alice', age => 20, } { name => 'Bob', age => 21, hobbies => ['tennis', 'soccer'], } これくらいなら見れば分かるけど，長期間運用してて，結局何が入ってるのか分からない，みたいなことがあって，難しかった． オブジェクトをどんどん渡していくと構造を教えてくれるのを作った． hitode909/perl-object-classifier · G
Node.js + MongoDB でのアーキテクチャ考 - Qiita
今回はNode.js + MongoDBの組み合わせを使ったシステムのアーキテクチャについて書いてみようと思います。コードの類いは殆どありません。 非同期ノンブロッキング、Webサービス全般 MongoDBが主の記事ですが、題名はNode.jsから始まってます。これは今回のアーキテクチャ考のスタートポイントがNode.jsだからです。Node.jsの特徴というと サーバーサイド javascriptでそれなりに高速 非同期ノンブロッキング主義 対話型インタープリタで色々試しながら開発できる というのが個人的に気に入っている点なんですが、これってWebサービス全般を書くにはよさそうだなぁとか普段から考えていました。どうしてかと言うと、一般にWebサービスと言えば 不特定多数が不特定なタイミングで利用する 多数のユーザーに個別な処理がある 多数のユーザーでの共有な処理がある レスポンスは早けれ
CyberAgentにおけるMongoDB
This document demonstrates how the oplog in MongoDB replica sets works by replicating operations from the primary to secondaries. It shows insert, update, remove operations on a collection on the primary and then verifies that the same operations have been replicated to the oplog and applied on a secondary by finding the same document changes. It also shows getMore commands from secondaries tailin
R Statistics With MongoDB
Big Data is on every CIO’s mind. It is presently synonymous with open source technologies like Hadoop, and the ‘NoSQL’ class of databases. Another technology that is shaking things up in Big Data is R (www.r-project.org, #rstats). R is an open source programming language and software environment designed for statistical computing and visualisation. The statistical software R is the fastest growing
Node.js + Express + MongoDB でのセッション管理 - hogehoge
なんでMongoDBでセッション管理するのか Node.js + Express (Connect) で標準で提供されている MemoryStore でセッション管理を行うとメモリ上での管理になるため node が落ちるとセッションデータが消えることになりセッションの永続化ができませんし、動作確認もソースの確認も行っていませんが、production で起動した際に出力されるメッセージ（https://github.com/senchalabs/connect/blob/master/lib/middleware/session.js#L199）に Warning: connection.session() MemoryStore is not designed for a production environment, as it will leak memory, and will n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
红河噶仙装饰工程有限公司
SQL to Aggregation Mapping Chart - MongoDB Manual v7.0
Tailable Cursors — MongoDB Manual
はてなブログ | 無料ブログを作成しよう
GitHub - scttnlsn/mubsub: Pub/sub for Node.js and MongoDB
Getting MEAN with Mongo, Express, Angular, and Node
