Importing JSON into MongoDB · zaiste.net
Importing JSON data into MongoDB can be tricky. By default, monogoimport assumes a special structure for a file to import from: similar to JSON format except that only one document per line is allowed with no comma after each of them - something like: { name: "Widget 1", desc: "This is Widget 1" } { name: "Widget 2", desc: "This is Widget 2" } It would be easier, however, to use a traditional JSON
Treasure Data Blog • Real-Time Log Collection with Fluentd and MongoDB
Tweet About This post shows how to use Fluentd-MongoDB plugin to aggregate semi-structured logs in real-time. Background Fluentd is an advanced open-source log collector developed at Treasure Data, Inc (see previous post). Because Fluentd handles logs as semi-structured data streams, the ideal database should have strong support for semi-structured data. There are several databases that meet this
SQL脳に優しいMongoDBクエリー入門 - taka512's blog
mongoコマンドから接続した際にオールドタイプ(SQL脳)たる我々人類にも 調べやすい形でinsert、select、updateを行う方法を調べました。 定義参照 // use [データベース名] use [データベース名] // show databases show dbs // show tables show collections参照系 // select * from [コレクション名] db.[コレクション名].find() // select * from [コレクション名] where x=4 db.[コレクション名].find({x:4}) // select j from [コレクション名] where x=4 db.[コレクション名].find({x:4}, {j:1}) // select * from [コレクション名] limit 1 db.[コレクション
アプリを支えるFluentd+mongo dbを使った大規模ログ解析
アプリを支えるFluentd+mongo dbを使った大規模ログ解析 Presentation Transcript アプリを支えるFluentd +MongoDBを使った大規模 ログ解析 2013/03/2513年3月25日月曜日 自己紹介 • 田中 勇輔(@csouls) • ハッカーLv.3（ホイミが使えるようになっ た） • 8ヶ月くらい前にユーザ系SIer→Web業界へ 転職13年3月25日月曜日 変化を善とする文化 • 転職して一番変わったことは、周りの人の技 術変化に対する価値観の基準が悪→善になっ たこと • 停滞はゆるやかな死。しかし、変化する方向 を間違え続けるとすぐに死ぬ13年3月25日月曜日 分析 • 変化の方向を決める道標 • 分析基盤も変化(発展)し続ける13年3月25日月曜日 ログ分析基盤 • fluentでログを集めてMongoDBで集計して Ruby o
Happy Elements Labs: fluentdとMongoDBでユーザー行動を見える化
はじめに エンジニアの@ryooo321です。 よろしくお願いします。 今回は弊社で運用中の全アプリで利用している行動分析プラットフォームについてご紹介したいと思います。 2012年の6月に作ってから、約9ヶ月ほど運用しています。 特徴 ・手がかからないデータストア ・さまざまな問い合わせ対応で利用できる柔軟なクエリ ・機敏なMap/Reduceによる集計 ・集計結果をCSVやグラフで可視化 目的 ・ユーザーの問い合わせに効率的に対応し、アプリの企画・開発に集中するため ・ユーザーの行動を抽象化・可視化することでPDCAの質を向上させるため 行動ログのフロー 1. ユーザーからRuby on Rails製のソーシャルゲームにリクエスト 2. Railsからローカルのfluentdにログ出力(fluent-logger-ruby) 3. ローカルのfluentd
Using Mongo and Map Reduce on Apache Access Logs
Introduction With more and more traffic pouring into websites, it has become necessary to come up with creative ways to parse and analyze large data sets. One of the popular ways to do that lately is using MapReduce which is a framework used across distributed systems to help make sense of large data sets. There are lots of implementations of the map/reduce framework but an easy way to get started
Working With Stored JavaScript in MongoDB - Mike Dirolf
Stored JS in MongoDB is saved in the special system.js collection. The documents there should be structured like: {_id: "sum", value: function (x, y) { return x + y; }} _id is the name of the function, and value is the JS code defining the function. Here’s an example of saving such a function and then using it in an eval. This can be run using the MongoDB shell: > db.system.js.save({_id: "sum", ..
SQL to MongoDB
db.runCommand({ mapreduce: "DenormAggCollection", query: { filter1: { '$in': [ 'A', 'B' ] }, filter2: 'C', filter3: { '$gt': 123 } }, map: function() { emit( { d1: this.Dim1, d2: this.Dim2 }, { msum: this.measure1, recs: 1, mmin: this.measure1, mmax: this.measure2 < 100 ? this.measure2 : 0 } );}, reduce: function(key, vals) { var ret = { msum: 0, recs: 0, mmin: 0, mmax: 0 }; for(var i = 0; i < val
MongoDBのAggregation Framework/MapReduceを使ってより賢く集計を行うためのまとめ - Yuta.Kikuchiの日記
Mogodb集計 MongoDBの集計機能が便利過ぎて泣けてくるお話し - Yuta.Kikuchiの日記 1月程前にMongoDBを使った集計機能の紹介をさせていただいた@yutakikucです。内容は全く大した事無かったのですが、タイトルで誘導を引っ張って200近いbookmarkを集める事ができました笑。みなさんの参考にしていただけたこと、大変嬉しく思います。今日はMongoDBの集計をもう一歩踏み込んだ内容を紹介して行きたいと思います。題材としてはAggregation FrameworkとMapReduceについてです。因に今回試してみたMongoDB-Versionは2.2.3です。Versionによって挙動が変わると思うので注意してください。 $ mongo --version MongoDB shell version: 2.2.3 Aggregation Framewor
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる - Glide Note
最近ようやく仕事でガッツリFluentdとMongoDBを触るようになってちょっとハマったことが あったので誰かの役に立つかも知れないので書いておく。 Fluentd界隈は開発が活発なので、数ヶ月後にはこの記事の情報も恐らく古くなっているのでご注意ください。 結論 書いてたら長くなってしまったので先に要点というか結論を書いておく。 apache => fluentd => MongoDB とapacheのアクセスログをMongoDBに入れたときにcodeやsizeといった数値が文字列(string)として入っていた td-agent.confのformatを自作すると、時間以外のフィールドが文字列(string)として扱われる fluent-plugin-typecastを利用することでcodeやsizeといった特定のフィールドを、stringやintegerなどの任意のデータ型に変換可能
MongoDB Aggregation III: Map-Reduce Basics | Kyle Banker
December 12, 2009 If you’re accustomed to working with relational databases, the thought of specifying aggregations with map-reduce may be a bit intimidating. Here, in the third in a series of articles on MongoDB aggregation, I explain map-reduce. After reading this, and with a little practice, you’ll be able to apply the map-reduce paradigm to a huge number of aggregation problems. A comments exa
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Y's note
MongoDBイン・アクション 作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yuta.Kikuchiの日記 時給3000円のCEOと揶揄されている@yutakikucです。今日は簡単にMongodbのログ集計機能を紹介します。機能が豊富過ぎて泣けてくるんで、ログ解析する人は是非使ってみて下さい。FluentdでMongodbにNginxのLogを流し込む設定は上のエントリーを参照して下さい。次回はAggregationFramework/MapReduce周りについて触れたいと思います。 泣ける話 : 集
R で Mongo で データフレーム - mizchi log
実験で取扱うデータをMongoDBに統一しているのだけど、RMongoは結構ライフチェンジングだった っていうのは今までPythonでmongodb叩いてcsvに加工してRで読んでたから。 MongoDBでも面倒な手間なくRと連携できるのは、データマイナーな皆さんには結構楽しいのではないでしょうか RMongoは、MongoDBのBSONクエリの結果をデータフレームで返してくれる RMongoのインストール まず RUnitとRjavaをCRANからインストール。 次に quid/RMongo - GitHub の Download から tar.gz で落としてくる シェルで $ R CMD INSTALL RMongo_x.x.x.tar.gz #version 使ってみる 適当に関数書いてラップしといた library(RMongo) getMongo<- function(dbna
R meets MongoDB - 元データ分析の会社で働いていた人の四方山話
最近、割と大きめなデータをRで扱う際に、どのようなソリューションがいいか色々と考えています。 ここでのソリューションは並列計算云々という観点ではなく、大きめのデータから必要なデータをさっくりと用意して、解析フェーズに簡単に入っていくために、という観点です。 1つは有名すぎるbigmemoryというソリューションがあって、これは今後浸透していくんだろうなぁとは思いつつ、bigmemoryではデータ型がbig.matrixという特殊なものになってしまうので、既存のMatrixやdata.frameを使ったパッケージの関数が使えなくなってしまう*1という点が微妙だなぁと思っています。 そんな時に、Twitterのtimellineを眺めていたら、MongoDBのR driverができたとかいうtweetを見かけました。 MongoDBはかなり柔軟に色々できますし、何より今アツいトピックの１つです
MongoDB : サルでもわかるMapReduce · DQNEO日記
まずは「集計ができる」と覚えておきましょう。 最初はこれだけで十分でしょう。 利用事例 ある日、ピカチューがつぶやきサービスでつぶやき始めました。 ピカチューのつぶやきに対して、仲間からたくさんの「いいね！」ボタンが押されました。 あなたはつぶやきサービス管理人として、ピカチューのつぶやき数と、ピカチューがゲットした「いいね！」のトータル数を集計してみましょう。 準備 Mongoクライアントを起動して、DBを作成しましょう。 ./mongodb/bin/mongo MongoDB shell version: 2.0.1 connecting to: test > use sample; switched to db sample サンプルデータ ピカチューが３回つぶやいて、「いいね！」がたくさんつきました。 > db.entries.save( {username:'pikachu',
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Logging Application Behavior to MongoDB
https://github.com/uniba/knowledge_base/blob/master/Ruby/Rails/Mongoid/Mongoid.md
MongoDBをRubyから使う
MongoDB: The Developer Data Platform