Twitter Streaming APIをMongoDBに保存して遊んでみる
TwitterのストリーミングAPIを利用する場合、かなりのデータ量が流れてくるので、リアルタイムに解析・集計などを行うと処理が追いつかない可能性が出てきます。 そこで、流れてきたデータをいったんどこかに保存しておいて後からバッチ処理で解析をしていく事になると思います。今回はその保存先にMongoDBをチョイスします。 なぜMongoDBなのか# RDBMSに比べて高速 BSON形式で保存するので、JSONの階層構造をそのまま維持して保存可能 NoSQLながらGROUP BYライクな集計処理が可能 ということで、試しにストリーミングAPIのsampleから流れてくるデータをMongoDBに保存するスクリプトを書いてみました。このスクリプトを動かすには、別途MongoDB本体と「json」「bson_ext」「mongo」の3つのgemが必要になります。 # coding: utf-8 #
コンソール画面でのコマンド操作 - matsukaz's blog
MongoDBに対する操作は、基本的にコンソール画面から行うので、コマンドさえ理解出来れば大抵のことが出来ます。というわけで今回はコマンドの説明。 mongod/mongosへ接続 何はともあれ接続。コマンドは以下の通り。 > MONGODB_HOME/bin/mongo.exe [ホスト名]:[ポート番号]/[データベース名]あとから接続先のデータベースを変更することも出来る。 > use [データベース名]mongod/mongosの両方に接続できるけど、Sharding構成の場合は必ずmongosに接続すること。mongodに接続した場合は、他のmongodにShardingされている情報が取得出来ない。 mongosに接続した場合 > MONGODB_HOME/bin/mongo.exe localhost:28101/hoge MongoDB shell version: 1.8
mongoDBでだいたい新しい順番にドキュメントを取得する - NullPointer's
mongoDBのコレクションにはnatural orderという概念があります。sortせずにfindするとインサートされた時間が古いものから順番に取得されますが、この並び順がnatural order。 新しい順にドキュメントを取得したい場合は sort に { $natural: -1 } と指定すればおけー db.Hoge.find().sort({ $natural: -1 }); 連番フィールドや時刻フィールドを用意してsortするよりもかなり速いです。 ただし、natural orderはディスク上の物理的な順番なので、分散環境でチャンク移動が発生した場合や、updateでドキュメントが大きく変更された場合などに変わってしまいます。だいたい新しい順でいいやー、というようなゆるい状況でなければ使えません。 ※ capped collectionはインサート順とnatural or
Twitter の TL を全部 MongoDB にぶち込んでニヤニヤする - 凹みTips
はじめに タイトルの通り、自分の Twitter のタイムラインを全部 DB にぶち込んで後でニヤニヤする方法を紹介します。データの取得と保存は Node.js + MongoDB で行います。 これで MongoDB シェル上で以下の様な形で過去のツイートを検索できるようになります。 > db.posts.find(function(){ return this.text.match(/hoge/); }) 環境を整える タイムラインの取得には以前のエントリ（20 行で作る node.js による Twitter bot 作成講座 - 凹みTips）と同じ方法を使用し、Node.js を用いてStreaming API 経由でリアルタイムに取得します。DB には NoSQL で JavaScript と親和性の高い MongoDB を使い、Node.js からは Mongoose を利用
MongoDB で MapReduce 試してみた。
MongoDB で MapReduce を試してみる。 年齢のみを項目としてもつ age コレクションを作成し ヒストグラム 各種統計量(件数, 合計, 平均, 分散, 標準偏差) を算出してみようと思う。 2. の統計量の算出では２段 MapReduce を試してみる。 参考: http://www.mongodb.org/display/DOCSJP/MapReduce http://api.mongodb.org/js/ 0. データの投入 今回の検証用データ(年齢180件)を作成したのでそれを投入。 $ mongoimport -d mydb -c age --type csv --headerline --file mydb.age.csv connected to: 127.0.0.1 imported 181 objects $ mongo MongoDB shell ver
MongoDBへ様々なデータ型を保存/取得してみる。オブジェクトマッピング編 - Shoken Startup Blog
MongoDBへBoolean、バイナリ（BINARY）、Date、Timestamp、などをinsertして保存/取得する方法を紹介します。 サンプルコードはRubyを使いますが、便利なORMであるMongoidはあえて使わずに、プリミティブなドライバであるmongo-ruby-driverで実装してよりMongo Shellに近い操作を確認していきたいと思います。 今回は、そもそもMongoDBのデータ型（type）がRubyのオブジェクトにどのようにマッピングされるかを見てみます。 mongo-ruby-driverをgemからインストールしておいてください。 gem install mongo 環境 OS CentOS 5.4 ruby 1.9.3 gem 1.8.21 mongo 1.6.1 MongoDB 2.0.4 MongoDBのデータ型 まずは、MongoDBのデータ型の
MongoDBで位置情報お手軽検索。あとついでにPython
MongoDB使ってますかー？便利ですよー？ 最近、位置情報を処理するのにこのMongoDBを使っています。何故Mongoかと言うと 「この位置から500m以内の施設情報をヨコセ」 といった検索が超簡単にできるから。 論より証拠。 MongoDBには[緯度、経度]といった配列を含むデータをつっこんでおきます。こんな感じ。 [js] db.test.save({‘id’:’hoge’, ‘place’:’新宿駅’, ‘loc’:[35.690921, 139.700258]}); db.test.save({‘id’:’hoge’, ‘place’:’スタジオアルタ’, ‘loc’:[35.69271580036533, 139.70121502876282]}); db.test.save({‘id’:’test’, ‘place’:’東京都庁’, ‘loc’:[35.6894743099
MongoDBにおけるISODateの実装を調べてみた · DQNEO日記
> ISODate; function (isoDateStr) { if (!isoDateStr) { return new Date; } var isoDateRegex = /(\d{4})-?(\d{2})-?(\d{2})([T ](\d{2})(:?(\d{2})(:?(\d{2}(\.\d+)?))?)?(Z|([+-])(\d{2}):?(\d{2})?)?)?/; var res = isoDateRegex.exec(isoDateStr); if (!res) { throw "invalid ISO date"; } var year = parseInt(res[1], 10) || 1970; var month = (parseInt(res[2], 10) || 1) - 1; var date = parseInt(res[3], 10) || 0;
MongoDBのクライアントツールを使用してデータを操作する
DebianにMongoDBをインストールして、動作させました。 DebianにMongoDBをインストールする クライアントツールのmongoを使用して、MongoDBの動作を調べてみます。 クライアントツールの起動 MongoDBをインストールしたフォルダのbinにmongoというクライアントツールがあります。 ./mongoとしてやると、クライアントツールが起動します。 起動時のメッセージはこんな感じ。 # ./mongo MongoDB shell version: 1.3.1- url: test connecting to: test Sat Jan 2 20:44:58 connection accepted from 127.0.0.1:40424 #3 type "help" for help
MongoDBをPythonで操作する(PyMongo使用)
データの検索サンプル データの取得は、 ・コネクションの作成 ・コネクションからデータベースの取得 ・データベースからコレクションの取得 という手順で、目的のコレクションを取得します。 取得したコレクションに対して検索を実行します。 以下、find_oneとfindのサンプルです。 #!/usr/bin/env python # -*- coding:utf-8 -*- from pymongo import Connection #コネクション作成 con = Connection('192.168.1.245', 27017) #コネクションからtestデータベースを取得 db = con.test # 以下のように記載することも可能 # db = con['test'] #testデータベースからfooコレクションを取得 col = db.foo # 以下のように記載することも可能
MongoDBのmap/reduceを試してみる。 - stog's blog
以前（http://d.hatena.ne.jp/stog/20100531/1275317576）作成したコレクションをmap/reduceを使って"type"別に集計してみる。 コレクションの中身はこんな感じ。 $ mongo mytest MongoDB shell version: 1.4.4 url: mytest connecting to: mytest type "help" for help > > db.members2.find() { "_id" : ObjectId("4c03c632b4742d2998000000"), "birthday" : 342057600, "type" : "human", "name" : "おがわ", "sex" : "M" } { "_id" : ObjectId("4c03c632b4742d2998000001"), "b
日時を使った検索がうまくいかない - stog's blog
MongoDBで検索するときの条件として日時を使ってみたのだが、意図した結果が得られない。 前回（http://d.hatena.ne.jp/stog/20100525/1274890034）作ったデータベースに対して以下のように検索してみる。 mongodb_find_date.py #!/usr/bin/env python # -*- coding:utf-8 -*- import pymongo import datetime conn = pymongo.Connection() db = conn["mytest"] coll = db["members"] # 誕生日が2000-01-01以降のものを検索したい print "find({'birthday': {'$gte': datetime.datetime(2000, 1, 1)}})" print "--------
日時を使った検索がうまくいかない（回避案） - stog's blog
前回（http://d.hatena.ne.jp/stog/20100526/1274899622）の続き。 MongoDBで日時を使った検索をするとき、1970-01-01より前の日付がうまく扱えない件について、自分が使い方を間違っているのか、そういう仕様なのか未だに分かっていない。。 なので、以下のように日付をタイムスタンプとして扱えば良いのかも。 テストデータ dummy.tsv name type sex birthday おがわ human M 1980/11/03 たかはし human F 1974/02/20 たなか human M 2003/01/15 さとう human F 1960/10/05 ポチ dog F 2005/06/07 タロ dog M 1995/08/08 タマ cat F 2008/12/24 ミケ cat M 1998/12/25 John huma
MongoDBをpythonから利用する - Y's note
MongoDB 特徴 アメリカの10gen社によってC++で書かれたドキュメント指向データベース。 DBへのアクセスはJavascriptによって行う。 ドキュメント指向データベースとは、自由なデータ構造のドキュメントを登録する事が可能。 MongoDBのデータベースはそれぞれ独立している。 テーブルの構造を事前に決めないのでスキーマレス。 １つのデータベースには1つ以上のコレクションとコレクションにはドキュメント(オブジェクト)から成り立つ。 コレクションとはドキュメントのグループ。RDBMSのテーブルに相当。 ドキュメントとは登録データ(オブジェクト)。 RDBMSにオブジェクトを登録することはプログラムが複雑化するが、ドキュメント指向データベースならオブジェクトをそのまま保存。 ドキュメント指向データベースに他にCouchDBがある。 RDMBSと比較して簡単にスケールアウトできる仕
MongoDB:MapReduceの手続きを外部jsファイルに保存して実行する方法 · DQNEO日記
MapReduce処理を外部ファイルとして保存する ファイル名：count_by_hours.js // accesslogを時間帯別に集計して、 // 結果を別コレクションに保存するMapReduce //出力先コレクション名を定義 var colname = 'countbyhours'; // 自作ユーティリティ関数 var JSTDate = function (str) { return ISODate(str + "T00+09:00"); }; var getYMDH = function (d) { d.setSeconds(0); d.setMilliseconds(0); d.setMinutes(0); yyyy = d.getFullYear(); mm = d.getMonth() + 1; dd = d.getDate(); hh = d.getHours();
MongoDBで、日付の期間を指定して検索する方法 · DQNEO日記
RDBMSの場合 SELECT * FROM userlog WHERE timestamp BETWEEN '2011-11-01' AND '2011-11-02' ORDER BY timestamp; Mongo Shellの場合 var query = { "timestamp" : { "$gte" : ISODate("2011-11-01T00:00:00+09:00"), "$lte" : ISODate("2011-11-02T00:00:00+09:00") } }; db.userlog.find(query).sort({timestamp:1}); 境界値を含みたくない場合は、"$gt","$lt"と書きます。 var query = { "timestamp" : { "$gt" : ISODate("2011-11-01T00:00:00+09:00"),
MongoDB : サルでもわかるMapReduce · DQNEO日記
まずは「集計ができる」と覚えておきましょう。 最初はこれだけで十分でしょう。 利用事例 ある日、ピカチューがつぶやきサービスでつぶやき始めました。 ピカチューのつぶやきに対して、仲間からたくさんの「いいね！」ボタンが押されました。 あなたはつぶやきサービス管理人として、ピカチューのつぶやき数と、ピカチューがゲットした「いいね！」のトータル数を集計してみましょう。 準備 Mongoクライアントを起動して、DBを作成しましょう。 ./mongodb/bin/mongo MongoDB shell version: 2.0.1 connecting to: test > use sample; switched to db sample サンプルデータ ピカチューが３回つぶやいて、「いいね！」がたくさんつきました。 > db.entries.save( {username:'pikachu',
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
MongoDBのshellを使い倒す - nifty engineer blog
こんにちは。モリフジです。 MongoDB大好きです。 MongoDBはdocument指向の分散DBで、shardingやreplicationの仕組みを備えている非常に使い勝手がいいデータベースです。 MongoDBはMySQLやPostgreSQL、HBase、Hiveと同様にinteractive shellを備えているのですが、これが結構いろいろできることをご存じない方は多いかと思いますので、紹介したいと思います。 mongo – The Interactive Shellにいろいろと書いてあるのですが、定常的なcronにするには使い勝手がいいとは言えません。 また、MongoはJavaScriptエンジンを内包しており(現在はMozillaのSpiderMonkeyがJavaScriptエンジン。src的にはv8の切り替えの準備も進んでいます)、JavaScriptでロジック
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近のタイムライン保存事情
