普段MySQL使ってる僕がMongoDBを使って気づいたこと2つ - こちょこちょブログ
2015-04-07 普段MySQL使ってる僕がMongoDBを使って気づいたこと2つ テクノロジー プログラム Tweet ロゴ見て気づいたのですが、 MongoDBの頭文字って小文字なんですね。 そんなことは置いといて。 最近mongoDB（小文字に変えたｗ）を使う機会がありました。 僕が普段触っているMySQLと違って、 ググっても、まあー情報が少ないんですよね。 コマンドとかは割りとあるのですが、 PHPでの操作とかは少なかった印象です。 そこで今回は、 PHPでの操作 mongoDBの復旧（リストア） の2つを備忘録として、まとめておこうと思います。 PHPでループさせて検索ができない こういうことです↓ ※サンプルの一部はPHPの公式ドキュメントから拝借しました。 つまり、検索値（findの条件）を変数にしてループすることが出来ないようです。 まあ、そもそも何回もDB接続せずに
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
MEAN(MongoDB, Express, AngularJS, Node.js)スタックが優れている理由 - Mozilla Open Web Day in Tokyoを終えて - albatrosary's blog
MEANとは、LAMP(Linux, Apache, MySQL, PHP)に変わる技術としてじわじわと注目されはじめているアーキテクチャです。このアーキテクチャMEAN(MongoDB, Express, AngularJS, Node.js)は、シンプルでかつ強力なアーキテクチャで、現在のJavaを利用したアプリケーション開発とは一線を画すところです。HTML5開発にとってJavaの役割が殆どなくなるというのも注目すべき点だと考えます。MEANで一般的に言われる注目すべき事項は次のところです： JavaScriptフルスタックである データモデルとしてクライアントからデータベースに至までJSON そして、この記事を書こうと思ったきっかけですが、2014/10/5(日) Mozilla Open Web Day in Tokyo | Mozilla Japan でのMEAN解説展示で、様
Mongorilla: Object Document Mapper for MongoDB - aticoにようこそ
Mongorillaについて Mongoidの弱点を克服するために作成したObject Document Mapper. 名前の由来は、Mongoと娘の好きな動物のgorillaを掛けあわせた。 インストール ソース github 長所 今のところ、わずか300行ちょっとの小ささ。 シングルサーバ、Master/Slave、ReplicaSetに対応。 単純な処理はMongoidと変わらず、複雑な処理も対応。 クエリ発行時に接続失敗しても、指定回数リトライできる。 findクエリに対してMasterとSlaveのどちらを参照するか指定できる。 短所 リレーション関連は自分で管理する必要がある。 各フィールドの型も自分で整合性を保証する必要がある。 sample require 'mongorilla' # クラス名をunderscore化+複数形にしたcollectionが作成される cl
MongoDB 2.4 の性能 徹底評価（Memory vs DISK） - 中年engineerの独り言 - crumbjp
大体欲しいデータは揃ったのと、MongoDBの気持ちが解ってきたのでMongoDB2.4の性能調査は今回で最後の予定 実は前回MongoDB 2.4 の性能 徹底評価（レコード長による評価）のFETCHバイト数（1.5GB） 実は今回のOn-memoryデータ vs DISKリードに繋げる事を意図した大きさだった。 システムの2GBメモリに収まるだろう。と・・・ しかし、、測れど測れど、意図した通りの結果にならない・・・ それで気付いた。 インデックスの大きさを勘違いしていたのだ。 MongoDBのインデックスは単なるコレクションでは無いようだ！ 1億件の数値型インデックスは2.3GBにもなる。 という訳で、1億件のコレクションのインデックスはそもそもメモリーに入らない。。 １ドキュメント辺り25〜26byte インデックス数値型８バイト＋ドキュメントへのポインタ８バイト＋メタ情報？ _i
MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。
MongoDB 2.4 の性能 徹底評価（レコード長による評価） - 中年engineerの独り言 - crumbjp
前回のMongoDB 2.4 の性能 徹底評価の反響が大きかったので続編。 今回の調査対象 ドキュメントサイズ毎の性能を評価する。 今回の検証用にベンチを書いた。 性能見積りにも使えると思うので、紹介しておきます。 MongoDB-JP/mongo_bench 今回の検証も、Sakura VPS 2G で行った。 専用環境ではないので、ある程度まわりの影響を受けている。（何度もベンチを取って極力排除はしたが、、） また、記事に載せた以外にも色々と検証しており、その結果も少し混ざっていたり。。 オンメモリデータの処理が高速な事は解っているので 今回の検証の肝は『ディスクアクセス』 MongoDBはメモリ以上のデータを扱う為のプロダクトなのでなるべく性能が出ない様な条件＝ワーストケースを狙った。 2GBメモリに対して40GBのデータを扱い、データ全体を万遍なく使うようなクエリーを発行する。 評
MongoDB tech behind our time series graphs - 30TB per month
The tech behind our time series graphs – 2bn docs per day, 30TB per month By David Mytton, CEO & Founder of Server Density. Published on the 14th March, 2014. This post was also published on the MongoDB Blog. Server Density processes over 30TB/month of incoming data points from the servers and web checks we monitor for our customers, ranging from simple Linux system load average to website respons
Symfoware
PHPからMongoDB 2.0.6 に接続する(PHP MongoDB Driver) PHPからMongoDBに接続してみます。 Webサーバーの構築はこちらの手順。 Debian 7 + nginx + php-fpmな環境を構築する MongoDBのインストールはこちらの手順で構築した環境を使用します。 Debian 7にMongoDB 2.0.6 をapt-getでインストールする 接続ドライバーのインストール PHP MongoDB Driverを使用することにしました。 PHP MongoDB Driver 必要なモジュールをapt-getでインストールします。 # pecl install mongo downloading mongo-1.5.4.tgz ... Starting to download mongo-1.5.4.tgz (191,364 bytes) ..
MongoDBのHttp Interface
MongoDBには、Http Interfaceが付属しているようです。 CouchDBと違って、データの更新等は行えないようですが、 ・サーバーのステータス ・登録されているデータの参照 これらが行えるようですので、デバッグに使えると思います。 Http InterfaceのURL URLは、 http://[サーバーIP]:28017/ となります。 ブラウザでアクセスするとこんな感じの画面が表示されます。 コレクションの内容表示 http://[サーバーIP]:28017/[データベース名]/[コレクション名]/ にアクセスすると、該当コレクションに登録されてるデータが表示されます。 ※最後のスラッシュは必須です。 試しにhttp://[サーバーIP]:28017/test/foo/にアクセスすると、こんな感じで 登録されているデータが表示されました。 表示するデータの上限指定 デー
Mongodbでドキュメントの作成日時を取得する方法
RDBだとレコード作成タイミングを記録するために1つカラムを設ける。 create table users ( id integer autoincrement primary key, name text, created timestamp ); 同じようにMongodbでもcreated相当のフィールドを設けてたんだけど、 ObjectIdの上位４バイトはtimestampであることを発見。 こりゃ便利。 pymongoでタイムスタンプを取り出すのはこんな感じ。 profile = db.Users.find_one({'id': request.user.id }) logger.info(profile['_id'].generation_time)
MongoDB GUIツール 「JMongo」 - moremagic’s diary
MongoDB 用のGUIツールを作ってみました。 https://github.com/moremagic/JMongo Java Swing で作られており、環境を選ばずに起動できます。（Windows/Mac/Linux） BSONオブジェクトをTree表示し編集、追加、削除に対応します。 また、GridFSへのファイルの追加削除が容易に可能です。 ■ダウンロード https://docs.google.com/open?id=0B7Y1mRlEYX8tRm5kQm1mRU01ODg ■起動方法 JREがインストールされていればJarファイルをダブルクリックするだけで実行可能です もし動かない場合は .jar に javaw.exe を関連付けてください。 ■スクリーンショット 起動直後 接続先設定 コレクション表示、編集 GridFS表示、編集 ぜひ使ってみてください。 感想お待ち
oplog tailingを使ったリアクティブウェブ - Qiita
リアクティブウェブはウェブアプリケーション開発者の桃源郷だ、と考えるのは僕だけではないと思う．参考: Trigger と Stream ベースの Reactive スタイルについて考える Meteor 0.7.1: oplog support for complex queries, Meteor developer accounts リリースされた0.7.1で、実践環境のMongoDBでよく使われるクエリのほとんどをoplog driverが対応した． The 0.7.1 release extends the set of MongoDB queries supported by the oplog driver to cover most of the common queries needed in production apps. 以前のMeteorでは、複雑なクエリに関してはポ
MongoDB Oplog入門
19. myset:PRIMARY> db.mycoll.insert({x:1}) myset:PRIMARY> db.mycoll.update({x:1}, {$set : {y:1}}) myset:PRIMARY> db.mycoll.update({x:2}, {$set : {y:1}}, true) myset:PRIMARY> db.mycoll.remove({x:1}) myset:PRIMARY> db.mycoll.find() { "_id" : ObjectId("4def8e5fb07da951204c60e0"), "x" : 1, "y" : 1 } { "_id" : ObjectId("4def8e5fd60f868d9ea77776"), "x" : 2, "y" : 1 } 20. myset:PRIMARY> use local myset:P
Rails で MongoDB を使ってみた
Ubuntu Karmic (9.10) で MongoDB + mongoid を使って簡単な Rails アプリケーションを作ってみました。 MongoDB とは、最近注目を集めつつあるドキュメント指向データベースの一種。mongoid は MongoDB にアクセスするための RubyGems。 参考資料: http://www.mongodb.org/display/DOCS/Ubuntu+and+Debian+packages http://mongoid.org/docs/installation 次の行を /etc/apt/sources.list の末尾に追加 deb http://downloads.mongodb.org/distros/ubuntu 9.10 10gen aptitude で MongoDB をインストール。 % sudo aptitude updat
)
MongoDB で drop index (Ruby) - おさかな日誌
ユニーク index を削除しようと思ってメモ. 一応公式ドキュメントにもいろいろのってるけど, 名前で消せるというのを読み取るのに少し時間かかったのでメモ with Ruby ドライバー client = Mongo::MongoClient.new collection = client.db("your_db").collection("your_collection") # インデックスを追加 collection.ensure_index({"foo_id" => 1}, {"unique" => true, "dropDups" => true}) # インデックス確認 collection.index_information # ここに実体があるみたい client.db("your_db").collection("system.indexes") # インデックス削除 #
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mongoidノート - validates_uniqueness_of で :case_sensitive => false を指定すると…… - Alone Like a Rhinoceros Horn
MongoDBの監視
MongoDB+Ruby on Rails4アプリ作成 - Qiita
Mongo DBとCouch DBの比較 - Docs-Japanese - MongoDB Wiki