多段fluentd + mongodb のハマリ所 - stanaka's blog
fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって
fluentdでfluent-plugin-mongo使おうとしたらちょっとはまった - (ヽ´ω`)
rubyなれてる人ならはまらないんだろうけど、fluentdでfluent-plugin-mongoを入れてつかおうかなぁと思って gem intall fluent-plugin-mongo して、fluentdを再起動したら下記のように言われるわけです。 **Notice: C extension not loaded. This is required for optimum MongoDB Ruby driver performance. You can install the extension as follows: gem install bson_ext If you continue to receive this message after installing, make sure that the bson_ext gem is in your load path
Import Export Tools - Docs-Japanese - 10gen Confluence
このツールは格納データ（これはuser、system双方のcollection内のドキュメントを指します）に対して操作を行うものであり、セーブ・ロードしていないデータや(capped)collection情報を保持しているメタデータに対して行われるものではありません（その意味で上記のデータベースの複製と異なります）。それらが必要ならば、このツールでデータをインポートする前のステップとして再構築しておく必要があります。これらの再構築もこのツールの操作として含ませたいと望む方は、SERVER-808に投票(vote)して下さい。 mongoimport このユーティリティは1行がJSON/CSV/TSV形式の文字列からなる1つのファイルを読み込み、それらのデータをMongoDBの指定したdatabase,collectionへinsertを行います。ですのでdatabaseとcollecti
Mongo DBを半年運用してみた
MongoDB is a document-oriented database that stores data in flexible, JSON-like documents. It supports features like replication, auto-sharding, and indexing. The document discusses using MongoDB with Ameba Pico's photo tagging service, including initial implementation with one shard, expanding to multiple shards as user numbers grow over time, and repairing and upgrading shards over time to suppo
CentOS5.5にMongoDBをインストールしてみる - 今日も適当ダイアリー
この記事で説明している yum リポジトリはすでに使えなくなっています。 下記記事で、改めて説明を行っていますので、そちらも併せてご覧いただければと思います。 http://blog.madapaja.net/2011/09/20-mongodb-1-mongodbjp.html ドキュメント指向データベースのMongoDBが面白そうだから、インストールしてみます。 yum リポジトリの追加 楽をするために、yum経由でインストールしたいよね！ ってことで、リポジトリを追加します。 $ sudo vi /etc/yum.repos.d/CentOS-Base.repo下記を追記。 [10gen] name=10gen Repository baseurl=http://downloads.mongodb.org/distros/centos/5.4/os/$basearch/ gpgche
Rails, mongoid, RSpec: 全コレクションの消去 - tkrdの日記 (rails や ubuntu のことなど)
mongoid で MongoDB を利用した Rails アプリケーションを作っているのだが、RSpec のバージョンを 2.0.0.beta.19 に上げたら、specs 実行時に次のようなエラーが出て止まる現象に遭遇。 /usr/lib/ruby/gems/1.8/gems/activesupport-3.0.0.rc /lib/active_support/whiny_nil.rb:48:in `method_missing': undefined method `set_exception' for nil:NilClass (NoMethodError) 調べると、Rspec.configure を使って定義した before(:each) エグザンプル等の中で例外が発生すると、うまく補足できなくて、こんなエラーになるようだ。 そこで、即席の例外処理を書いて何が起きているかを調
CouchDBとMongoDBを比較してみた - Masatomo Nakano Blog
ドキュメント指向なKVSってことと、字面が似ていると言うことぐらいしか比較する意味がなさそうなCouchDBとMongoDBだけど、ここ2，3ヶ月で両方をそれなりに突っ込んで見てきたので比較してみた。実装面やパフォーマンス、ということよりはどちらかというと(私が感じる)思想的なものや、ユーザ側からの視点での比較。 共通するところ これはもう簡単に、 ドキュメント指向データベース - RDBMSのようなカラムと言ったものを持たずにスキーマレスで好きな情報を入れられる Javascript/JSONを使用 - データ自体もJSONというJavascript由来のフォーマットで持ち(MongoDBはJSONを元にしたBSONというものだが)、データベースのアクセスにはJavascriptを使用する スケールアウトするように考えられている NoSQLな流行 CouchDBの特徴 機能を限定している
Heroku + MongoHQ が素晴らしい - Masatomo Nakano Blog
前から気になっていた Heroku + MongoHQ を試してみた。HerokuはRubyアプリケーションを走らせるホスティングサービスで、MongoHQはMongoDBのホスティングサービスだ。この二つを組み合わせることで、MongoDBを使ったRubyアプリケーションを一瞬で運用開始することができる。 あまりにも簡単に使えてあまり書くこともないんだけどメモ。 まず、両方とも最低限の環境は無料で使用できる(ただしHerokuからMongoHQを使うためにはクレジットカードの登録は必要っぽい)。 今回は Ruby on Rails 3 + Mongoid で作ったアプリを置いてみた。 手順 1. まず、普通に RoR + Mongoid のアプリケーションを作る 2. Herokuにアカウントを作りアプリケーションを登録する (http://docs.heroku.com/quickst
2010-08-09
@babie: もう一眠りしますかね。おやすみなさい。 2010-08-10 05:20:14 via Seesmic @babie: 本当に残念だった。子どもがかわいそうｗ QT @karasu_btb: テイルモンって調べたら残念な結果が返ってきた 2010-08-10 05:04:13 via Seesmic @babie: 成歩堂、余技じゃねーの 2010-08-10 04:00:01 via Seesmic @babie: ふぅ・・・ 2010-08-10 03:49:41 via Seesmic @babie: そろそろ髪切らないとうっとおしくなってきたんざ。 2010-08-10 03:29:15 via Seesmic @babie: ちょっと寝てた。夢のなかで、妹を孕ませた最低野郎になってた。 2010-08-10 02:33:15 via Seesmic @babie:
Mac OS X で MongoDB を動かす - babie, you're my home
MongoDB は、いわゆる NoSQL データベースの一つです。 公式サイトの文言をそのまま信じるなら、 ドキュメント指向ストレージで インデックスをサポートしていて レプリケーションができて高可用性に富んでいて 自動データ分割してくれて 多彩な検索クエリが使えて 更新がアトミックで速くて Map/Reduce も使えたりしちゃったりして GridFS っていう何でもつっこめるファイルシステムを使っていて 商用サポートもある といった特徴を持つプロダクトです。 私は、自動分散と、単純なKVSにはない豊富な検索クエリに惹かれて、使ってみようかと思いました。インデックスがあるのもいいですね！ というか、MongoHQ ですよ！ Amazon EC2 のサーバーとつなげられるらしい、自動スケールアウト管理不要サービスです。最初無料からスタートして安いんですよねー。これが決め手です。 では、イン
Rails で MongoDB を使ってみた
Ubuntu Karmic (9.10) で MongoDB + mongoid を使って簡単な Rails アプリケーションを作ってみました。 MongoDB とは、最近注目を集めつつあるドキュメント指向データベースの一種。mongoid は MongoDB にアクセスするための RubyGems。 参考資料: http://www.mongodb.org/display/DOCS/Ubuntu+and+Debian+packages http://mongoid.org/docs/installation 次の行を /etc/apt/sources.list の末尾に追加 deb http://downloads.mongodb.org/distros/ubuntu 9.10 10gen aptitude で MongoDB をインストール。 % sudo aptitude updat
なぜMongoDBなのか - Masatomo Nakano Blog
ここを見てもらってる人に、「MongoDBって何がいいの？」と改めて聞かれてしまって、ああ、そっか、そういうこと書いてなかったな、と思ったので、なぜ自分がMongoDBに興味を持っているのか、ということを書いてみた。いざ自分の思いを書いてみたらRails中心の話になってしまったけど、モダンなフレームワークならそんなに話は変わらないのかな、と思っている。 そもそものきっかけは、ここ半年間くらいRuby on Rails(以下RoR)で開発していることにある。 ここ半年弱ほどRoRで開発をして、それなりに満足しているのだけど、ActiveRecordに関しては色々とひっかかるところがあった。 「ActiveRecordがRoRの素晴らしいところそのものだ」と評価している人もいるが、自分の中では逆で、ActiveRecordはRoRの中でもかなりいまいちな部分。 いや、ActiveRecordと
ハンズオンで分かる MongoDB チュートリアル - babie, you're my home
前回（と言ってももう２ヶ月前か……1.5.8まででちゃってますね。（追記：丁度今日、1.6.0 安定版がリリースされました！）例によってビルドはクソ長いので注意して下さい）、「Mac OS X で MongoDB を動かす」で、Mac OS X での MongoDB インストール、起動、停止、デーモン化をしました。 今回は、付属のシェルで簡単なCRUD操作をしてみたいと思います。なので、OSやプログラミング言語は関係ありません。素の MongoDB を学ぶ目的で作成しました。SQL 知らないと ORM が満足に使えないように、今回の CRUD 操作を知っておけば、各言語用の ORM で悩むことが少なくなると思います。 なお、今回もいちいちイラッ☆とくる語りが入ります。 復習しておきましょうか、MongoDB っていうのは、 ドキュメント指向ストレージで インデックスをサポートしていて レプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
select sum group by in mongoid
Saving binary data
The most popular database for modern apps | MongoDB
mongoid , will_paginate , sorting doesnt work with Mongoid criteria DSL
Macports でインストールした MongoDB の自動起動