fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
Mongoose ODM v8.5.2
Let's face it, writing MongoDB validation, casting and business logic boilerplate is a drag. That's why we wrote Mongoose. const mongoose = require('mongoose'); mongoose.connect('mongodb://127.0.0.1:27017/test'); const Cat = mongoose.model('Cat', { name: String }); const kitty = new Cat({ name: 'Zildjian' }); kitty.save().then(() => console.log('meow')); Mongoose provides a straight-forward, schem
第21回 MongoDB最前線！実戦投入の光と影と開発ノウハウ | gihyo.jp
データストアの新たなカタチとしてNoSQLがブームになっていますが、その中で異彩を放っているのがドキュメント指向データベースである「MongoDB」です。サイバーエージェントでは、このMongoDBを比較的早い段階から実サービスで活用しています。そこで今回はMongoDBの使いどころや利用時の注意点について、サイバーエージェントの3人の技術者にお話を伺いました。 分散処理のしくみを最初から備えるMongoDB リレーショナルデータベース（以下RDB）ほど煩雑ではなく、分散KVS（Key-Value Store）ほどシンプル過ぎない第三のデータストアの1つとして、ドキュメント指向型データベースである「MongoDB」が挙げられます。GNU AGPLv3を採用したオープンソースソフトウェアであり、パフォーマンスが高くスケーラビリティにも優れているという特徴があります。また、JSON（JavaS
「MongoDBのはじめての運用テキスト」を書いてみた - 256bitの殺人メニュー
MongoDB使いましょって時に、やれ、レプリカセットだの、シャーディングだの、いちいち手順とか教えていくのがめんどくさくなったので、これを見たらコマンド的な手順はひと通りいけますよ。だから後は自分で調べてね、っていう資料をつくってみたのだ。 というわけで、「MongoDBのはじめての運用テキスト」SlideShareにあげました。 MongoDBのはじめての運用テキスト from Akihiro Kuwano 内容 PDFには、以下の様な内容を盛り込んでいます。 インストール レプリカセット構築 シャーディング設定 基本的なオペレーション Stat系ツールの見方。 ただし、徐々に古い情報にはなってくると思うので、詳しい情報や、最新の情報を見たい方には公式のWikiなり、ソースなり見ていただくのを推奨いたしますｗ 意図 以前MongoDBの薄い本などもあって、あれはすごくわかりやすい入門テ
データベースプロファイラ - Docs-Japanese - 10gen Confluence
based on v18 Mongoには、データベース操作のパフォーマンスを分析するためのプロファイリングツールが含まれています。 currentOp コマンドも参照ください。 プロファイリングの有効化 プロファイリングを有効にするには、 mongo シェルから以下のコマンドを実行してください。 > db.setProfilingLevel(2); {"was" : 0 , "ok" : 1} > db.getProfilingLevel() 2 Profiling level は 0 - off 1 - log slow operations (>100ms) 2 - log all operations 1.3.0 では、 --profile=1 をコマンドラインで指定することでも有効化できます。 見る プロファイリングされたデータはデータベースの system.profile コレ
QA＠IT サービス終了のお知らせ - ＠IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
MongoDBのアレをアレする
1. MongoDBのアレをアレする 株式会社サイバーエージェント アメーバ事業本部ピグディヴィジョン 桑野 章弘 12年7月8日日曜日 2. アジェンダ MongoDBCasual もんごたんについておさらい 運用時にあったこと集 障害時何見る？ まとめ 12年7月8日日曜日 3. 自己紹介 桑野章弘 サイバーエージェント Ameba を運営しています。 ピグライフの運用／構築を担当 Twitter @kuwa_tw Blog http://d.hatena.ne.jp/akuwano/ 著書／活動 「MySQLによるタフなサイトの作り方」 12年7月8日日曜日
Import Export Tools - Docs-Japanese - 10gen Confluence
このツールは格納データ（これはuser、system双方のcollection内のドキュメントを指します）に対して操作を行うものであり、セーブ・ロードしていないデータや(capped)collection情報を保持しているメタデータに対して行われるものではありません（その意味で上記のデータベースの複製と異なります）。それらが必要ならば、このツールでデータをインポートする前のステップとして再構築しておく必要があります。これらの再構築もこのツールの操作として含ませたいと望む方は、SERVER-808に投票(vote)して下さい。 mongoimport このユーティリティは1行がJSON/CSV/TSV形式の文字列からなる1つのファイルを読み込み、それらのデータをMongoDBの指定したdatabase,collectionへinsertを行います。ですのでdatabaseとcollecti
Treasure Data Blog • Real-Time Log Collection with Fluentd and MongoDB
Tweet About This post shows how to use Fluentd-MongoDB plugin to aggregate semi-structured logs in real-time. Background Fluentd is an advanced open-source log collector developed at Treasure Data, Inc (see previous post). Because Fluentd handles logs as semi-structured data streams, the ideal database should have strong support for semi-structured data. There are several databases that meet this
第3回 MongoDB勉強会 ダイジェスト
「第3回 MongoDB 勉強会 in Tokyo」 : ATND 先週土曜日（2011年5月14日）にフューチャーアーキテクトさんのセミナールームにて行われたMongoDBの勉強会に行ってきました。 MongoDBの仕様・機能などの体系的な話からチューニングの話、開発に利用する話、プロダクションとして運用している話と、バランスよくまとまっていてとても勉強になりました。 RDBとの違いや特有の挙動をきちんと把握して利用すれば、十分プロダクションで利用出来るというビジョンが見えました。 詳細は各発表者の方のスライドを見るとわかると思いますが、当日会場でメモしたものでダイジェスト的にまとめました。 MongoDB勉強会は毎月開催（予定）しているそうなので、興味を持たれた方は是非参加して見てください。 MongoDBコミュニティー：MongoDB JP | Google グループ 【発表1】Mo
MongoDB Ruby Driver Tutorial
MongoDB Ruby Driver Tutorial This tutorial gives many common examples of using MongoDB with the Ruby driver. If you're looking for information on data modeling, see MongoDB Data Modeling and Rails. Links to the various object mappers are listed on our object mappers page. Interested in GridFS? See GridFS in Ruby. As always, the latest source for the Ruby driver can be found on github. Installation
Home - Docs-Japanese - 10gen Confluence
日本語翻訳に関して まだ全然終わってないので、リンク先によって英語だったり日本語だったりします。右のNavigation Spaceでは翻訳されたドキュメントだけが表示されています。翻訳については、 こちら を参照ください。 ドキュメントデータベース、key-value store、RDBMS、最高の機能の組み合わせ MongoDBは("humongous"より)は、スケーラブル、ハイパフォーマンス、オープンソース、スキーマフリー、ドキュメント指向です。C++で書かれていて、機能としては: ドキュメント指向ストレージ (the simplicity and power of JSON-like data schemas) 動的な クエリー 組み込みのオブジェクトと配列をサポートした完全な Index のサポート。 クエリー プロファイリング 速い in-place アップデート バイナリデ
スキーマデザイン - Docs-Japanese - 10gen Confluence
導入 Mongoでは、リレーショナルデータベースのデザインでするような"正規化"はそれほど必要ありません。サーバサイドでの"join"がないからです。一般的には、1つの最上位のオブジェクトレベルに対して、1つのデータベースコレクションを作ることになるでしょう。 すべての"class"について、コレクションを作ることはあまりしません。代わりにembedオブジェクトを使います。例えば、下記の図では、studentsとcoursesの2つのコレクションがあります。studentドキュメントは、courseコレクションを参照する"address"ドキュメントをembedします。 scoreを他のテーブルに入れ、外部キーとしてstudentテーブルにリレーションを持つことになるであろうリレーショナルなスキーマと対比してみてください。 Embed (組み込み) vs. Reference (参照) M
インデックス - Docs-Japanese - 10gen Confluence
based on v49 インデックスはクエリーのパフォーマンスを(とても)向上させます。有効なインデックスを定義するためには、アプリケーションが必要とするクエリについてよく知ることが大切です。それさえできていれば、MongoDBでインデックスを作成するのは簡単です。 MongoDBのインデックスは、MySQLのようなRDBMSのインデックスと概念的に似ています。MySQLでインデックスを付けたいような場所に、MongoDBでもインデックスを付けることになるでしょう。 基本 インデックスは、コレクションの中のドキュメントの特定のフィールドの値について集めたデータ構造です。このデータ構造はMongoのクエリオプティマイザによって、コレクション内のドキュメントを、素早く検索したりソートするために使われます。正式な言い方で言うと、インデックスは"B-Tree"で実装されています。 シェル 上で、
〜うまく動かすMongoDB〜仕組みや挙動を理解する - doryokujin's blog
@doryokujinです。この業界で非常に強い影響力を持つ@kuwa_tw氏が某勉強会でMongoDBについてdisられており、このままではMongoDB自身の存続が危ういと思い、急遽ブログ書きました。（冗談ですよ） ザ・ドキュメント〜うまくいかないNoSQL〜 View more presentations from Akihiro Kuwano MongoDBを使っているときに出会うトラブルをうまくまとめてくださった「MongoDBあるある」的な良い資料だと思います。今日はここで書かれているトラブルの解決方法を提示したいと思います。恐らく@kuwa_tw氏は全ての解決方法を知っていながら、同じトラブルへ悩む人のためにあえてdisったのだと思います。 MongoDB はデータベースもコレクションも存在しなければ自動作成してくれる mongoシェルを起動する場合、たいていは $ mong
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シェル リファレンス - Docs-Japanese - 10gen Confluence
The most popular database for modern apps | MongoDB
MongoDB: The Developer Data Platform
GitHub - alexreisner/geocoder: Complete Ruby geocoding solution.
http://dl.dropbox.com/u/224433/kamakura_pm_2/index.html