MongoDBのShardingを試してみた。その１ - matsuou1の日記
MongoDB勉強会で発表を聞いてきたので、早速Shardingの機能を試してみます。 環境構成 まずは、以下の構成をします。 本当は複数台のサーバを使用したいのですが、手元に自由に扱えるサーバがさくらVPSしかないため 1台に複数のmongodを立て、mongosとconfigも同居させています。 mongodbのバージョンは、1.8.0を使用しています。 shardサーバ起動 mongodをポート別に3つ起動します。 [matsuou1@testsvr mongodb]$ ./bin/mongod --shardsvr --port 10001 --dbpath /tmp/mongodb/shard1 --logpath /tmp/mongodb/log/shard1.log & [1] 14269 [matsuou1@testsvr mongodb]$ ./bin/mongod --
Scheme design in MongoDB. - 中年engineerの独り言 - crumbjp
非常に参考になるMongoDBのノウハウ集を和訳（＆少々所感）しました。 内容はデータベースの基本に忠実です。 データサイズを圧縮し、レコードの移動を防ぎ、効率の良いクエリーを発行しろという事です。 突飛な手法では無いので理解し易い。 One of things that makes MongoDB easy to get started with is you don’t have to think about schema design -- just shove data in and it’ll let you query it. That helps initial development and has benefits down the line when you want to change your document structure. That said… Mongo
Type safe mongodb with Scala #montotokyo
Type safe mongodb with Scala #montotokyo 1. Type-safe MongoDB in Scala - 静的型付け言語とMongoDBの付き合い方 -Fungoing LLC / Satoshi MiyauchiTwitter : @bibrost 2. Profile 宮内 聖 / Satoshi Miyauchi @bibrost フゔンゴーング合同会社代表 兼 株式会社監査と分析 システム開発担当 Webデザン、映像編集、Webサービスの開発など・・・いろいろ 引きこもりフリーランス生活 Scala＋Lift＋MongoDBの組み合わせを昨年11月より利用中。 自社サービス１つ、クラゕントワーク１つでScala+MongoDBを利用。 Page : 1 3. Case Example 勝間和代氏の提供する有料コンテンツ会員向けコミュニテ
LiftとMongoDBとRogueを使ってみる。（その２：Rogue設定編）
Foursquareが公開しているMongoDBクエリ用のライブラリ。型安全なScala-DSLだそうで。 ダウンロードしたファイルを解答し、「lift_basic」フォルダをどこかに展開。 project/build/LiftProject.scalaを下記の通り変更。 import sbt._ class LiftProject(info: ProjectInfo) extends DefaultWebProject(info) { val liftVersion = "2.3" // uncomment the following if you want to use the snapshot repo val scalatoolsSnapshot = ScalaToolsSnapshots // If you're using JRebel for Lift development
MongoDBのシェルの操作方法メモ - Qiita
便利ページ 公式 MongoDB Javascript API Docs mondodbのjsの仕様がわかる Read — MongoDB Manual findの基本的な使い方の例 Operator Reference — MongoDB Manual findの範囲指定などのオペレーターの例 SQL to MongoDB Mapping Chart — MongoDB Manual SQLでの操作とmongodbでの操作の対応表 高度なクエリー - Docs-Japanese - 10gen Confluence 使えるオペレーター一覧、データ型一覧、より高度な使い方など日本語ドキュメント mongo/jstests at master · mongodb/mongo · GitHub jsで書かれたmongodbのテスト用スクリプトが大量にある 参考になったページ コンソール画面での
多品種少量データとMongoDB - 檜山正幸のキマイラ飼育記 (はてなBlog)
MongoDBは、よく知られているように、ジョインもトランザクションもサポートしてません。これは確かに不便なこともありますが、欠点・弱点というよりは、最初からそのように設計されているもので、ひとつの設計判断です。パフォーマンス、スケーラビリティ、耐障害性、分散化の容易性などをより重要視した結果でしょう。 MongoDBの特徴を見ると、大規模なデータセットを高速にハンドリングするためにチューンされているように思えます。しかし、それとは違った場面で使える機能性も備えています。それは「ユニオン型を自由に扱える」ということなんですが、地味であまり言及されないし、ちょっと分かりにくいところもあります。でも、この特徴は、僕にとっては嬉しいものです。ちょっと説明してみます。 ジョインとユニオン SQLDBはジョインができます。ジョインとは、“直積”と“等式的条件による絞り込み”の組み合わせです*1。等式
MongoDBをしゃぶり尽くしたくなった - 檜山正幸のキマイラ飼育記 (はてなBlog)
いくつかの事情があります。 (その1) 関手データモデル： スピヴァックの関手データモデルには色々と刺激を受けました。スピヴァック理論を実際に使ってみたいですよね。関係データベースのほうがスピヴァック理論を適用しやすいでしょうが、僕はもともとXMLのような“文書っぽい”データが好きなので、入れ子と並びを持つデータを直接扱いたいのです。この点では、「ドキュメント指向」を標榜しているMongoDBのほうが向いているでしょう。 (その2) 現実的な要求： データの操作がボトルネックになって困っている状況が実際にあったりします。MongoDBを使ったらパフォーマンスが改善するとも限りませんが（ファイルシステムやSQLiteのほうが速い、とかありそう）、場合によってはMongoDBが解決策を与えてくれるかもしれません。 (その3) Catyのデータベースバックエンド： 「CatyのJSONストレージ
fluentd+MongoDBでApacheログ | facom222::blog
準備 MongoDBのプラグインをインストール /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-mongo Apacheのアクセスログをfluentdを使ってMongoDBに入れる まず、設定ファイルを編集 $sudo nano /etc/td-agent/td-agent.conf <source> type tail format apache path /home/facom222/logs/access.log tag mongo.apache </source> <match mongo.**> type copy <store> type file path /var/log/td-agent/access.log </store> <store> type mongo host localhost datab
fluentd+MongoDBで集めたApacheログの検索システムをRailsで試作
Apacheのアクセスログをfluentdで集めてきてMongoDBに突っ込んで、Webで検索するシステムの試作品を作ったので、作業ログを残す。 WebにはRuby on Railsを使うことにした。 Ruby on Railsのインストール手順は、本Postでは省略。 前提と仕様 今回はテスト用のため、fluentdで集めるのは同一サーバ上のApacheのアクセスログのみ。 環境はCentOS 5.5。 とりあえず、検索条件としてクライアントIPアドレスと期間を指定できるようにしてみる。検索条件の入力省略も許容する。 クライアントIPアドレスには正規表現を使えるようにする。 fluentdとMongoDBのインストール インターネットに自由に出られない環境へのインストールを見据え、yumは使わない。 MongoDBのRPMはhttp://downloads-distro.mongodb.
Node.js のログを Fluentd を使って MongoDB に集約する | DevelopersIO
最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB に保存するサンプルを作ってみます。 こんな感じ。とてもシンプルです。。 Input Output +------------------------------------------------+ | | | Node.js --------> Fluentd --------> MongoDB | | | +-------------------------------------------
クエリーの結果表示を自動更新する - Qiita
Webアプリのデバッグ時に、なにか操作する→DBの変化を確認する という作業を繰り返したことはないでしょうか。 そのたびに毎回クエリーを叩くのは面倒ですよね。 下記のようにすると、ターミナルに常に最新のクエリーの結果が表示されるようになります。
fluentdからMongoDBへ連携する際の注意点 #fluentd - 都内在住エンジニアの思考整理録
fluentdからMongoDBへ連携させる際、はまった所があったので共有しておきます。 【はまった状況】 fluentdは、out_pluginで設定した連携先につなげないときに、バッファファイルとしてローカルにためこむ機能があります。 私の場合、fluent-plugin-mongoを使って、MongoDBへ連携させていたのですが、 バッファファイルが16MBのファイルをMongoDBへ連携させるときに、 以下のエラーが生じ、MongoDBへのInsertが失敗してしまいました。 2011-11-16 16:21:20 +0900: failed to flush the buffer, retrying. error="Exceded maximum insert size of 16,000,000 bytes" 2011-11-16 16:21:20 +0900: /usr/lo
多段fluentd + mongodb のハマリ所 - stanaka's blog
fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LiftとMongoDBとRogueを使ってみる。（その１：MongoDB編）
GitHub - foursquare/rogue: MOVED - The project is still under development but this page is deprecated.
Engineering – Foursquare – Medium
GitHub - bobthecow/genghis: The single-file MongoDB admin app
単一ファイルで動作するMongoDB管理ツール「Genghis」:phpspot開発日誌
Fluentd
Fluentd