[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
月間10億pvを支えるmongo db
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Dropbox: MongoDBの書き込みロックへの対応 - ワザノバ | wazanova
Dropboxのエンジニアブログ。Mailboxは、Dropboxが３月に買収したサービスです。（ちなみにMailboxを初めて使ってみましたが、便利ですね。） MongoDBのデータベースレベルの書き込みロックが起因するユーザが気づくレベルの遅延に対処するために、最も頻繁に更新されるMongoDBコレクション（email関連データ）を独自のクラスタにシャーディングする過程で、データをコピーして確認する仕組みをgeventとpymongoを利用して試行錯誤し解決した経緯を紹介してます。 一連のPythonのスクリプトはオープンソースで提供されてます。 論理データベースレベルのロックが起きるのであれば、そもそもMongoDBを使わなければいいんじゃないのというSQL派の意見もでてます。 No SQL派「MongoDBは古くさいSQJよりとにかく早くて簡単。」 SQL派「データが正確に書き込ま
MongoDBとブラウザだけで旅の記録をつけてみるか その1 - Qiita
MongoDBしか信じない。百歩譲ってJavaScriptは許そう。 そんなあなたにこの記事を。 MongoDB Advent Calendar 2013 第1日目の投稿です。 このテーマにいたる思考プロセス 人手不足なMongoDB Advent Calendarを埋めるためにも連載ものっぽくアプリを作っていくか。 そういえば、あまり知られてなさそうなMongoDBのREST API機能を使ってみようかな。こんな時くらいしか使い道ないし。 旅してる途中だし、MongoDBのGeo Index機能を使ってみる。こちらはけっこう使われている模様。 Backbone.jsを使いたかった。 TODOアプリはいっぱいあるから位置情報使ってみる。 こんなアプリ作る 旅を振り返って一人でニヤニヤするのが目的。 ブラウザでアクセスしたら位置情報とって記録するやつ。なんかHTML5になってGeolocat
MongoDBを半年運用してみた（のフォロー） - matsukaz's blog
某社との合同勉強会のLTで発表したMongoDBを半年運用してみたが、えらいはてブされててびっくり。。。あのままだとMongoDBは絶対使わないって結論になっちゃいそうなので、自分をフォローする形でエントリを書きたいと思います。 資料はこちら。 Mongo DBを半年運用してみた View more presentations from Masakazu Matsushita コネクションエラー多発 これは、7月にmongosの場所がmongodからSocketサーバ／Webサーバ／管理サーバに移動した件と関係しています。 まず、Socketサーバ／Webサーバ／管理サーバともにJavaで実装されているので、MongoDBへの接続はJavaの公式ドライバーを利用しています。当初のドライバーの利用方法は、 // Shard1, Shard2, Shard3のPRIMARYと同居してるmong
fluentdで複数のnginxサーバログを収集しmongoDBに格納する | Basicinc Enjoy Hacking!
一つのサービスで、負荷分散のために複数のWebサーバ（nginx）を運用している場合、アクセスログなどがバラバラに散らばっていて、ログからなにか調べようと思ったり、統計をとったりするのが面倒だったりします。 そこで、ここ最近はやっているfluentdを導入してみました。うわさ通り簡単。 イメージはこんな感じ。 fluentdのインストール ログを送信する側と、受信する側、両方にfluentdが入っている必要があります。 今回はAWSのディストリだったので、yum経由でインストール。公式サイトに記載されている下記コマンド一発で完了です。他にもapt-get / gem / brewでも簡単に入れられます。 curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh Installing Fluentd Using r
Scaling MongoDB at Mailbox
Mailbox has grown unbelievably quickly. During that growth, one performance issue that impacted us was MongoDB’s database-level write lock. The amount of time Mailbox’s backends were waiting for the write lock was resulting in user-perceived latency. While MongoDB allows you to add shards to a MongoDB cluster easily, we wanted to spare ourselves potential long-term pain by moving one of the most f
MongoDBフロントエンド·MongoHub MOONGIFT
MongoHubはWindows/Mac OSX用のフリーウェア（ソースコードは公開されている）。去年、今年くらいから注目を集めているのがNoSQLシステムだ。KVSのような構成で、スケーラブルで高速に動作するのが特徴となっている。ビジネス分野ではまだ難しいが、テスト的に導入されることも増えているようだ。 そんなNoSQLの一つとして知られるのがMongoDBだ。通常、ターミナル操作で完結するが、今後発展していく中ではGUIの管理画面が欲しくなることは間違いない。その時に使ってみたいのがMac OSX用のフロントエンド、MongoHubだ。 MongoHubにMongoDBは含まれていないので別途立ち上げておく必要がある。その後MongoHubを立ち上げて接続する。接続が完了するとデータベースが一覧で表示されるので、そこから選択するとさらにコレクションが一覧になって表示される。 データを一
後悔しないもんごもんごの使い方 〜サーバ編〜
12. データ構造 { "_id" : "45feae009015221f", "45feae009015221f" : { "name" : "あきひろ", "job" : { "level" : 15, "exp" : 24 } } } 13年8月1日木曜日 13. データ構造{ "_id" : "45feae009015221f", "45feae009015221f" : { "name" : "あきひろ", "job" : { "level" : 15, "exp" : 24 }, "subjob" : { "level" : 1, "exp" : 1 } } } 13年8月1日木曜日
MongoDBのWeb管理ツール「mViewer」
> db.users.find(); { "_id" : ObjectId("506b958fb9e8c7cfc57cce86"), "firstname" : "aaa", "lastname" : "xxx", "age" : 20 } { "_id" : ObjectId("506b959fb9e8c7cfc57cce87"), "firstname" : "bbb", "lastname" : "yyy", "age" : 30 } { "_id" : ObjectId("506b95a7b9e8c7cfc57cce88"), "firstname" : "ccc", "lastname" : "zzz", "age" : 40 } >>BOXNC > db.users.find().forEach(printjson); { “_id” : ObjectId(“506b958fb
Expressでログイン機能を作る - uchida75cmの日記
MacOSX上で、nvmを使ってインストールしたnode.js v0.4.9の環境です。 まず細かい設定はせずに、ざっくりとた例です。Expressのセッションサポートについてはこちらに記載されています。そのまま設定するとこんな感じ。 app.use(express.cookieParser()); app.use(express.session({ secret: "keyboard cat" })); 上記の設定をすると、req.sessionという値が利用できるようになります。ルーティングの例。 app.get('/', function(req, res){ if (req.session.flg) { res.render('index'); } }); アクセスしただけでセッションidは発行されますが、セッションを張っただけでは、req.session.flgという値は無いので
MongoDB & Python
NoSQLデータベースMongoDBをPythonと組み合わせて使う方法を概説した書籍です。Python 2.7とpymongoを利用してMongoDBのさまざまな機能にアクセスします。MongoDBへの接続、データの読み書き、削除といった基本的なものから、サブドキュメントの利用、位置情報の操作、アップサートなどMongoDBに特化した機能までを紹介します。またPylons、Pyramid、DjangoとMongoDBを組み合わせて利用するための基本的な情報も掲載しています。なお本書はEbook版のみの販売となります。 まえがき 1章 使ってみる はじめに 参照ドキュメントのありか MongoDBのインストール MongoDBの実行 MongoDBを使うためのPython環境の設定 2章 Pythonを使ったMongoDBの読み書き MongoDBとPythonを接続する データベースハン
Goodbye global lock - MongoDB 2.0 vs 2.2 - Server Density Blog
By David Mytton, CEO & Founder of Server Density. Published on the 23rd May, 2012. Perhaps the most oft-cited problem with MongoDB is the infamous global lock. In general terms, this means that the entire server is locked when you perform a write operation. This sounds bad but is actually blown out of proportion compared to the real world in production impact. It has been improved over the version
mod_request_dumperでApacheのrequest_recをMongoDBに入れてみた
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 昨日、思いつきで作ったmod_request_dumperですが、使い道を探るべく、Apache内部のrequest_rec構造体のデータをMongoDBに入れてみようと思いました。 MongoDBへの突っ込み方は簡単 まずは、mod_request_dumperに関してですが、一昨日に実装していた時は任意のファイルにしかrequest_recのデータを書き出せなかったのですが、昨日CustomLogのようにパイプで渡せるように実装を追加しました。その結果、ファイルに書きだしたファイルを新たに取り出さなくても、直接パイプでデータをリアルタイムで連携できるようになりました。 そこで早速、JSONならではの使い道として、MongoDBにデータを突
Goodbye MongoDB - Andreas Jung
Over the last two or three years we have been using MongoDB in some mid-size projects. Now it is time to say goodbye to MongoDB for a variety of technical reasons: the currently memory model of MongoDB based on memory-mapped files is brain-dead. Leaving memory management to the operating is a nice idea - in reality it does not scale and does not play very well. There is no single way to control t
PyMongo 3.9.0 Documentation — PyMongo 3.9.0 documentation
Overview¶ PyMongo is a Python distribution containing tools for working with MongoDB, and is the recommended way to work with MongoDB from Python. This documentation attempts to explain everything you need to know to use PyMongo. Installing / Upgrading Instructions on how to get the distribution. Tutorial Start here for a quick overview. Examples Examples of how to perform specific tasks. Using Py
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDBをRubyから使う
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例
【旧版】MongoDB入門 (全16回) - プログラミングならドットインストール
IDEA * IDEA
MongoDB: The Developer Data Platform
