[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
月間10億pvを支えるmongo db
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Robo 3T | Free, open-source MongoDB GUI (formerly Robomongo)
3T is halting development work on Robo 3T and we are setting the code repository to read-only. Users can continue to download the application but we recommend that they download Studio 3T Free to evaluate it. Robo 3T is deeply based on the Mongo shell client. This older client has been deprecated in MongoDB 5.0 and is not expected to be maintained in the future. The new Mongosh client is a Node-ba
MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Y's note
MongoDBイン・アクション 作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yuta.Kikuchiの日記 時給3000円のCEOと揶揄されている@yutakikucです。今日は簡単にMongodbのログ集計機能を紹介します。機能が豊富過ぎて泣けてくるんで、ログ解析する人は是非使ってみて下さい。FluentdでMongodbにNginxのLogを流し込む設定は上のエントリーを参照して下さい。次回はAggregationFramework/MapReduce周りについて触れたいと思います。 泣ける話 : 集
MongoDB 2.4 の性能 徹底評価 - 中年engineerの独り言 - crumbjp
まとめ 超長くなったのでまとめを上に持ってきた。 巷で言われているチューニングは結構嘘が多い事が解ってきた。 ツール等 workingSet Analyzer は信用ならない。（overSecondsはまあ良い） mongoperfの値は完全に参考にならない。 insert mongoperfの値はinsert性能と関連しない。（何を測ってるんだ？） カラムのプリアロケーションによるUPDATE時のデータ肥大化回避($setOnInsert)はMUST。 クリティカルな時間帯にストレージファイル(2GB)の生成を避けるチューニングの効果は懐疑的。 レコードプリアロケーション・チューニングは頑張る価値が無い。(むしろ逆効果) update 上記の通り必ずin-placeになるようにする。 paddingFactorが動くようだとお話にならない性能劣化 remove かなり高速。 全件削除の場
MongoDB on AWS
MongoDB on AWS Guidelines and Best Practices Rahul Bhartia May 2015 Amazon Web Services – MongoDB on AWS May 2015 Page 2 of 30 © 2015, Amazon Web Services, Inc. or its affiliates. All rights reserved. Notices This document is provided for informational purposes only. It represents AWS’s current product offerings and practices as of the date of issue of this document, which are subject to change wi
fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
Titaniumのログをブラウザでリアルタイムに確認するライブラリ作った。 - しかじろうがプログラム作るよ！
しかだよ。 Titaniumで作ったアプリの実機ログを有線で確認するのはめんどいので、ブラウザで見れるような仕組みを作ってみました。 アプリのログをリアルタイムに送信するライブラリ(client)と、ブラウザでログをリアルタイムに受信して確認するライブラリ(server)の２つセットです。 https://github.com/shikajiro/ti.console install方法 README.mdを見てね。 使い方 これもREADME.md を見てね。一応以下で簡単に説明します。 クライアント側 requireでconsoleライブラリを利用可能にします。 app.js var console = require('lib/console'); console.info('hogehoge'); サーバー側 コンソールからmongodbとnodejsを起動します。 mongod
「Meteor」は、JavaScript/HTMLで開発するリアルタイムWebアプリケーション基盤。何が起きているのかすぐに分からないほどすごい
「Meteor」は、JavaScript/HTMLで開発するリアルタイムWebアプリケーション基盤。何が起きているのかすぐに分からないほどすごい 「Meteor」は、Webアプリケーションを開発するためのフレームワークと実行環境を提供しています。アプリケーションはすべてJavaScript、HTML、CSSで記述できるため、サーバ側でRubyやPerlやJavaなどのプログラミングをする必要はありません。 TechCrunchの記事では、JavaScript/HTML/CSSだけでWebアプリケーションが開発できる点にフォーカスが当たり話題になりましたが、公開されたデモンストレーションのスクリーンキャストを見たところ、Meteorにはそれ以上に新しい仕掛けが盛り込まれていました（スクリーンキャストはこの記事の末尾に埋め込んであります）。 それは「リアルタイムなWebアプリケーションを構築す
AKB48 の Google+ アクティビティデータを MongoDB で MapReduce してみた - tilfin's note 跡地
MapReduce について実際やってみたことがなかったので、MongoDB で試しそうと思っていました。 そんななか、AKB48 の（18歳以上？の）メンバーが Google+ を開始しました。これで「バルス」以上に定時でかつてない負荷が Google+ にかかり始めたと思われます。ということで、扱うにはもってこいなデータなのでこれを使うことにしました。 Google+ API は今のところデータのGETしかできないようですが、それで充分です。 とりあえずメンバーの Googel+ のID（？）と名前をMongoDB のコレクションに突っ込みます。 それを元に定期的に各メンバーのアクティビティ（活動のエントリ）を取得しては、 JSON をそのままほぼそのまま別のコレクションに突っ込みました。 メンバーの取得とセット AKB48 Now on Google+ のHTMLを適当にパースして突
ハンズオンで分かる MongoDB チュートリアル - babie, you're my home
前回（と言ってももう２ヶ月前か……1.5.8まででちゃってますね。（追記：丁度今日、1.6.0 安定版がリリースされました！）例によってビルドはクソ長いので注意して下さい）、「Mac OS X で MongoDB を動かす」で、Mac OS X での MongoDB インストール、起動、停止、デーモン化をしました。 今回は、付属のシェルで簡単なCRUD操作をしてみたいと思います。なので、OSやプログラミング言語は関係ありません。素の MongoDB を学ぶ目的で作成しました。SQL 知らないと ORM が満足に使えないように、今回の CRUD 操作を知っておけば、各言語用の ORM で悩むことが少なくなると思います。 なお、今回もいちいちイラッ☆とくる語りが入ります。 復習しておきましょうか、MongoDB っていうのは、 ドキュメント指向ストレージで インデックスをサポートしていて レプ
Mac OS X で MongoDB を動かす - babie, you're my home
MongoDB は、いわゆる NoSQL データベースの一つです。 公式サイトの文言をそのまま信じるなら、 ドキュメント指向ストレージで インデックスをサポートしていて レプリケーションができて高可用性に富んでいて 自動データ分割してくれて 多彩な検索クエリが使えて 更新がアトミックで速くて Map/Reduce も使えたりしちゃったりして GridFS っていう何でもつっこめるファイルシステムを使っていて 商用サポートもある といった特徴を持つプロダクトです。 私は、自動分散と、単純なKVSにはない豊富な検索クエリに惹かれて、使ってみようかと思いました。インデックスがあるのもいいですね！ というか、MongoHQ ですよ！ Amazon EC2 のサーバーとつなげられるらしい、自動スケールアウト管理不要サービスです。最初無料からスタートして安いんですよねー。これが決め手です。 では、イン
MongoDBの地理空間のインデックスを試してみる : 今日も適当ダイアリー
2010-11-20 MongoDBの地理空間のインデックスを試してみる ラベル: MongoDB, PHP ツイート MongoDB面白いですね。 ドキュメントが親切なのでありがたいのですが、なかなか日本語の記事が無かったりするので、Geospatial Indexingについて試してみた事を投稿しますよ！ マニュアル：地理空間のインデックス - Docs-Japanese - 10gen Confluence Geospatial Indexing は MongoDB ver1.3.3以上で使えます。 地理空間のインデックスとは 読んで字のごとくなのですが、MongoDBでは二次元地理空間情報（多くの場合、緯度経度情報）をインデックスとして検索をかけることが出来ます。 最近のガラケーやスマートフォンからは簡単にGPS機能を利用することもできますし、PCブラウザなどでも位置情報を
PHP環境で発生するMongoDB Request Injection攻撃
はじめに SaaS型WAF「Scutum（スキュータム）」では、最近バックエンドのDBにMongoDBの導入を進めています。私も個人的にPHPのフレームワークであるCakePHP向けにMongoDBを扱うプラグインCakePHP-MongoDB Datasourceを開発し、公開しています。 https://github.com/ichikaway/cakephp-mongodb/ 今回は、PHPからMongoDBを扱う際の注意点として、RequestInjection攻撃に関して書きたいと思います。この問題は、phpマニュアルのMongoドライバーの章でも扱われています。 この記事では、はじめにPHPでMongoを操作する方法、PHPの基本を書き、最後にInjection攻撃の仕組みと対応方法を書きます。 PHPでMongoDBを扱うには PHPでMongoDBを操作する場合、10gen
Mongo DBを半年運用してみた
MongoDB is a document-oriented database that stores data in flexible, JSON-like documents. It supports features like replication, auto-sharding, and indexing. The document discusses using MongoDB with Ameba Pico's photo tagging service, including initial implementation with one shard, expanding to multiple shards as user numbers grow over time, and repairing and upgrading shards over time to suppo
7分半で作るNode.js+MongoDBアプリ - PolyPeaceLight
先日のJJUG SpringのLTをしてきた「7分半で作るNode.js+MongoDBアプリ」の動画を撮り直しました。 本番ではmongoose.Schemaのところをmongoose.modelとしてしまい、まさかのライブデバッグを初めるハメになり、結果として13分となってしまいました。 リベンジとして今日何回かトライしたところ10分を2分半も上回る7分半、スリークォーターの記録を出すことができました。 動画中でやってること 1 環境を証明 nvmとかnodeとかnpmとかがインストールされてないことを証明 env.shは確認するコードが書かれているだけです 2 nvmとmongodbをググる 3 nvmをgitで取得 $ git clone git://github.com/creationix/nvm.git ~/.nvm 4 nvmを環境に読み込む $ . ~/.nvm/nvm.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例
<?paul
Debugging Connections with the MongoDB PHP driver — Derick Rethans
MongoDB: Case Study for AMN
