MongoRiverを使う - Carpe Diem
概要 MongoDBのデータをElasticSearchに流し込むMongoDB River Pluginを扱います。 あるデータに対して検索機能を追加したいけど、MongoDBで全文検索はちょっと。。という時に便利です。 環境 Ubuntu 14.04 MongoDB 2.6.7 Java 1.8.0_31 ElasticSearch 1.4.2 MongoRiverPlugin 2.0.5 MapperAttachmentsPlugin 2.4.2 MongoDBとElasticSearchを別環境で立ち上げて説明します。 サービス IP MongoDB 192.168.33.10 ElasticSearch 192.168.33.11 注意点 前提知識や、うまく動作しないケースを先にまとめてみました。 これを知ってるだけで随分進めやすくなると思います。 MongoDBのレプリのopl
MongoDBのデータをElasticsearchにリアルタイム同期 - Carpe Diem
概要 以前はMongoRiverを使う - Carpe Diemで紹介したようにRiverという機能を使って同期を実現させていました。 しかしながらElasticsearchがRiverを廃止することを決め、バージョン2.x以降は使うことができなくなりました。 そこで調べてみて挙がったのは以下です。 ツール 用途 デメリット logstash 様々なデータをElasticsearchへ投入するツール。 公式が薦めてる inputにmongoのプラグインがない beats ログの解析に使える。ダッシュボードもすぐ用意できる mongoのデータを送るようなプラグインがない embulk バルクローダー。fluentdのバッチ版 バッチ版というようにリアルタイム同期ではない fluentd リアルタイムな同期システムを作れる データがすでにあるものに対しての全同期には不向き transporte
fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する
タイムスタンプがついたデータならなんでも可視化できるというツール。 Elasticsearchと密結合になっています。 UIがよくできていて、柔軟に設定を変えられるので、今回の用途にもってこいです。 Chefを使ったセットアップ手順 基本的にサーバはChefで管理したいので、Cookbookを拾ってきて使います。 以下を前提に進めます MongoDBサーバはすでに立ててある サーバはDebian/Ubuntu インフラはEC2 手順内にsspeと出てきますが、プロジェクトのコードネームです。 ご自身のプロジェクト名と読み替えてください。 fluentdの設定 アプリケーションは、td-agent(fluentd agent)に対してhttp経由でログを投げます。 td-agentは、受け取ったログを指定のmongodbに転送します。 mongodbはreplicasetなので、typeをm
MongoDB vs. Elasticsearch: The Quest of the Holy Performances
A modest comparison between two ways of storing our unstructured data, from MongoDB to Elasticsearch. Introduction Historically, a significant part of QuarksLab's activity is composed of reverse engineering, malware analysis and offensive pentesting. But these occupations lead use to develop some nice tools we trust can be of a great use for any company willing to improve its own knowledge rather
MongoDBにあるデータがElasticsearchに同期されないときの対処方法 - Qiita
Elasticsearch に MongoDB River Plugin を使うことで、MongoDB のデータを ElasticSearch に同期させることができる。 しかし、同期の設定をした後に、MongoDB にカラムを追加したりすると Elasticsearch に反映されないことがあり、その対処方法がわかったので書いておく。 使用したバージョン MongoDB 2.4.9 Elasticsearch 1.1.1 MongoDB River Plugin 2.0.0 Attachments Plugin 2.0.0 Kuromoji Analysis Plugin 2.1.0 同期されなくなる手順 簡単に言えば、サーバーの起動順が Elasticsearch -> MongoDB だとダメらしい。 MongoDB を起動し、カラムを追加する MongoDB を停止する Elast
fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する | 踊る犬.net
Programming, Technology fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する SaaSは利用料が高いのでOSSを使う 要件 独自フォーマットのログを扱いたい アプリケーション特化の情報も一緒に格納したい グラフ設定を簡単に柔軟に変えられるようにしたい システム構成 Chefを使ったセットアップ手順 fluentdの設定 ElasticsearchとKibanaのインストール Elasticsearchの設定 Kibanaの設定 参考リンク SaaSは利用料が高いのでOSSを使う サーバのログを可視化するSaaSは沢山あります。 DataDogとかKeen IOとかlibrato、Logglyなどなど。 とても便利そうですね。でも価格が高い！ なんでもかんでもSaaSに頼ってたら毎月数十万とかになりそうです。貧
MongoDB+Elasticsearchで全文検索をする（失敗） - エロサイトの作り方
MongoDBだけだと全文検索にインデックスが効かないので、200万件程度しかないうちの環境でも死んじゃう（実際死ぬ） というわけで、全文検索を使えるようにするためにElasticsearchを入れることにしました。 Elasticsearchを入れる Homebrewから $ brew install elasticsearch 起動 $ elasticsearch [2014-06-11 18:05:35,710][INFO ][node ] [Osiris] version[1.2.1], pid[4562], build[6c95b75/2014-06-03T15:02:52Z] [2014-06-11 18:05:35,711][INFO ][node ] [Osiris] initializing ... [2014-06-11 18:05:35,716][INFO ][plu
時系列ログをfluentdからMongoDBとElasticSearchに取り込む方法 | Check!Site
記事投稿者：山下 晴規 記事公開日：2014/03/17 最終更新日： （この記事は約1年以上経過しています。） apacheアクセスログなどの時系列ログを、fluentd(td-agent)からMongoDB（ドキュメント指向データベース）とElasticSearch（検索エンジン）に取り込み、確認する方法を記載しています。 apache稼働サーバ（192.168.1.10）と、MongoDBとElasticSearch稼働サーバ（192.168.1.20）は、別サーバとしています。 １．apache稼働サーバの td-agent.conf apache稼働サーバ（192.168.1.10）におけるtd-agent.conf 設定を記載します。 source ディレクティブ設定（入力元）は以下になります。 <source> type tail path /var/log/httpd/ac
Building a Social Music Service Using AWS, Scala, Akka, Play, MongoDB, and Elasticsearch - High Scalability -
This is a guest repost by Rotem Hermon, former Chief Architect for serendip.me, on the architecture and scaling considerations behind making a startup music service. serendip.me is a social music service that helps people discover great music shared by their friends, and also introduces them to their “music soulmates” - people outside their immediate social circle that shares a similar taste in mu
ElasticSearch + MongoDBをNode.jsで操作する - LIFULL Creators Blog
ネクストでエンジニアをやっています瀧川です。 今回は最近先輩と共同でやった小さめのWEBアプリを作った時に表題の環境を整えるところを担当したのでその紹介をしたいと思います。 同様の記事はネット上にいくつかあったのですが、僕自身これを行うときの段階では node.jsで開発するのも初めてで MongoDBを扱ったこともなく ElasticSearchにいたっては名前を聞いたこともない という無能っぷりだったので色々苦労しました。 そのため、備忘録ということで書かせていただいております。 ただ、本題からずれすぎるのもアレなのでここでは表題のものそれぞれについて細かく説明しません。 あくまでこれらの連携を実現させる方法についてのみ書きます。 一応、それぞれを超カンタンに説明すると node.js … サーバーサイドJavaScript MongoDB … ドキュメント指向データベース Open
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mongodbから日本語で全文検索するためにElasticSearchをインストールする - Qiita