ElasticsearchをMySQLと同期しつつ手軽に無停止アップデートする - UUUMエンジニアブログ
nazoです。 Elasticsearchを運用する際に、マスタデータはMySQLで持ちたいという場合にどうやって同期をするかというのが問題になります。また、Elasticsearchはバージョンの互換性が厳しく、別バージョンをクラスタに混ぜることは基本的にできず、さらに辞書の更新などを行う場合はインデックスを全て更新しなくてはいけないなどの運用上の課題があります。 今回は社内向けに使っているElasticsearchを、これらの問題を解決しつつどのように運用するかを考えてみましたので、紹介したいと思います。 簡単に MySQLとElasitcsearchの同期は go-mysql-elasticsearch を使います。 無停止のためのデータコピーは elasticsearch-dump を使います。 MySQLとElasitcsearchの同期 go-mysql-elasticsear
最新インフラエンジニア技術勉強～Fluentd, Elasticsearch,Chefの実践実例～ - Qiita
ドリコムのInfrastructure as Code Rubyエンジニアが多いからchef使ってる 100台超えたあたりからCouchDBに限界になってボトルネックになったからChef-solo使ってる。 Foodcritic Serverspec Rundeck Winning the metrics battle Cactiが乱立。スケールアウト出来ない。 理想の監視ツールがなかったのでMineっていう監視ツールを開発した Graphite REST-API push型・・・zabbixと一緒かな Collectd・・・Graphiteに情報をプッシュするミドルウェア Fluentd プラグイン開発講座 leftronic(可視化サービス) fluent-plugin-mysql-replicator MySQLと組み合わせて始める全文検索エンジン「elasticsearch」 RD
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
MySQLテーブルへの更新/削除イベントを逐次取得するFluentdプラグイン「fluent-plugin-mysql-replicator」をリリースしました - Y-Ken Studio
任意のSQLクエリで取得した結果の差分から、insert/update/deleteイベントを検知するプラグインをリリースしました。イベント検知だけでなく、レコードの内容と共にElasticsearch/Solrへ同期を行う、Outputプラグインも同封しています。 これはあえてバイナリログ(MySQLBinlogAPI)は使わずに、SQLクエリの実行結果の差分を見てinsert/update/deleteイベントを検知します。 そのため、純粋なテーブル同期だけでなく、任意のJOINやVIEWテーブルを元とした差分同期処理が実現できるのが特徴です。 y-ken/fluent-plugin-mysql-replicator https://github.com/y-ken/fluent-plugin-mysql-replicator http://rubygems.org/gems/flue
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticsearchにMySQLからデータ挿入、JDBC River Pluginのインストールと使い方
FluentdでMySQLの日付をElasticsearchの@timestampに使う - Qiita
