Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月VirtualTech Japan Inc.
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月VirtualTech Japan Inc.
PostgreSQLとMySQL、使うならどっち? データベース専門家が8つの視点で徹底比較! オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう? それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース(以下、RDB)を選ぶのが最善なのか?」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
概要 elastic社のブログに「Little Logstash Lessons: Handling Duplicates」という内容があがっています。 Google翻訳のお力を頂戴して、日本語で内容を確認したその結果です。 結論 elasticsearchにoutputするとき、IDが明示的に指定されていないと、elasticsearch側でIDが採番される。 これが重複して登録する元になっている。 なので、fingerprint filterを使って以下のようにアプローチすると良い。 ともにfingerprintを使うのは同じ。 同一の中身のものは、同一のものとして扱いたいとき 同じ内容のものは同じIDになるようにし、その値をDocumentのIDとする 1回のイベントで送信したものは再送されたとしても、同一のものとして扱いたいとき イベントごとにUUIDを生成し、その値をDocume
Logstashを使って、Elasticsearchにログを登録する方法を下記の通りまとめた。 再起動時のプロセスの自動起動についても手順の中に織り込み済み。 インストール ここを参考 https://www.elastic.co/guide/en/logstash/current/installing-logstash.html Yumリポジトリの登録 GPG-Keyの登録 sudo rpm --httpproxy 129.168.0.1 --httpport 7777 --import https://packages.elastic.co/GPG-KEY-elasticsearch viコマンドでYumリポジトリURLを追加 sudo vi /etc/yum.repos.d/logstash.repo [logstash-5.x] name=Elastic repository fo
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0063 号 バックナンバー Rubyist Magazine 0063 号 Rubyist Magazine 0062 号 Kaigi on Rails 特集号 RubyKaigi Takeout 2020 特集号 Rubyist Magazine 0061 号 Rubyist Magazine 0060 号 RubyKaigi 2019 直前特集号 Rubyist Magazine 0059 号 Rubyist
Ingest nodeと、FileBeatのモジュールがで利用できるようになって、とりあえず小規模でとりあえず導入するような構成ならLogstashとか、Fluentd無しのFilebeat + Elasticsearch + Kibanaの構成でなんとかなるんじゃ無いかと試してみる。 ある程度以上の規模になったり、欠損が許容されないような場合は、Logstashとか、FluentdのようなAggregatorを間に挟んだほうが当然良いと思う。 Filebeatsをインストールする 公式サイトのインストール方法を参考にインストールする。 www.elastic.co Nginx Moduleで出力するIndexを分ける たとえばNginx用のIndexを分ける場合は以下のような設定をする。 prospectorでfield を追加して、output側で特定の条件(fields.typeが"
前置き CentOSでNginxをインストールする方法を調べてみると、大抵のサイトには「Nginxはyumのリポジトリに登録されていないので、はじめにリポジトリの登録をしないとインストールできません」と紹介されています。 本当にそうなのか? と疑問に思ったので、登録をせずにいきなりインストールしようとしてみました。 $ sudo yum -y install すると、あっさりインストールできました😮 もしかすると前はyumのリポジトリに登録されていなくて、現在は登録されたのかもしれません。 面倒な手間が省けてラッキー! と思ったのもつかの間で、バージョンを確認してみたら… だいぶ古いバージョンでインストールされてしまいました😅 登録はされたけどしばらく更新がなかったのかもしれないですね… なので、今回はCentOSで安定版のNginxをインストールする方法を紹介します。 手順 設定ファ
プラグインは、Elasticsearch の基本機能を強化する為の仕組みです。プラグインと一口に言っても、analysis 系のプラグインとか、Discovery 系のプラグインとか、いろいろあるのでまとめ。 Installing Plugins.インストールは簡単で、Elasticsearch のパッケージに含まれる plugin スクリプトを使ってインストール可能。 $ bin/plugin --install <org>/<user/component/<version>elasticsearch が提供しているプラグインは、GitHub のここで見つかります。 例えば、Japanese (kuromoji) Analysis for Elasticsearch のインストール。 $ bin/plugin -install elasticsearch/elasticsearch-an
リレーショナルデータベースで管理しているデータを Elasticsearch で検索・分析したい場合、Logstash が便利です。 Logstash とは?Logstash はオープンソースのサーバーサイドデータ処理パイプラインです。様々な数のソースからデータを取り込み、変換し、指定された任意のストア先にデータを格納することができます。 処理の内容はシンプルで、Input ステージでソース元の接続先情報を管理し、Filter ステージで変換をし、Output ステージで格納先接続先情報を定義します。Input 及び Output プラグインはデフォルトで様々なソースをサポートしています。そのため、Logstash を使えば、プログラミングレスで MySQL のデータを取り込み、変換し、Elasticsearch へインデックスすることができるのです。 事前準備MySQL と Elasti
こんにちは、藤本です。 現地時間 7/6 に Elastic Stack 5.5.0 がリリースされました。 Elastic Stack 5.5.0 released Elasticsearch 5.5.0 released Kibana 5.5.0 released Logstash 5.5.0 released Elasticsearch for Apache Hadoop 5.5.0 いくつか Elastic Stack 5.5.0 の新機能を試していますのでその他記事は下記をご参照ください。 Grok の構文を検証する Grok Debugger を試してみた #Kibana Kibana 5.5.0 の新機能の Region Map を試してみた Kibana 5.5.0 の新機能の Region Map を試してみた 今回は Logstash 5.5.0 で実装された Dead
Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューをリリースしました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 KSQLは、このKafkaに対応したSQLエンジン。これによりJavaやPythonで複雑な処理を記述しなくとも、ストリームデータを柔軟に加工できるようになります。 SQLとKSQLの違いとは? 一般的
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く