Elasticsearchを開発するElastic、最新バージョン5.0とElastic Stackを解説
オープンソースの検索エンジンとしてアクセスログの検索、可視化などに使われるElasticsearchを開発しているElasticが、日本で2回目となるカンファレンスを開催。最新のバージョン5.0について解説などを行った。 オープンソースの全文検索エンジンとして、アクセスログの検索や可視化などに使われるElasticsearchを開発しているElasticは、2016年12月15日、日本では2回目となるイベント「Elastic{ON} Tour 2016」を開催した。アカデミーヒルズのセミナールームを満席にした約350名の参加者に向けて、最新製品の解説とデモ、導入事例としてソフトバンク、ファーストリテイリング、日立製作所からの登壇者を迎えたセッションが開かれ、さらにアクロクエストテクノロジーなどのパートナーも関連製品のプレゼンテーションを行った。 ELKからElastic Stackへ イベ
Elastic Cloud Enterprise を本番環境を想定して構築する | DevelopersIO
こんにちは、藤本です。 12月1日に Elastic Cloud Enterprise がリリースされました。 当ブログでも Elastic Cloud Enterprise の概要、AWS EC2 上へのシングルホストでの Elastic Cloud Enterprise の立ち上げのブログを書きました。 【速報】Elastic Cloud Enterprise の Alpha版がリリースされました Elastic Cloud Enterprise を AWS 環境にデプロイしてみた Elastic Cloud Enterprise を利用する規模の環境でシングルホストはまずないと思います。今回は本番環境を想定した複数ホストでのクラスタを構築します。今回はTopology Recomendationsに記載されている構成で構築します。 クラスタを構築してみた 環境 EC2 x 8台（3A
Fluentd+Elasticsearch+kibanaを使ったログ可視化(part1) - Qiita
はじめに ログの可視化をしたいと思い立ち、いろんなサイトを参考にして、まずはサーバの構築をしてみることにしました。 ということで、まず第一弾はサーバの構築をやっていきます。 構成 サーバを２台作ります。 サーバ１号機は、クライアントとして。サーバ２号機はサーバとして利用することとします。 サーバ１号機にはFluentd、サーバ２号機にはFluentd/Elasticsearch/kibanaをインストールします。 ざっくりはこんな感じ 環境 使用した環境は以下の通り。 HostOS version
Elastic社公式の Docker イメージに Logstash が追加されていました | DevelopersIO
こんにちは、藤本です。 以前、下記エントリで Elastic社公式の Docker イメージをご紹介しました。 Elastic社公式のDockerイメージ(Beta版)が提供されるようになりました 当時は Elasticsearch、Kibana のイメージのみが提供されていましたが、Logstash のイメージも追加されていたようです。 Elastic 社のドキュメントにも利用方法が記載されています。 Running Logstash on Docker 試してみた 環境 今回はローカルの Docker for Mac を利用しています。 Docker for Macに関しては以下のエントリをご参照ください。 Public BetaになったDocker for Macを使ってみる Logstash のコンテナを起動する 下記パスがイメージのパスとなります。 docker.elastic.
Lucene API で Solr と Elasticsearch のインデックスを確認 - なんとなくな Developer のメモ
Groovy で Lucene の API を使用して Solr や Elasticsearch のインデックスの内容を確認してみました。（Lucene 6.2.1 の API を使用） ソースは http://github.com/fits/try_samples/tree/master/blog/20161024/ (a) ドキュメントの内容を出力 まずは、ドキュメントに属するフィールドの内容を出力する処理です。 DirectoryReader から Document を取得し、フィールド IndexableField の内容を出力しています。 dump_docs.groovy @Grab('org.apache.lucene:lucene-core:6.2.1') import org.apache.lucene.index.DirectoryReader import org.ap
Dockerでお手軽に複数nodeのElasticsearch clusterを作成 & 好きなplugin追加 - Qiita
目的 Elasticsearch clusterの複数nodeを跨いだshardsの動きを実際に確認したい VMを複数起動するのは面倒なのでdockerでさっくり試したい 環境 MacOS X El Capitan (10.11.5) Docker Toolbox 1.11.2 準備 Docker Toolboxの導入などは、こちらの記事などをご参考ください docker machineのIPアドレスは192.168.99.100とします (Macだとデフォルトでこれになるはず) dockerコマンドがすでに使える状態を前提で話を進めていきます 複数nodeでなくて良い、かつ、pluginの追加が必要ない時は 公式イメージをそのまま利用すれば良い コンテナ起動 $ curl http://192.168.99.100:9200 { "name" : "Wong", "cluster_nam
Elasticsearchの初期システム設定 - goodbyegangsterのブログ
Elasticsearchを運用する上で、細かい初期システムパラメータについてもメモしておきます。CentOS7でElasticsearchのバージョンは2.4.1です。 基本的にマニュアル通りです。 Configuration | Elasticsearch Reference [2.4] | Elastic ES_HEAP_SIZE Javaで利用するヒープサイズの設定。デフォルトでは最小256MB、最大１Gになってます。 ES_HEAP_SIZEのパラメータで設定できます。 最大でも実メモリの半分サイズ、または32GB以下にすべきとのこと。 Limiting Memory Usage | Elasticsearch: The Definitive Guide [2.x] | Elastic Choosing a Heap Size There are two rules to app
Elasticsearchの検索結果をcsv形式で取得する - goodbyegangsterのブログ
Elasticsearchの検索結果をcsvで取得できると良いのに、と思っていたところ、jqってコマンドがあるんですね。 Linux系のコマンドラインで利用できるコマンドで、jsonをsedとかawkとかgrepみたいにできるやつらしいです。 公式サイトはこちら。 jq こちらのサイトでは、マニュアルを日本語訳してくれています。 軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました ｜ Developers.IO まず、インストール方法は以下です。モジュールをダウンロードしてくるだけですね。 # wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64 -O /usr/local/bin/jq # chmod +x /usr/local/bin/jq # jq
Fluentd+ElasticSearch+Kibanaでアイドルデータ分析基盤を作ってみた
俺もビッグデータの分析とかやってみたいなー →Twitterとか身近なビッグデータっぽくて扱いやすそう →よし、アイドル（坂道シリーズ）に関するツイート集めて分析してみよう という軽いノリでFluentd + ElasticSearch + Kibanaというよくある構成で分析基盤（？）を作ってみました。 今回は基盤作るまでのインストール＆設定地獄の備忘録。（自力でやんなくてもDockerやChefで一発で構築できるモノが出回ってそうですが…） 全体構成 Fluentdのfluent-plugin-twitterを使ってStreamingAPI経由で乃木坂、欅坂に関するデータを取得 →データをElasticSearchにぶん投げる。kuromojiのanalyzerで日本語の形態素解析 →Kibanaでビジュアライゼーション という構成 KibanaやElasticSearch自身にも認証
Hadoop Streamingでアイドルツイート分析
Fluentd+ElasticSearch+Kibanaでアイドルデータ分析基盤を作ってみたの回で、FluentdとTwitter Streaming APIを使ってS3にツイートデータを保存したので、このデータをHadoopを使って解析してみます。 今回はMeCabを使って形態素解析してワードカウントを取るような教科書的なMapReduceを試してみました。Hadoop Streamingを使ってPythonでMapper、Reducerを書いていきます。 環境 OS: Mac OS X(El Capitan) Python: 2.7.11 Hadoop: 2.7.1 Hadoopのインストール&設定 以下のURLを参考にインストール&設定すればOK。 分散処理に入門してみた（Hadoop + Spark） Macでhadoopをちょっとだけ動かしてみる – Qiita Mac OS X
jupyter notebookでElasticsearch - Qiita
Jupyter notebookからElasticsearchを操作してみた このブログはjupyter notebook Advent Calendar 2016の17日目のエントリーです。 概要 Jupyter notebookを使って 全文検索エンジンElasticsearchへのデータ投入や検索などをしてみたので 躓いたところや感動したところをポツポツ書きます 弱いエンジニアかつ、 Jupiter notebookは完全なる初心者ですので ご了承ください。。。 環境 ec2インスタンス立てて、0から構築します。 ipadとiphoneで書きます。 jupyter notebookの環境構築 notebookの環境構築に関しては、 他の方の記事で出尽くしているようですし割愛します。 下記リンクの記事を参考にインストールしました。 AWS EC2でjupyter + opencv(Ip
メモ：Elasticsearchの書き込み性能を上げるためにやったこと - Qiita
背景 サーバーに対して位置情報を含む500万レコード以上のデータがFTP経由で送られてくる。送られてくるときは１つのファイルにある独自の方法で圧縮されているが、このままでは位置情報を元にした検査ができないため、受け取った時点で展開して位置情報をサポートしたデータベースに書き込むのが今回の課題。 なお、このファイルは５分毎に送られてくる。したがって書き込みに5分以上かかってはダメ。できたら アプリケーションでの展開 → データベースへの書き込み までを2分程度で終わらせて、その後は位置情報をもとに検索ができなければならない。という状況。 親切な方から、位置情報ならElasticsearchがいいんじゃないかと教えてくれた。で、試行錯誤してなんとか2分ちょっとで書き込めるようになったので、そこまでにやったことの覚え書き。 【2017/1/3 追記】参考資料 このメモをキータにあげた際に、Jun
ElasticsearchのJavaScriptクライアントを試す - CLOVER🍀
ElasticsearchはふだんJavaかcurlで使っているのですが、ちょっとJavaScriptの クライアントも試してみたいなと思いまして。 elasticsearch.js Java以外のプログラミング言語でのクライアントプログラミングをちょっと 覚えておこうというのが趣旨です。 今回は、ドキュメントの登録と検索あたりを軽く触ってみます。 ドキュメントは、こちらを参照。 Quick Start Configuration API About インストール インストール方法は、こちらに記載があります。 About まあ、こんな感じで。 $ npm i --save elasticsearch あと、動作確認はテストコードで行おうと思いますので、MochaとChaiを入れておきます。 $ npm i --save-dev mocha chai テストコードは、「test」ディレクトリ
ElasticのDockerイメージを使って、ElasticsearchとKibanaを使う - CLOVER🍀
最近ElasticsearchとKibanaのDockerイメージに、DockerHubのものを使ってみたのですが elasticsearch (OFFICIAL REPOSITORY) kibana (OFFICIAL REPOSITORY) @johtaniさんに怒られまして…。 ElasticsearchのDockerイメージ、自分でビルドして作ってたけど5系からsysctlのところでハマるようになって、DockerHubにあるの使うようにした 2016-12-22 23:21:37 via Twitter Web Client @kazuhira_r うちの使ってよ、、、 2016-12-23 11:40:10 via twicca to @kazuhira_r あー、そういえば、あるって聞いたことあったような…。 調べてみると、確かに…。 Install Elasticsearc
Docker上でElasticsearchのデータをNamed Data Volumeに保存しFessで利用する - Qiita
この記事はFess Advent Calendar 2016の24日目の記事になります。 ←前の記事 次の記事→ 今回は、Dockerを使ってデータを永続化させるひとつの手段であるNamed Data Volume機能を用いて、ElasticsearchのデータをNamed Data Volumeに保存してみたいと思います。 Named Data Volumeとは コンテナでデータを管理する — Docker-docs-ja 1.9.0b ドキュメント こちらに書かれているように、データ保持のため Named Volume と呼ばれる領域をホストOSに作成し、それに名前をつけて管理しています。 ここでは詳しくは述べませんが、以下のリンクがわかりやすかったです。 Docker の Data Volume まわりを整理する それでは、ElasticsearchのデータをNamed Data V
Elasticsearchのスコアリングを眺めてみる - Qiita
前置き この記事は Retty Advent Calendar 23日目です。 昨日は@kazushikawamuraのReact & Firebaseで簡単なChatアプリを作ってみたでした。 Elasticsearchとは 今更なにを。。。と思う方がほとんどだと思います。 釈迦に説法で非常に恐縮ですが、5.1.1も出たところですし一回お浚いということで。。。 Elasticsearchは、Elastic社が展開する強力な検索エンジン？です。 正直なんて定義できるものかよく分からないですが、全文検索でよく使う、あとデータ分析にめっちゃ強いというところでいろんなところで重宝してます。 この前行ってたelastic{on}では、ある発表でElasticsearchのいいところを 「貯める、検索する、集計する」が一つのプロダクトで出来る というのをあげていました。 強力なビジュアライズツールK
データベースとしてのElasticsearch - Qiita
はじめに Elasticsearchはスケーラビリティに優れた全文検索エンジンですが、Relational Database(以下RDB)が持つ汎用性や機能の豊富さも追求しているように思います。この記事ではRDBの基本機能がどこまでElasticsearchで実現できるかをまとめました。データベースの知識だけで、全文検索を知らなかった私がElasticsearchを勉強し始めた頃に意外に感じた事を中心に両者の違いを比較しています。APIについては言語ごとの違いは言及せず、REST APIについてのみ述べています。特にバージョンの記述がない場合はElasticsearch 5.1を前提にしています。RDBは近年ポピュラーなOracle, SQLServer, DB2, Sybase, PostgreSQL, MySQLなどが準拠しているSQL92標準を前提としています。 基本的な違い RDB
ElasticSearch と Kuromoji で日本語検索エンジンを作る : まだプログラマーですが何か？
# yum install java-1.7.0-openjdk 次に検索エンジンである ElasticSearch 本体を導入します。公式サイトから最新版（2016/07/11時点では 2.3.4）のインストールモジュールをダウンロードします。インストールモジュールにはいくつかの種類はありますが、今回は rpm パッケージ版(elasticsearch-2.3.4.rpm)をダウンロードします： https://www.elastic.co/downloads/elasticsearch ダウンロードできたら rpm コマンドでインストールして起動、および自動起動設定までを行います。ちなみにこの rpm 版をインストールした場合、ElasticSearch 本体は /usr/share/elasticsearch/ 以下に導入されます ： # rpm -ivh elasticsearch
日本語でのサジェストの難しさとElasticsearchを用いた実装例
このエントリは Elastic stack (Elasticsearch) Advent Calendar 2016 の17日目の投稿です。 こんにちは。Housmartの高松です。今回のテーマは Elasticsearchを使った日本語でのサジェスト です。 Elasticsearch便利ですよね。個人的には今から検索関連の機能を作るならElasticsearch一択だと思っているのですが、こんな便利なElasticsearchを使っても、実用レベルの日本語のサジェスト機能を実装するのはちょっと難易度が高いです。 今回は実務での経験をもとに、なぜ日本語でのサジェストが難しいのか、Elasticsearchを用いた実装はどうすれば良いのかについて書いていこうと思います。 今回取り組んだ問題 弊社HousmartはReTech（不動産テック）スタートアップで、中古マンション売買サービス「カウ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchのローカル環境をDocker Composeで用意する - Qiita
