Google Compute EngineでオートスケールするElasticsearchを構築した - Qiita
GCE上にオートスケールするElasticsearchクラスタを構築したのでまとめます。 基本的にはClick to DeployのElasticsearchから何をしてるのかを見て、そこからオートスケールできるように色々やった感じです。 オートスケールしないなら、Click to Deployでよいと思います 本当はオートスケールじゃなくて後でサーバー増やしたいときに融通が利かなかったためです。 説明で使用するファイルとスクリプトはGithubにあげてます。 Developer Consoleでも以下のクラスタはできますけど、基本は全部コマンドラインで実行できるようにしてます。 Githubにもあるので、参考にしてください。 ネットワーキング設定をする インスタンスを作成する前にあらかじめクラスタ組んだ際のネットワーク設定を作成する必要があります。 外部IPアドレスを作成する 負荷分散の
elasticsearch-rails検証 - Qiita
はじめに WEBアプリケーションの中で、検索機能を付けたくなることありますよね。 普通に考えたら、検索エンジン用のサーバーを構築して、そこに solr なり elasticsearch なりを入れて、Rails から httpリクエストを飛ばして・・・ってやれば良いと思うんですが、Rails のモデルと elasticsearch のドキュメントの対応関係を考えたり、 その周りの設計をしたりと結構手間がかかります。 うーん、もっとこう、モデルとドキュメントが一対一くらいの感じで対応してくれて、使いやすいやつないかなぁー というわけで、こちらの gem の検証です。 elasticsearch-rails よく見たら elasticsearch の公式リポジトリでしたね。 elasticsearch は公式サイトからダウンロードしてきて、適当に設定しておいてください。この記事では説明しません
Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する - Qiita
2016/01/06更新 Elasticsearchのバージョンを2.1.0から2.1.1にバージョンアップ Kibanaのバージョンを4.3.0から4.3.1にバージョンアップ Beatsのバージョンを1.0.0から1.0.1にバージョンアップ 2015/12/17更新 Elasticsearchのバージョンを2.0.0から2.1.0にバージョンアップ Kibanaのバージョンを4.2.1から4.3.0にバージョンアップ BeatsシリーズのPacketbeat, Topbeat, Filebeatのインストールを追加 Topbeatの画面サンプル 2015/11/21更新 Kibanaのバージョンを4.2.0から4.2.1にバージョンアップ Sense, Timelionのインストールを追加 まえがき 去年のElasticsearch Advent CalendarでElasticse
CentOS7環境でFluentd+Elasticsearch+Kibana4を構築する(後編) - Qiita
前編から大分時間があいてしまいましたが、 後編はいよいよアクセスログをElasticsearchに突っ込んで、Kibana4でアクセス状況をグラフで見る！ というところをやってみようと思います。 今回の主な流れは ・Apache2のアクセスログをtd-agentで拾ってElasticsearchに突っ込む ・Kibana4で初期設定を行い、Elasticsearchに入っているアクセスログデータを見てみる です。 ※これだけ見ると簡単そうですが、結果的にえらい長文になってしまいました。。 また、Apache2は既にインストール済みであることを想定しています。 必要に応じてインストールしてください。 ※Nginxをお使いの場合は、ApacheをそのままNginxに置き換えればほぼいけるのではないかな、と思います。 1. Apacheのアクセスログを拾ってElasticsearchに突っ込む
Elasticsearchにpowershellからデータを投入してみよう - Qiita
これは Elasticsearch Advent Calendar 2014 - Qiita 、12日目の記事です。 ##はじめに 皆さんは、どうのようにElasticsearchを使っていますか？ logstash、fluentdからのデータの投入だけではでなく、powershellからデータを投入できると、可視化できる範囲がぐっと広がります。 私の環境では、下記のような情報を可視化しています。 vmwareの情報をpowershellから投入 AWSの情報(ec2の稼働状態、cloudtrail)をpowershellから投入 windowsのイベントログを投入 Elasticsearchには、様々なクライアントがありますがpowershellのクライアントはないため、関数を自作してみましたのでご紹介いたします。 使用例 Put-Elasticsearch という関数を作ってみました。
Domain Specific Query Parser (Hetero Grammatical Query Parser) 実装 - Qiita
概要 Supership株式会社インフラ事業開発本部・検索グループで11月から (2016年4月よりサービス事業本部 Syn.事業部 検索サービス部に改組) エンジニアとしてジョインした@ShingoOKAWAです。 弊社検索グループでは、KDDIグループのハウスエージェンシーとしてのauポータルサイトの検索サービスの開発や、その他自社で提供するサービス・プロダクトの種々の検索機能の開発業務に取り組んでいます。 『Elasticsearch Advent Calendar 2015』に投稿させて頂いたことからもお分かりかと思いますが、バックエンドの検索エンジンは Elasticsearch を採用しております。検索サービスの拡充及び改善のため、日々開発業務に取り組んでいるわけですが、本投稿では、その中でも弊社バックエンドのコア機能として開発中の『Domain Specific Query
logstash を使って手元にあるファイルを elasticsearch に取り込む - Qiita
手元にあるファイルをログサーバーとかを通さずに elasticsearch に取り込みたくなりました。fluentd だと、不特定多数のログをバッチ的に処理するのは不向きな気がしたので、ただのコマンドラインツールとして使える logstash を使ってみました。 あまり紹介記事も見ないので、logstash の簡単な紹介もしてみます。とはいえ触り始めてから2日くらいしかたってないので、いろいろ間違ってるかもしれません。 logstash とは logstash のトップページにはこんな風に書いてあります。 logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching).
入門記事：Elasticsearch1.4.0とKibana4.0.0の環境構築 - Qiita
この記事には最新版があります Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する まえがき Elasticsearch Advent Calendar 2日目の記事です。 今思えば、実案件に投入したこともないのに参加してしまったなぁと内心ビビっているのですが、このAdvent CalendarをきっかけにElasticsearchやKibanaを触ってみようと思った方が、ストレスなくElasticsearchを体験できるような記事を書ければと思います。 環境構築の方法 今回の記事では2通りの環境構築について紹介します。ひとつはVagrantを使用する例、もう一つはAnsibleを使用する例となります。 事前準備 Vagrant、Ansibleのどちらを使うにしても、この記事向けに作成したGitリポジトリーをcloneする必要があります。
ElastisearchをSQLでクエリー可能にするプラグイン - Qiita
Elasticsearchを使う上で標準のDSLであるストラクチャードクエリーを書くことは避けて通れません。しかしこのJSON形式のDSLはもともと機械が理解するためのもの...人間が書くには辛すぎます。ネストが増えるたびに上に行ったり下に行ったり、目を凝らしてカッコの対応を確認したり...。使い慣れたSQLで問い合わせができたらどんなに楽だろうと思ったあなた！そんな便利なプラグインが存在します。 elasticsearch-sqlの導入 Elasticsearchのプラグインの導入はコマンド一発なので簡単です。ESのバージョンによってバイナリが違うので注意してください。導入後はESの再起動が必要です Elasticsearch 1.X ./bin/plugin -u https://github.com/NLPchina/elasticsearch-sql/releases/downlo
Elasticsearch導入前に気を付けておきたいこと！ - Qiita
Elasticsearch導入前に気を付けておきたいこと はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.
Docker + Elasticsearch + Kibana - Qiita
$ docker-machine create --driver virtualbox dev Creating CA: /Users/moriyasu/.docker/machine/certs/ca.pem Creating client certificate: /Users/moriyasu/.docker/machine/certs/cert.pem Running pre-create checks... Creating machine... (dev) Creating VirtualBox VM... (dev) Creating SSH key... (dev) Starting VM... Waiting for machine to be running, this may take a few minutes... Machine is running, wait
WikipediaのデータからElasticsearch用類義語辞書をつくる - Qiita
Elasticsearchには類義語によるクエリ拡張機能があります。これを適用すると まどマギ と検索したときに まどかマギカ と書かれた文書もヒットするようになります。 (LuceneやSolrにもありますがここではElasticsearchの話だけします) この類義語辞書は、人手で作ること (e.g., FRILの商品検索をnGramから形態素解析にした話 - mosowave) もできますが、今回はなるべく手間をかけたくないのでWikipediaのリダイレクトデータから自動で類義語辞書を作る方法を紹介します。 (自動といってもノイズも含まれてるので実用的に使うにはある程度人手でフィルタリングする必要があります。それでも一から人手で作るよりは手間が少ないと思います) (ElasticsearchではWordNetでの類義語検索に対応しているようですが、これを書いてる2015年12月時点
Elasticsearchインデクシングパフォーマンスのための考慮事項 - Qiita
マッピングタイプを使いすぎないようにする Elasticsearchでは１つのインデックスの中に複数の異なるスキーマ定義を持つことができる。このスキーマ定義をマッピングタイプという。単に「タイプ」と呼ばれる事もある。フィールドのデータタイプとは別の概念。インデックスはデータベースに、マッピングタイプはその中のテーブルに例えられる事が多いが、同じ名前のフィールドはマッピングタイプが異なっていても定義が共有されたりして、データベースのテーブルほど互いに独立していない中途半端なものになっている。（2.0より前のバージョンではタイプごとにフィールド定義が異なっていても多少使えたりしたが、2.0以降は厳密に禁止されるようになった. 参照：Conflicting field mappings） タイプが異なっていてもデータは同じLuceneインデックスの中に混ざって入ってしまうため、タイプ間で互いに影
Elasticsearchを使ってレコメンデーションする - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Elasticsearch と Mahout を組み合わせ、「関連する商品」や、「関連するユーザ」を表示する機能をつくりました。 アルゴリズムはMahoutをそのまま使い、ロジックをElasticsearch プラグインにすることで、サーバ&データストアがElasticsearchでまかなえます。 以下にプラグインを公開しました。 https://github.com/hadashiA/elasticsearch-flavor これを実際に運用中のサービスがあるんですが、商品数がせいぜい数十万件程度だったので Hadoop等は使わず、リ
ブラウザの閲覧履歴で人生の棚卸し（embulk + elasticsearch + kibanaで可視化） - Qiita
この記事は「エムスリー Advent Calendar 2015」の 22日目の記事です。 はじめに こんにちわ。年末ですね。年末といえば一年を振り返るいい機会ですね。意識の高い人たちが「人生を棚卸しするいい機会ダヨッ★」なんて言っていたような気もします。 過去の自分を振り替えってみると、あーネットサーフィンに無駄な時間を過ごしたなぁ。。なんて後悔の念が湧いてきます。しかし、よく考えてみると、自分がブラウザで何を閲覧していたのか、きちんと振り返ったことがありませんでした。いい機会ですので、この記事では 自分の閲覧履歴を可視化して分析する基盤 を構築してみたいと思います。 ただ、一点ネックなのは、私は chrome => メインブラウザ firefox => ある特定の用途 といったように、2つのブラウザを戦略的に使い分けております。つまり、閲覧履歴データが分散しているわけです。分散してしま
ElasticsearchとPython使えば生活圏推定を簡単にできる話 - Qiita
概要 なんか書いてみようということで、Elasticsearchに行動履歴の位置情報を登録すれば、いい感じに利用できる上に、いい感じに可視化もできるという話をします。 前提知識 今回Elasticsearchを利用するので、簡単に紹介。 ElasticsearchはApache Solrとよく比較される全文検索エンジンの一つです。スキーマフリーですべての入出力がREST＆JSONになっています。またJavaで実装されています。 詳しくはElasticsearchの紹介と特徴 インストールはyumでもbrewでも簡単に出来ます。利用したい環境に合わせて調べてみてください。 ちなみにElasticsearchのGUIプラグインのelasticsearch-headが便利なので合わせて入れておくと良いです。 Elasticsearchの設定 Elasticsearchを起動できたら、利用するin
初心者のためのRest APIから覚えるElasticsearch - Qiita
この記事は Elasticsearch Advent Calendar 2015 の5日目の記事です。 記事更新遅くなってしまい、申し訳ないです。。 はじめに みなさんはElasticserchのデータを確認したり、解析したりするために何を使っているのでしょうか？ Elasticsearch Headや、kibanaなど色々あるのですが、別々の環境にある複数のElasticsearchを扱うことがある時や開発段階の探り探りの状態ではやはり何よりもREST APIを直接叩けるとかなり捗ります。 僕自体現在Elasticsearch歴2ヶ月で上記の環境だったため、 今のところPOSTMANが最強のElasticsearchクライアントです。 2016/06/17 追記 ※ 最強はSenseでした という訳で僕がよく使うAPI一覧をまとめました。 参考 公式API一覧 バージョン情報 Elast
Kibana用途でElasticsearchを使う時の高負荷対策TIPS - Qiita
これは Elasticsearch Advent Calendar 2015 8日目の記事です。 ログの可視化ツールとしてKibanaを使っている中で、Elasticsearch運用として色々と得られた知見を書きたいと思います。 Elasticsearchは、ライトな環境だったら特にチューニングなく安定してますがある程度ドキュメント数が積まれてくると、色々苦労があるなという印象です。 ここに書かれているのは、事情がありシングル構成で頑張った話なので、クラスタ組んでスケールするとこんな悩みはないのかもです。 でも、ログは運用系に入るのでそんなにコストかけれるとこはないのではという個人的な所感。 #####ラインナップとしては、下記のような感じです。 Kibana経由で重たいクエリが投げられると負荷高すぎて泣いた話 高負荷対策として、fielddata_cacheをディスクに逃がす方法 flu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticSearch 1.x インストール (kuromojiも添えて) - Qiita
Elasticsearch - Qiita Advent Calendar 2015 - Qiita
