RubyからElasticsearchを操作してみる - のんびりSEの議事録
今回使用するGemはこちら elasticsearch | RubyGems.org | your community gem host 前回の記事を参考に、基本的な操作をRubyからやってみました carefree-se.hatenablog.com インストール gem install $ gem install elasticsearch Gemfile gem 'elasticsearch' 未リリースverを使用する場合 gem 'elasticsearch', git: 'git://github.com/elasticsearch/elasticsearch-ruby.git' Clientの利用 require 'elasticsearch' # userとpasswordを指定する場合は、hostsのオプションに指定する client = Elasticsearch::C
Elasticsearch Rails の調査レポート ~実運用へ向けて~ - ボクココ
ども、@kimihom です。 今回は Ruby on Rails で Elasticsearch を使う方法について調査したので報告しよう。 特に ActiveRecord と Elasticsearch をどう連携させるのか、そこら辺を詳しく書こうと思う。 elasticsearch-rails の利用 さて、 Rails で Elasitcsearch を利用する場合、上記の gem を利用することになるが、この gem は何者なのか自分の理解でまとめる。 Elasticsearch での index, type の指定 ActiveRecord 上のオブジェクトで Elasticsearch へ保存するフィールドを指定 ActiveRecord(or Mongoid) でのデータを Elasticsearch に一括インポート ActiveRecord でオブジェクトを作成・更新・
elasticsearchをランサムウェアから守るには #elastic - クリエーションライン株式会社
こんにちは。木内です。年末から十分に設定されていないMongoDBをターゲットにしデータを消去したうえで、復元料を要求する攻撃が続いています。最近同様の攻撃と思われるものが elasticsearch にも行われていることがわかりました。 [MongoDBに関する情報] ZDNet Japan - 「MongoDB」狙うランサムウェア攻撃で2万7000超のデータベースが被害に--研究者ら報告 http://japan.zdnet.com/article/35094721/ [elasticsearchに関する情報] Elastic Forum - Ransom attack on Elasticsearch cluster? https://discuss.elastic.co/t/ransom-attack-on-elasticsearch-cluster/71310 PC World
【アップデート】Amazon Elasticsearch Service に Phonetic Analysis プラグインが追加されました | DevelopersIO
【アップデート】Amazon Elasticsearch Service に Phonetic Analysis プラグインが追加されました 明けましておめでとうございます、藤本です。 昨年一年間で気づけば切りよく 77本のブログをエントリしました。今年は 100本の大台目指して頑張ります。 さて、昨年の12月22日に久しぶりに Amazon Elasticsearch Service にアップデートがありました。 Amazon Elasticsearch Service now supports phonetic analysis Amazon Elasticsearch Service はプラグインを追加できない制約があります。そんな Amazon Elasticsearch Service にプラグインの追加がありました。Phonetic Analysis プラグインです。 Phon
Elasticsearch の Kuromoji でユーザー辞書を使う - Qiita
Elasticsearchでの形態素解析はKuromoji一択だけど、やや辞書が貧弱な部分もある。 例えば東京に「西国分寺駅」という駅があるけど、「西国分寺」で形態素解析すると「西」「国分寺」で分かれる。 読みも「サイコクブンジ」となってしまう。（正しくは「ニシコクブンジ」） なので、ある程度ユーザー辞書で補いたいと思う。 参考になったサイト elasticsearch-analysis-kuromojiでユーザ辞書の利用方法 Elasticsearch 日本語で全文検索 その２ 環境 CentOS 6.4 Elasticsearch 1.1.1 kuromoji 2.0.0 辞書ファイルの作成 まず辞書ファイルを作成。 普通のテキストファイルで、文字コードは UTF-8。拡張子は自由。 ここでは例として「my_jisho.dic」とした。 辞書ファイルの置き場所 ファイルの保存先は /e
Amazon Elasticsearch Service で「手動スナップショット」を取得する - kakakakakku blog
自動スナップショットと手動スナップショット Amazon Elasticsearch Service でクラスタのスナップショットを取得する場合，「自動スナップショット」と「手動スナップショット」の2種類がある． AWS 側で自動的に日次取得してくれるものを「自動スナップショット」と呼ぶ．14世代保管される．ただし「自動スナップショット」のリストアは自分たちではできず，AWS サポートに依頼して実施してもらう必要がある．よって，リストアのタイミングが AWS サポート側に依存することになり，運用的には自由度が低いものとなる． 逆に「手動スナップショット」は，Elasticsearch 自体のスナップショット機能を使って，任意のタイミングでスナップショットの取得とリストアができるため，自由度が高いものとなる．また EC2 上で運用している Elasticsearch クラスタのスナップショッ
IAM認証付きAmazon Elasticsearch Serviceをelasticsearch-pyで操作する | DevelopersIO
概要 Elasticsearchの操作はREST APIが提供されており、ツールレベルのプログラムの場合、容易に組み込むことができます。AWS Lambdaにより実装する場合もPythonの標準パッケージで簡単に実装することができます。 ただし、アプリケーション開発となると、度重なるREST APIの処理実装、ネットワーク通信エラーやAPI例外処理を独自実装することは大きなコストを要します。そこでElasticsearchは各種言語のSDK(Client)をElastic社が提供しており、利用することができます。出来ることならSDK・Clientを利用して、エラー処理や例外処理などの実装を減らしたいですよね？ 現在、提供されているSDKは以下のようなものがあります。 Python client: elasticsearch-py PHP client: elasticsearch-php
Amazon Elasticsearch Service を Python クライアントで、IAM アカウントを作ってセキュアにアクセスする - Qiita
Amazon Elasticsearch Service を Python クライアントで、IAM アカウントを作ってセキュアにアクセスするPythonAWSElasticsearchIAM Amazon Elasticsearch Service は、アクセス制御が IAM や IPアドレスでできます。最初は IPアドレスフィルタでいじってたのですが、将来的にドツボにはまりそうだったため IAM で行うようにしました。 なお、Amazon Elasticsearch Service のアクセスポリシーの変更は、指定してから20分ぐらい待たないと反映されないため、面倒です。早めの IAM 化が楽だと思います。(反映待ちの間もサービスは使えます) IAM ユーザーの作成 IAM のユーザーページ https://console.aws.amazon.com/iam/home#users より
Amazon Elasticsearch Service で Elasticsearch 5.1 の利用が可能となりました | DevelopersIO
Amazon Elasticsearch Service で Elasticsearch 5.1 の利用が可能となりました おはようございます、藤本です。 本日は嬉しいアップデートがありました。Amazon Elasticsearch Service に Elasticsearch 5.1 / Kibana 5.1 が追加されました。 Elasticsearch 5 now available on Amazon Elasticsearch Service Elasticsearch 2 の対応には GA リリースから 1年弱ぐらいかかった覚えがありますので、今回の対応の早さは驚きました。 概要 Amazon Elasticsearch Service は Elasticsearch / Kibana の AWSマネージドサービスです。Elasticsearch クラスタの管理・運用を A
ElasticsearchのmappingがJSON表記でわかりづらいからXMLで表現しようとした - Qiita
{ "person": { "properties": { "name": { "type": "string" }, "sons": { "type": "nested", "properties": { "name": { "type": "string" }, "age": { "type": "integer" } } } } } } はい、非常にわかりづらいですね。 なぜか。propetiesのせいです。 ElasticsearchはJSONフォーマットでmappingを表現してるので、そのフィールドの属性（typeなど）と子要素（propeties）は両者ともオブジェクトの中に一つネストして格納するしかありません。そのためJSONドキュメントより階層が１つ深くなってしまい、mappingとJSONドキュメントの対応が直感的にわかりにくくなります。mappingの方がproper
Elasticsearchのデータをバックアップして、別ノードにリストアする - togatttiのエンジニアメモ
Elasticsearchを運用していて、あるノードのデータをバックアップして、それを別のノードにリストアする方法を探した。 以前は、elasticsearch-knapsackやesclientといった方法があったらしい。 Elasticsearchのデータを簡単にimport/exportする - (ﾟ∀ﾟ)o彡 sasata299's blog elasticsearchのindexバックアップ - Qiita ただ、Elasticsearch自体の機能に、バックアップ、リストアの機能が備わっている。 技術の進歩って早いね！！ はじめに 192.168.0.2 データ移動元ノード 192.168.0.3 データ移動先ノード、インストール後の状態で用意。 共に、Ubuntu 16.04.1 LTS、 Elasticsearch 2.4.1で構築している。 データのバックアップ バックア
Elastic Cloud: Hosted Elasticsearch, Hosted Search | Elastic
Search and analytics, data ingestion, and visualization – all at your fingertips.
aws-es-kibana
AWS ES/Kibana Proxy AWS ElasticSearch/Kibana Proxy to access your AWS ES cluster. This is the solution for accessing your cluster if you have configured access policies for your ES domain Usage Install the npm module npm install -g aws-es-kibana Set AWS credentials export AWS_ACCESS_KEY_ID=XXXXXXXXXXXXXXXXXXX export AWS_SECRET_ACCESS_KEY=XXXXXXXXXXXXXXXXXXX Run the proxy (do not include the http o
AWS ElasticSearch Service の認証にIAM Roleを使う [aws-auth-proxy編]｜ハンズラボ株式会社
下記の記事の続編です。 AWS ElasticSearch Service の認証にIAM Roleを使う [PHP編] AWS ElasticSearch Service の認証にIAM Roleを使う [Python編] PHP編とPython編を書いたのですが、いろんな言語で開発していると、言語毎に流儀が違って、つらいです。 なので、AWS の認証情報を付与してくれるだけの簡単なProxyないかと思って調べたらありました。 coreos/aws-auth-proxy: HTTP proxy that signs requests for upstream AWS endpoints こんな感じで、ローカルホストでProxyを立てておくと、localhost:9200 にアクセスするだけで、AWSのElasticSearchに接続できます。 # aws elasticsearch ex
![AWS ElasticSearch Service の認証にIAM Roleを使う [aws-auth-proxy編]｜ハンズラボ株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/52035d59f085b62fb923c72e132664fe7eb63355/height=288;version=1;width=512/https%3A%2F%2Fwww.hands-lab.com%2Fwp-content%2Fuploads%2F2016%2F01%2FElasticSearchIcon-3.png)
AWS ElasticSearch Service の認証にIAM Roleを使う [PHP編]｜ハンズラボ株式会社
こんにちは、井上です。 AWS ElasticSearch Serviceを使ってみました。 ElasticSearchはVPC外に置かれるとのことで、アクセス管理はどうするんだろうと思っていたら、AccessPolicyにて何かしら制限しないといけないようです。(VPC内に置いて欲しいなぁ…） 制限方法としては、 IPアドレスによる制限 アカウントIDによる制限 IAM Roleによる制限 などができるようです。 試しに、IAM Roleで制限をかけたEndpointにcurlでアクセスするとエラーがでることは確認できました。 $ curl search-xxxxxxx.ap-northeast-1.es.amazonaws.com {"Message":"User: anonymous is not authorized to perform: es:ESHttpGet on reso
Amazon Elasticsearch ServiceのIAM Roleによるアクセス制御 | DevelopersIO
はじめに 藤本です。 Amazon Elasticsearch Service（以下、Amazon ES）のAWSアカウント、IAMを用いたアクセス制御時のDomainへのREST API利用方法がどうなるの？と気になったので調査してみました。 概要 Amazon ESのアクセス元制御として、AWSアカウント、IAMユーザー、IPアドレス等による制御が可能です。 Amazon ESはPublicな環境に作成されるため、IAM PolicyでIAM等で制御しない（Principalを*指定）場合、どこからでもアクセスが可能な状況となります。それは望ましくありません。Condition属性でIPアドレスベースのアクセス制御は可能ですが、アクセス元のインスタンス数が多い場合やAutoScaling内のインスタンスの場合、インスタンスの追加や入れ替えの度にIAM Policyを変更する必要がありま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Matching by array elements
AWS ElasticSearchService index_create_block_exception
Scroll | Elasticsearch Guide [5.1] | Elastic
The promise was rejected: When using ElasticSearch SDK · Issue #945 · aws/aws-sdk-php