DynamoDBとElasticsearchをエンプラで本気で使ってみた2018年を非機能面で振り返る - Qiita
ごあいさつ 2018年はDynamoDB・Elasticsearchと共に歩み続けた1年だったので、年の締めくくりに振り返りと反省をしてみようかなと。主に非機能面での振り返りになります。 フューチャー Advent Calendar 2018の16日目の投稿です！（すいませんだいぶ遅くなってしまいました..orz） はじめに エンタープライズで利用するデータストアサービスなるものを作っていたのですが、そのサービスにてDynamoDBとElasticsearch（正確にはAmazon Elasticsearch Service）を採用していました。いままでの検討経緯だったり概要構成については下記の資料も合わせて見ていただけると幸いです。 メディアコンテンツを支えるデータストアサービスをAWSで メディアコンテンツ向け記事検索DBとして使うElasticsearch 本投稿は上記の後
AWS EC2 上に立てた Elasticsearch の データを違う新たにマウントした新ボリュームに移行する方法 - Qiita
1.EBSボリュームを作成 ボリュームを必要としているサーバと同じアベイラビリティゾーンに EBSボリューム を 作成してください。 2.EC2にアタッチ ボリュームを選択して右クリックで「ボリュームのアタッチ」を選択します。 アタッチするインスタンスを選択してください。するとデバイスの部分に自動で「/dev/sd'x'」が設定されるので、そのまま「アタッチ」を押してください。 3.マウント作業前チェック # df -h ファイルシス サイズ 使用 残り 使用% マウント位置 devtmpfs 3.9G 0 3.9G 0% /dev tmpfs 3.9G 0 3.9G 0% /dev/shm tmpfs 3.9G 41M 3.9G 2% /run tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup /dev/xvda1 256G 24G 233G 10% / tmpfs
適当な日本語文章を形態素解析し、英語に翻訳して音声読み上げさせる - Qiita
表題のままです Elasticsearchで日本語文章をバラバラの単語に分解して、そいつを AWS Translate で翻訳。 翻訳した単語を今度は AWS Polly で読み上げさせる（音声ファイル出力）サンプルです。 環境・コードは以下に置いてます 軽くリポジトリ内の説明を elasticsearch-test ├── README.md ├── docker │ └── elasticsearch # Elasticsearchコンテナイメージ定義 │ ├── Dockerfile │ └── config ├── docker-compose.yml # dockerコンテナ定義 └── php ├── composer.json ├── composer.lock ├── composer.phar └── test # テストコードディレクトリ versio
Elasticsearchのanalyzerを試した - Qiita
{ "analyzer": "standard", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone." } { "tokens": [ { "token": "the", "start_offset": 0, "end_offset": 3, "type": "<ALPHANUM>", "position": 0 }, { "token": 2, "start_offset": 4, "end_offset": 5, "type": "<NUM>", "position": 1 }, { "token": "quick", "start_offset": 6, "end_offset": 11, "type": "<ALPHANUM>", "position": 2 }, { "token": "brown"
Elasticsearchの用語が覚えられないのでまとめた - Qiita
https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html ここに記載されている内容のまとめです。 5.4系だと日本語訳があるんですが、いまいちピンとこないので自力でまとめました。 ただ、違いとしてはおそらくTypeがDeprecatedになったことくらいしかないです。 クラスタ 1つまたは複数のノードの集合。 ユニークな名前を持つ。デフォルトは"elasticsearch". nodeは名前でクラスタを判定するので重要。 従って、クラスタ名を使いまわすとノードが誤ったクラスタに集まるので注意。 例えばlogging-dev, logging-stage, and logging-prodといった風に分けると良い。 一つのノードしか持たないクラスタをつくるのもOK ユニークな名前を
Elasticsearch の CRUD (PHP) - Qiita
#! /usr/bin/php <?php // // elastic_create.php // // Oct/12/2018 // // ---------------------------------------------------------------- function dict_append_proc ($dict_aa,$id,$name,$population,$date_mod) { $dict_unit = array (); $dict_unit['name'] = $name; $dict_unit['population'] = $population; $dict_unit['date_mod'] = $date_mod; $dict_aa[(string)$id]= $dict_unit; return $dict_aa; } // // ------
Amazon Elasticsearch Serviceでcluster_block_exceptionがでたら
"error": { "type": "cluster_block_exception", "reason": "blocked by: [FORBIDDEN/8/index write (api)];" } "error": { "type": "index_create_block_exception", "reason": "blocked by: [FORBIDDEN/10/cluster create-index blocked (api)];" } 原因と対策 原因は主に2つある模様。 ディスク容量不足 AmazonESのメトリックスでFreeStorageSpaceを見ると0になっているはず。 インスタンスタイプかEBSの容量を上げればいいはず。 Amazon ES ドメインの設定 - AmazonES 開発者ガイド EBS ベースのストレージの設定 - AmazonES 開
PythonでElasticsearchのSearch APIを使って検索するときのめも - Qiita
ElasticsearchのAPIで10000件以上のデータを検索するとなると 一回じゃデータを取れないから分割して検索するのか〜面倒だなということでpythonで書きました。 これですねー #!/usr/bin/env python3 import urllib.request import json import sys from optparse import OptionParser def print_message(msg): print(msg, file=sys.stderr) def do_request(url, query): json_data = json.dumps(query).encode('utf-8') req = urllib.request.Request(url, data=json_data, method='GET') with urllib.
VPC内に置いたElasticsearch Serviceに Docker のプロキシ経由でアクセスする - Qiita
前例 VPCにあるAmazon Elasticsearch ServiceにALBを追加してKibanaだけPublicにする ｜ DevelopersIO ALBを立てて、ESSインスタンスのプライベートIPを指定する。 IPが変化したことをどうにか気付いて、ALBの設定を更新する必要がある。 VPCにあるAmazon Elasticsearch ServiceのKibanaだけPublicにするもう一つの方法 ｜ DevelopersIO EC2インスタンスにKibanaを立てる。Kibana起動時に、ESSのエンドポイントを指定する。 EC2インスタンス立てるのかー。めんどくさいー。 Kibanaのバージョンとか気を使う必要がある。めんどくさいー。 VPC内に置いたElasticsearch ServiceにEC2のプロキシ経由でアクセスする - Qiita EC2インスタンスにNg
Elasticsearch の CRUD (Ruby) - Qiita
#! /usr/bin/ruby # -*- encoding: utf-8 -*- # # ruby/create/elastic_create.rb # # Oct/07/2018 # # --------------------------------------------------------------------- require 'faraday' require 'json' # # --------------------------------------------------------------------- def dict_append_proc (dict_aa,id,name,population,date_mod) unit = {} unit['name'] = name unit['population'] = population unit[
Elasticsearch の CRUD (python3) - Qiita
#! /usr/bin/python # -*- coding: utf-8 -*- # # elastic_create.py # # Oct/05/2018 # import sys import json import requests # # ------------------------------------------------------------------------- def dict_append_proc(dict_aa,key,name,population,date_mod): dict_aa[key] = {'name':name,'population':population,'date_mod':date_mod} # return dict_aa # #-----------------------------------------------
Elasticsearchでフィールド有無検索 - Qiita
Elasticsearchでは必要の無いフィールドは存在させないでデータ登録できます。 そんなフィールドの有無を検索したいときの検索例です。 指定したフィールドのあるデータの検索 index_nameからfield_nameフィールドが存在するデータの検索をする例
Elasticsearch の CRUD (Node.js) - Qiita
#! /usr/bin/node // --------------------------------------------------------------- // elastic_create.js // // Mar/23/2022 // // --------------------------------------------------------------- 'use strict' import * as http from "http" // --------------------------------------------------------------- function dict_append_proc (dict_aa,id_in,name_in,population_in,date_mod_in) { var unit_aa = {} uni
Ubuntu 21.10 に Elasticsearch をインストール - Qiita
$ java --version openjdk 11.0.14 2022-01-18 OpenJDK Runtime Environment (build 11.0.14+9-Ubuntu-0ubuntu2.22.10) OpenJDK 64-Bit Server VM (build 11.0.14+9-Ubuntu-0ubuntu2.22.10, mixed mode, sharing) wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] ht
Elasticsearch への問い合わせ (PHP) - Qiita
#! /usr/bin/php <?php // ------------------------------------------------------------------ // elastic_query.php // // Oct/04/2018 // // ------------------------------------------------------------------ function curl_get_proc ($url) { $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, $url); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt ($ch, CURLOPT_PROXY, ""); $data = curl_exec($c
Elasticsearch への問い合わせ (Ruby) - Qiita
こちらで作成したデータに Ruby で問い合わせをします。 Elasticsearch へのデータ投入 Arch Linux でのライブラリーのインストール #! /usr/bin/ruby # -*- coding: utf-8 -*- # # elastic_search.rb # # Oct/04/2018 # # --------------------------------------------------------------------- require 'restclient' require 'json' # # --------------------------------------------------------------------- STDERR.puts "*** 開始 ***" URL = "http://localhost:9200/_sea
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibana 6.4以前から6.5へのアップデート時の注意点 - Qiita
Elasticsearchが1ノードでConditionがYellowな時の直し方 - Qiita
Elasticsearch+Kibanaでサーバメトリクスの可視化をする - Qiita
ElasticSearchがmemory lock failed と言ってきたメモ