魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
「モノタロウの1900万商品を検索するElasticsearch構築運用事例」のポイント深掘り〜第50回 Elasticsearch勉強会後記〜 - MonotaRO Tech Blog
こんにちは。 EC基盤グループ サーチチームの 山村です。 この記事は、 Elastic Stack (Elasticsearch) Advent Calendar 2022 の 23日目です。 2か月ほど前になりますが、2022年10月26日に実施された 第50回 Elasticsearch勉強会 で発表させていただきました。 私が外部での発表するのは、2016年6月のSolr勉強会 以来で、非常に緊張しました。 日々の業務にかまけて、ブログが後回しになっていたことで大変遅くなってしまいましたが、上記の発表で話した内容とスライド資料から、話したかったポイントを抜粋するとともに、勉強会で不足していた部分について補足をします。 当日、発表を終えたところで気が抜けてしまい、Twitter で頂いていた質問に満足に答えられませんでしたので、この場で補足説明を含めて出来るだけ回答したいと思います。
Elasticsearchの検索結果をcsv形式で取得する - goodbyegangsterのブログ
Elasticsearchの検索結果をcsvで取得できると良いのに、と思っていたところ、jqってコマンドがあるんですね。 Linux系のコマンドラインで利用できるコマンドで、jsonをsedとかawkとかgrepみたいにできるやつらしいです。 公式サイトはこちら。 jq こちらのサイトでは、マニュアルを日本語訳してくれています。 軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました ｜ Developers.IO まず、インストール方法は以下です。モジュールをダウンロードしてくるだけですね。 # wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64 -O /usr/local/bin/jq # chmod +x /usr/local/bin/jq # jq
Elastic大谷氏とマイクロソフト川崎氏が語る Elastic＋Azureですべてが可視化される世界
検索エンジンElasticsearchを中心に、Elastic Stackによるシステム可視化なども提供するElastic社は、2〜3月に開催されたカンファレンス「Elastic{ON} 2018」において、さまざまな新発表をした。これについては本誌でもレポートを掲載した。 5月22〜23日に開催される日本マイクロソフトの技術カンファレンス「de:code 2018」では、Elasticの大谷純氏と日本マイクロソフトの川崎庸市氏の登壇するセッション「ここまでできる！Elastic Stackによる運用状況の可視化 - Azureサービス～ Kubernetesまで」が開かれる。ここでは、Elastic StackとMicrosoft AzureやKubernetesを組み合わせた可視化が解説される予定だ。 Elasticの最近の動向から、AzureやKubernetesとの組み合わせまで、
ElasticsearchのAnalyzer, Tokenizer, Token Filters, Char Filtersの一覧 - Qiita
memo: 2.3のドキュメントを参照して書いてます Analyzers Analyzerは1つのTokenizerと0個以上のToken Filters、0個以上のCharacter Filtersで構成される。イメージは以下。 Analyzerは以下の種類がある。それぞれの構成要素も入れた Standard Analyzer Character Filters: なし Tokenizer: Standard Tokenizer Token Filters: Standard Token Filter Lowercase Token Filter Stop Token Filter Simple Analyzer Character Filters: なし Tokenizer: Lowercase Tokenizer Token Filters: なし Whitespace Analyz
Performance Considerations for Elasticsearch Indexing
Elasticsearch users have delightfully diverse use cases, ranging from appending tiny log-line documents to indexing Web-scale collections of large documents, and maximizing indexing throughput is often a common and important goal. While we try hard to set good general defaults for "typical" applications, you can quickly improve your indexing performance by following a few simple best practices, de
Elasticsearchインデクシングパフォーマンスのための考慮事項 - Qiita
マッピングタイプを使いすぎないようにする Elasticsearchでは１つのインデックスの中に複数の異なるスキーマ定義を持つことができる。このスキーマ定義をマッピングタイプという。単に「タイプ」と呼ばれる事もある。フィールドのデータタイプとは別の概念。インデックスはデータベースに、マッピングタイプはその中のテーブルに例えられる事が多いが、同じ名前のフィールドはマッピングタイプが異なっていても定義が共有されたりして、データベースのテーブルほど互いに独立していない中途半端なものになっている。（2.0より前のバージョンではタイプごとにフィールド定義が異なっていても多少使えたりしたが、2.0以降は厳密に禁止されるようになった. 参照：Conflicting field mappings） タイプが異なっていてもデータは同じLuceneインデックスの中に混ざって入ってしまうため、タイプ間で互いに影
Elasticsearchインデックス作成におけるパフォーマンス考慮事項
Update November 2, 2015: If you're running Elasticsearch 2.0, check out this updated post about performance considerations for Elasticsearch 2.0 indexing. 小さなログラインドキュメントの追加から、Webスケールコレクションの大きなドキュメントのインデキシングまで、Elasticsearchユーザーの導入事例は多岐にわたります。多くの場合、インデキシングスループットを最大限にすることが重要な課題です。私たちはできるだけ「典型的」なアプリケーションに適するように、一般的なデフォルトを設定するようにしていますが、ここで説明する簡単なベストプラクティスを用いれば、インデキシングのパフォーマンスを向上させることができます。 まず、できれば巨大なJa
Elasticsearchのclusterステータスをgreenにするまでにやったこと - のんびりSEの議事録
Elastic stack (Elasticsearch) Advent Calendar 2017 - Qiita 16日目の記事です サービスで利用しているElasticsearchのclusterのステータスがずっとyellowだったので、それをgreenになるまでにやったことを記載してます。 対応した内容 明らかに大きいindexのShard数を減らした nodeを追加した 冗長化構成にした 5系でShardsを変更(縮小)する Shrink Indexを利用する www.elastic.co Shrink Indexを利用するため、settingを変更 $ curl -XPUT "localhost:9200/target_1_0/_settings" -d ' { "settings": { "index.routing.allocation.require._name": "
Elasticsearch Hot Warm Architecture
Search and analytics, data ingestion, and visualization – all at your fingertips
あなたの知らないElasticsearch設定トップ5 - Taste of Tech Topics
こんにちは、 @snuffkin です。 こちらはElastic stack Advent Calendarの5日目の記事となります。 qiita.com 当社では、Elastic StackとX-Packの導入支援サービスを行っていますが、様々な事例に触れるにつれ、「この設定を知っていれば。。。」と思うことがあります。 Elastic Stackの設定が一覧化された資料は存在しないため、詳しく知るには公式ドキュメントをちゃんと読む必要があります。 自分の周囲に話を聞いてもあまり知られていなかったり、ネットで調べてもあまり載っていない設定もあったります。 そこで、重要な設定だけれど意外と知られていないものを中心に、5つほどご紹介します。 Elastic Stackのバージョンは5.6をベースに記述していますが、最近のバージョンであればあまり変わらないと思います。 1. シャード設計 インデ
elasticsearchでtemplateをconfigファイルで管理する方法 - Qiita
通常上記のtemplateをelasticsearchに登録する場合は、以下のようなhttpリクエストを送って行います。 しかし、ansibleなどを使った場合、curlでtemplateを登録しようとすると「まだelasticsearchがready状態じゃないからリクエストを受け付けてくれない」場合があるので、ファイルでtemplateを管理する方法を記載します。 elasticsearchのtemplateとは elasticsearchでは、template（データベースでいうschema）を定義できます。 urlなどを保存する場合、elasticsearchが勝手にurlを解析して、protocol,domainなどに分けてしまい、解析に支障が出る場合があります。 その際は、urlフィールドが勝手に解析されないよう、以下のようなtemplateを定義することになると思います。 {
ElasticsearchのIngest Nodeを試してみた | DevelopersIO
はじめに こんにちは、藤本です。 Elastic Stack 5もalpha3までリリースされました。GAリリースが待ち遠しいです。今回はElasticsearch 5の新機能の中でも注目している方が多いであろうIngest Nodeを触ってみましたので、ご紹介します。 公式ドキュメントでも既にIngest Nodeの情報は公開されています。 Ingest Node Ingest Node Elasticsearch自体でインデックスする前にデータ変換/加工する機能となります。LogstashのFilter PluginやFluentdの一部機能をElasticsearch側で処理することができます。それによりLogstash/Fluentdをデータ変換/加工用に置いていた環境ではLogstash/Fluentdを取り除くことができ、サーバーコストや運用コストを省くことができます。 Ing
Elasticsearch 5.0.0のIngest Node用プラグインを書いた話 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの渡辺です。好きなライブラリはLombokです。 アプリケーション基盤チームでは、Necoプロジェクト（アーキテクチャ刷新プロジェクト）の一環として、 次世代の検索基盤を検討していて、その候補としてElasticsearchを調査しています。 調査をしている中で、Ingest Node用のプラグインを試作しました。 Ingest Nodeとは、Elasticsearch 5.0.0 （2016/7時点ではalpha4までmaven centralにpublishされている）で追加された機能で、 インデクシング時にドキュメントに変換処理を適用できるなんだかすごいやつです。Ingest Node自体の説明はElastic{ON}のスライドが参考になります。 せっかくプラグインの作り方を調べたので、公開して似たようなことをする人の参考になれば良いな、というこ
Elasticsearch Top Hits Aggregationの活用とデモ
脱単なる一覧表示！俯瞰できる検索結果を利用者へ提供することで、効率のよい情報収集と今まで知らなかった情報を気づかせる。 もしかしたら、クエリー関連の記事を書くのははじめてかも。基本は飛ばして、いきなりAggregationです。そのうち基本も書きます。 Aggregationと言うとファセット検索で使用したり、集計したりどちらかと言うと分析関連で使われることが多そうな気がしますが、今回はいわゆるブログや企業サイト等で利用されているサイト内検索をAggregationを使ってもっと便利にしたいと思います。それと query DSLの説明も。 と言うわけでいきなりデモです。 Demo Top hits aggregation . デモアプリのあまりの殺風景さに戸惑わないでください。。例えば「日本語で全文検索」などElasticsearchに関連する質問を入力すると検索結果が表示されます。このデ
KibanaのスクリプトフィールドでPainlessを使用する
スクリプトフィールドの例このセクションでは、一般的なシナリオで、Kibanaで使用されるLucene式とPainlessスクリプトフィールドの例をいくつか取り上げます。前述のように、これらの例は、Kibana基本操作チュートリアルのデータセットを基に作成されました。そして、前のバージョンでは、特定のタイプのスクリプトフィールドでフィルターと並べ替えに関連する問題がいくつか確認されているため、ElasticsearchとKibana 5.1.1を使用していることが前提となっています。 Elasticsearch 5.0ではLucene式とPainlessがデフォルトで有効化されているため、ほとんどの場合、スクリプトフィールドはそのままで動作します。ただし、唯一の例外として、フィールドを正規表現に基づいて解析する必要があるスクリプトがあります。このようなスクリプトでは、elasticsearc
Reindexが登場!
_reindexと_update_by_queryが、Elasticsearch 2.3.0と5.0.0-alpha1に登場しました! _reindexは、ドキュメントをひとつのindexから読み込み、他のindexに書き込みます。これにより、ドキュメントをあるindexから他のindexにコピーしたり、あらたな情報をfieldとして加えたり、index作成時に決められた設定を、indexの再作成により変更できます。 _update_by_queryは、ドキュメントをひとつのindexから読み取り、同じindexに書き戻します。これにより多くのドキュメントに含まれるfieldの更新や、mappingの変更をオンラインで行えます。 _reindex はドキュメントをコピーこの_reindex APIは、ドキュメントをあるindexから他にコピーするだけの便利な機能です。他にできることは全て副
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elsaticsarch 検索クエリの検証API - Qiita
Creating an Ingest plugin for elasticsearch - David Pilato
Writing Your Own Ingest Processor for Elasticsearch