タグ

elasticsearchに関するinoueyuworksのブックマーク (5)

  • ElasticsearchのIndexを本当の意味で無停止再構築する手法 - aeroastroの日記

    ※ この記事は Elastic stack (Elasticsearch) Advent Calendar 2017 の2日目の記事になります。 Elasticsearchを利用したサービスを運用している場合、既存機能の改修や仕様変更、新規機能の実装に伴い、運用中であってもindexや検索クエリを変更していくことは日々発生します。この際に、インデックスを再構築する必要性も出てきますが、インデックスを再構築し、そこに整合性のあるデータセットを準備するのには時間がかかります。その都度メンテナンスを行うのは非現実的であり、特に大規模サービスであれば準備にかかる時間自体も非現実的なものになりかねません。 このような問題への対処方法として、 Index Aliases を利用することで、透過的に無停止再構築を行うことが出来るというのは複数のブログ記事で紹介されています。これらはアプリケーションから直

    ElasticsearchのIndexを本当の意味で無停止再構築する手法 - aeroastroの日記
    inoueyuworks
    inoueyuworks 2022/01/14
    repository パターンで、 model と index を分離してコードを記述する方法。これと Operation Type を create に指定して PUT することにより、無停止バージョンアップが可能となる。
  • Elastic Cloudでkuromojiを使うための設定方法

    インデックスを作成してからでないと設定ができないようで、ポイントはインデックスを一度Closeしてからでないと400エラーが返ってきて設定できないこと。Index Management画面で「Edit Setting」でSaveを押して無反応(ブラウザコンソールに400エラーが出ている)となって保存できない。 各設定画面はこちらの案内図を参照してくれ。 ①ICUとKuromojiプラグインをオンに Kibanaではなく、Elastic CloudのDeployment画面まで戻って、Edit画面のElasticsearchの右上にある「Edit user settings and plugins」からICUとKuromojiの2プラグインを追加する。 ②インデックスをCloseする インデックスがON(検索できる状態?)のままでは設定変更ができない(400エラーが返ってくる)ため、Inde

    Elastic Cloudでkuromojiを使うための設定方法
    inoueyuworks
    inoueyuworks 2021/12/17
    Deployment を Edit する際に、その画面の右上ぐらいに user setting の設定場所があり、そこからいじる。
  • how to decide the memory requirement for my elasticsearch server

    inoueyuworks
    inoueyuworks 2021/12/11
    1 node あたりのメモリは、 ハードウェア: 64GB で 32GB(弱) を JVM Heap に割り当てる感じがベスト。できれば、 ES Node process だけで専有したい感じ。大きなインスタンスの場合には、 64GB で割って、その分だけ process start
  • Elasticsearchクラスターのシャード数はいくつに設定すべきか?

    オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。

    Elasticsearchクラスターのシャード数はいくつに設定すべきか?
    inoueyuworks
    inoueyuworks 2021/12/04
    shard 数についての記事
  • あなたの知らないElasticsearch設定トップ5 - Taste of Tech Topics

    こんにちは、 @snuffkin です。 こちらはElastic stack Advent Calendarの5日目の記事となります。 qiita.com 当社では、Elastic StackとX-Packの導入支援サービスを行っていますが、様々な事例に触れるにつれ、「この設定を知っていれば。。。」と思うことがあります。 Elastic Stackの設定が一覧化された資料は存在しないため、詳しく知るには公式ドキュメントをちゃんと読む必要があります。 自分の周囲に話を聞いてもあまり知られていなかったり、ネットで調べてもあまり載っていない設定もあったります。 そこで、重要な設定だけれど意外と知られていないものを中心に、5つほどご紹介します。 Elastic Stackのバージョンは5.6をベースに記述していますが、最近のバージョンであればあまり変わらないと思います。 1. シャード設計 インデ

    inoueyuworks
    inoueyuworks 2021/12/04
    1. shard 数 2. X-Pack Security(needs SSL) 3. Disk-based Shared Allocation: 85% total disk quota default 4. num processors: max is 32, reduce it to limit thread pool 5. Merge Scheduling: optimized for SSD, for HDD, reduce max_thread_count to 1.
  • 1