TypeScriptによるElasticsearchバッチ処理のパフォーマンス改善 - CADDi Tech Blog

こんにちは、 Drawer Growth グループの大木です。 キャディでは、膨大な図面データを効率的に検索・活用できるよう、Elasticsearchを活用した図面検索機能を提供しています。 このシステムにより、キーワード検索から類似図面の検索、図面に紐づく受発注情報での検索などを実現しています。 しかし、この図面と受発注情報の関係は多対多の関係にあり、大量のデータを効率的に処理することが課題でした。 この記事では、これに対してどのように対処しているのかについて紹介します。 課題の詳細 前提: Elasticsearchにおけるデータ更新の流れ Elasticsearchに保存されるデータは、以下の２通りの方法で更新されます。 非同期の準リアルタイム更新: 別のサービスから図面・受発注実績の情報が更新された時にメッセージを受け取り、Elasticsearchに反映します。 バッチ処理更新