皆さん,こんにちは!MLエンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編,パイプライン構築の話になります. tech.connehito.com はじめに 再掲になりますが,我々は以下の構成で今回の検索基盤を構築しています. 検索エンジン:Amazon OpenSearch Service データベース:Amazon Aurora データ同期(ETL):AWS Glue ワークフロー・パイプライン:AWS Step Functions・Lambda・EventBridge 後編は,検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります(下図の全量データ同期パイプラインの部分). 検索基盤全体のアーキテクチャー概略図 もう少し具体的には,OpenSearchのindexの管理方法について説明した後に
![ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/83784d60f564e5de145a0d62bea5f10286c61a4d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fc%2Fconnehito-mkashiwagi%2F20220828%2F20220828134142.png)