SQS(FIFO) + Lambdaの並列実行時のポイント - LCL Engineers' Blog
この記事はLCL Advent Calendar 2021 - 15日目です。 qiita.com バックエンドエンジニアの高良です。 LCLへの転職を機に沖縄から上京して早2年、地元と段違いの寒さにも段々と慣れてきました。 ここ最近ではRailsでの開発に加え、インフラ周りのちょっとした調整などの作業をすることも増えてきました。 その中で1点、実装方法の調査時に手間取った箇所があったので、解決のポイントを紹介しようかと思います。 SQS(FIFO)と連携しているLambdaのスケールアウト 現在海外航空券では、SQS(FIFO)+Lambdaが連携したバッチジョブが動いています。 techblog.lclco.com こちらは1日1回の実行としているのですが、条件によっては実行時間が1日を上回ってしまい、必要な処理が1日で完了しきれないという問題が発生しました。 この時Lambdaは1台
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
pgpool-II 入門（インストールと簡易設定） - LCL 開発者ブログ
弊社のサービスには、PostgreSQL用のミドルウェアであるpgpool-IIを利用しています。 techblog.lclco.com pgpool-IIは非常に良いソフトウェアだと思いますが、多機能であり用途によって設定が異なるため、最初の導入が難解なのがネックです。 公式ドキュメントは充実しているものの、用途別の構成にはなっていないため、詳細を読みこんで目的のパラメータを取捨選択する必要があります。 pgpool-II ユーザマニュアル 今回は、多少なりともpgpool-IIを利用するハードルを下げるために、機能の説明と導入の手順を記載したいと思います。 説明に利用する環境 Amazon Linux ( AMI release 2015.03 ) PostgreSQL 9.5 pgpool-II 3.5.2 pgpool-IIとは pgpool-IIは、アプリケーションとPostgr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
