10時間かかっていた遺伝的アルゴリズムをAWS Lambdaで高速化 - Insight Edge Tech Blog

こんにちは、Insight EdgeのLead Engineerの日下です。 今回は、DEAPライブラリを利用した遺伝的アルゴリズムをAWS Lambdaで分散並列実行した話を紹介しようと思います。 目次 目次 背景と課題 並列化の方法の検討 どこを並列化するか？ どのように並列化するか？ 実装の方針 呼び出し側コード Lambda側コード その他 Lambdaを呼び出すためのDEAPへのmap実装 呼び出し側コード Lambda側コード 今回の実装の工夫ポイント 改善の評価 まとめ 前提 クラウド基盤: AWS 言語: Python ライブラリ: DEAP 背景と課題 ある案件で、遺伝的アルゴリズム (以下、GA)を用いた最適化処理により業務改善の実証実験をしていたところ、性能に課題があるということでデータサイエンティストチームから相談を受けました。 当該処理は、EC2 (r7g.4xl

[hasiduki]

私は統計機械学習チームとインフラアプリチームがお互いを支え合って良い仕事を効率的にするのが好きだ！！！！！！！！

[theatrical]

4倍以上速くなってるんだから、記事タイトルにも入れた方が反応よさそうな気もするけど、環境の違いもあるから安易にタイトルに数字入れてないのかしら。

[daishi_n]

遺伝的アルゴリズムというとN700系のノーズデザインしかイメージにないなあ

[Kazumi007]

並列化で性能改善

[punychan]

評価関数の中身しだいではGPU向きにもできるんだけどな。

[sakidatsumono]

GAやめろよと言いたい。こいつは無駄に計算にリソース食うから。

[disatance2]

Lambdaはタイムアウトがあるので計算量が多い処理では使わない方針だったけども、収まれば使っても良いかもしれない。