概要 AWSのlambda関数で、外部のライブラリを実行したい場合、昔は、デプロイパッケージに、利用するコードを全て含めてやる必要がありました。 ただ、pandasやscikit-learnなどの重量級のライブラリの場合、毎回アップロードするのは、きついものがあります。 例えば、pandas(依存関係のあるnumpyなども含む)だと、圧縮状態で35Mbyteほどあります。 そこで、AWS Lambda layersの出番です。 これを使うことで、外部ライブラリのアップロードは、1回で済む様になり、自分で書いた部分のみを更新していけば良いことになります。 また、他のlambda関数でも使い回し可能です。 docs.aws.amazon.com 手順 以下、pandasを例にした手順です。 とりあえず、lambda関数の実行環境を確認します。 19年2月現在は、以下の通りでした。 Python

この記事はNextremer Advent Calendar 2018の2日目の記事です。 表題の通り、mecab-ipadic-NEologd を AWS Lambda で使えるようにしたという内容です。 困難 NEologd 辞書が標準で 900 MB 程度ある Lambda にはデプロイパッケージを zip で上げることが可能であるが、unzip 後、250 MB 以下でなければいけないという制限がある Lambda には実行時、一時ファイル領域(/tmp)が用意されているが、容量 512 MB までである NEologd を縮小版(--eliminate-redundant-entry オプション)で生成しても 400 MB 程度になる 既存のソリューション: s3 に辞書を置いておく こちらに、s3 使った方法がまとまっています。 https://speakerdeck.com/