先日、Flairを使ったモデルを構築し、SageMakerのトレーニングジョブに投げたところモデルの保存で躓いた。原因を調べたところ、pickleでダンプしようとしていたオブジェクトの中に、Python 3.6ではダンプできないオブジェクトがあるようだった。そこで、SageMakerのトレーニングで使われているPythonのバージョンを3.6から3.7に上げたところモデルの保存をできるようになった。 以下に、作成したDockerfileを貼っておく。これをCodeBuildでビルドし、ECRに登録後、SageMakerのEstimatorで登録したイメージを指定すれば使うことができる。 FROM nvidia/cuda@sha256:4979db047661dc0003594fb20d37cce6d6c7e989252f4e3fb0beb39874a078e2 LABEL maintain