爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りました - Qiita
機械学習の実験における悩みの一つに実験の再現性があります。再現性は実験を共同研究者に引き継いたり、ソフトウェアエンジニアにモデルをデプロイしてもらう時に問題になります。残念ながら、機械学習で利用するライブラリは数も多く、アップデートも頻繁に行われます。そのため動作する開発環境を維持、共有するのは難しい問題と言えます。 そこでデータサイエンティストが実験結果を他人に引き継ぐことを容易にするテンプレート、Cookiecutter Docker Science を作ってみました。このテンプレートは機械学習の実験環境を Docker コンテナ上に爆速で構築できます。仮想環境なのでライブラリ群の不足やバージョンの不一致に悩まされず実験結果を確実にシェアできます。 また Docker でコンテナを作ったり、削除したり設定したりといった作業の煩雑さを低減するための機能を提供しています。そのため、データサ
DockerコンテナでPython3、Jupyterの入ったデータ分析環境を作成 - Hello, Data Science
背景 データ分析コンペに参加した時に、爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りましたを参考に、DockerコンテナにJupyter notebookが使える環境構築をしたのでその手順についてまとめました。めちゃくちゃ早く環境構築ができるのと、Dockerコンテナを利用することで環境の再現性が出る等のメリットがあります。 プロジェクトディレクトリ作成 cookiecutterのインストール $ pip install cookiecutter プロジェクトディレクトリの作成 $ cookiecutter git@github.com:docker-science/cookiecutter-docker-science.git project_name [project_name]: xxxxxxxxxx project_slug [national_par
AWS SageMaker上でMobileNet SSDのモデルを学習する - Taste of Tech Topics
皆さんこんにちは。@Ssk1029Takashiです 最近、AWSのSageMakerがいくつかアップデートがありました。個人的にはPyTorchのサポートがアツいですね。 さて、今回はSageMaker上で公式がサポートされていないアルゴリズムを学習する場合に、どのような方法があるのかを紹介していきます。 モデルはMobileNet SSDを題材として見ていきましょう。 SDK？コンテナ？ SageMaker上で自前のモデルを作成する方法は２つあります。 SageMaker Python SDKを使う 自作のDockerコンテナを利用する 1の方法は、各フレームワークごとにSageMaker上で学習するためのスクリプト仕様が決まっていて、その仕様に沿って書けば学習・推論ができるようになっています。 例えばTensorflowであれば以下のページに仕様が載っています。 docs.aws.a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
