サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
アメリカ大統領選
marmarossa.hatenablog.com
概要 AWSのlambda関数で、外部のライブラリを実行したい場合、昔は、デプロイパッケージに、利用するコードを全て含めてやる必要がありました。 ただ、pandasやscikit-learnなどの重量級のライブラリの場合、毎回アップロードするのは、きついものがあります。 例えば、pandas(依存関係のあるnumpyなども含む)だと、圧縮状態で35Mbyteほどあります。 そこで、AWS Lambda layersの出番です。 これを使うことで、外部ライブラリのアップロードは、1回で済む様になり、自分で書いた部分のみを更新していけば良いことになります。 また、他のlambda関数でも使い回し可能です。 docs.aws.amazon.com 手順 以下、pandasを例にした手順です。 とりあえず、lambda関数の実行環境を確認します。 19年2月現在は、以下の通りでした。 Python
はじめに 本記事は、大規模な学習はクラウドで、デバックはローカルで、(ついでに小規模な学習も)と言う人向けの記事です。 目的は、Mac(MacBook AirやMacBook Pro)で深層学習を行う環境を整えることになります。 グラフィックカード、深層学習用のライブラリ(Chainer)の順で、準備をします。 グラフィックカードの準備 私は、ノート型のMacを使っているので、GPUは外付けにしました。 GPUは、深層学習用のライブラリが動作するNVIDIAのGTXシリーズの中から選びます。 最近、アップルが外付けGPUを発表しましたが、AMD Radeonなので、今回の目的には合いません。 External Graphics Development Kit - Apple Developer 既製品を利用する場合 GTX 1070が搭載されているので、今回の目的にうってつけだと思います。
Word2Vecを計算するまでの全手順を書いておこうと思います。 ご存知の方も多いと思いますが、Word2Vecは、単語をvector化して扱う技術です。 以下の解説がわかりやすいと思います。 Vector Representations of Words | TensorFlow 同じような使われ方をする単語同士が近くなります。 例えば、「夏」という単語の近くには、「冬」が配置されます。 さらに、vector化することで、単語の足し引きができるようになります。 例えば、「叔母」ー「女」+「男」=「叔父」となります。 前置きは、これくらいにして、実際に計算するまでの手順に移りたいと思います。 Word2Vecを計算するまでの概要 学習に利用する文章の収集 今回は、wikipediaの全文から学習させます。 フィルタリング wikipediaには、学習には必要のないXMLのコンテナ部分や
このページを最初にブックマークしてみませんか?
『marmarossa.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く