MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56
先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root なども簡略化できます。そういうわけで、全体的な生産性の向上に繋がると信じています。 今回紹介する Makefile は Docker
AI学習の新定番「NVIDIA Jetson Nano 2GB 開発者キット」実機レビュー、話題のJetson AI認定制度も解説 - ロボスタ ロボスタ - ロボット情報WEBマガジン
2020年10月5日、NVIDIAからJetsonシリーズの新製品「Jetson Nano 2GB 開発者キット」(以下Jetson Nano 2GB)が発表され、59ドルの価格（日本国内販売はワイヤレスモジュール非同梱の54ドル版）とともに大きな話題になりました。「Jetson Nano 2GB」は、2019年3月に発表された「NVIDIA Jetson Nano 開発者キット」(4GB)と比べてメモリ容量が少なくなった代わりに価格を抑えた廉価版で、主に学生や教育者向けに位置づけられた製品です。 製品の発表のほかに、もうひとつ重要なトピックとして、NVIDIAが認定する「Jetson AI Certification」というAI認定制度がスタートすることも発表になりました。これからAI学習をはじめる人にとっては、まずは目指す目標のひとつとして、ビジネスでAIに関わっている人は修得するスキ
Docker入門して機械学習環境構築 - karaage. [からあげ]
最新版にアップデートしました。 古くなっていたところなど多数あったので、アップデートして所属のテックブログとして投稿しました。よろしければこちらをまずは参照ください。 このページは、残しておきます。 機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か？という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtu
![Docker入門して機械学習環境構築 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b11ffcf9f4021aa000a4e241f26e517441fe138/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190516%2F20190516000848.png)
検索組織の機械学習実行基盤 | Recruit Tech Blog
こんにちは、APプロダクト開発G Qassチームの内田です。 本稿では、リクルートテクノロジーズの検索チームの取り組みについて紹介します。 Qassチームの取り組み Qassチームは、リクルートテクノロジーズの検索特化組織です。リクルートグループの提供する様々なサービスに対して、 検索基盤の運用・検索ロジックの改善を行っています。詳しくはこちらの記事をご覧ください。2015年の記事なのでプロダクトに関しては現状と変わっているところもありますが、組織の役割については当時と大きく変わっていません。 今、Qassチームでは今までの検索基盤運用・検索ロジックの改善に加え、新たに機械学習実行基盤の構築を行っています。今回は、この基盤がどのような経緯で構築されることになったのか、またどのような構成で構築を行ったかを紹介します。 機械学習実行基盤 簡単にまとめると 取り組んだ課題：サービスごとに開発環境
マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 - LIVESENSE Data Analytics Blog
こんにちは、Analyticsグループの田中です。 以前は主にデータ分析基盤を開発・運用していましたが、現在は機械学習基盤の開発に携わっています。 今回はレコメンドエンジンを題材に、コンテナ技術を活用した機械学習システムのアーキテクチャをご紹介します。 リブセンスでのレコメンドエンジン開発 リブセンスでは以前から機械学習を利用したレコメンドエンジン開発に力を入れています。 このブログの初回の記事でも社内で利用しているBPMFアルゴリズムについて解説しています。 この記事にもあるのですが、社内のレコメンドをとりまく状況は次のような点が特徴です。 複数のサービスでそれぞれのニーズに合わせたレコメンドエンジンを開発・運用している マッハバイト・転職ナビ・転職会議などの各メディアでそれぞれ独自のレコメンドエンジンが稼働している 主な事業領域である求人・不動産サービスでは、アイテムの件数は多くないが
VSCodeでのPythonのデバッグと、Dockerコンテナ環境に接続してリモートデバッグする方法 - Qiita
経緯 この記事はPyCon JP 2017 Development Sprintsでの取り組みと、 その後の勉強会(Nagoya.Swift+ 9月度勉強会 - connpass)での取り組みをまとめたものです。 注記 下記の内容は2017年当時のものであり、現在ではよりよい方法があります。下記の内容に従って環境構築を行うのは、次の観点でおすすめできません。 pyenv が必要になるケースはかなり限定される一方、環境の構成に与える影響が大きいので導入には慎重になるべき Docker Container への接続を行った後のデバッグ手法については Remote Development でより容易に実現できる 例えば次に従うことで、Docker Container を開発環境として利用できます。 下記の内容は 2017 年当時の環境を知るための資料として残しますが、現在でもこの手順に従うことを
機械学習を勉強するときはDockerを使うと便利 - あさのひとりごと
いまお仕事の関係で、機械学習の教科書的な書籍を読んだりオンライン講座を受講したりしながらサンプルやチュートリアルを動かして勉強しています。 機械学習を勉強するときは、Pythonの環境を構築し、JupyterNotebookを使って、実際に手と頭を動かしながら行うのが効率的です。が、アルゴリズムの理論そのものの理解がすでにしんどい上、過学習対策のための正則化、汎化性能の評価、クロスバリデーション、不均衡データや少ないデータはどうすればいいか、などなどいちいち難しいことを数多く勉強しなければなりません。 その上、、、、機械学習での学習は、1度やれば終わり！ではなく、パラメータチューニングしたり、データを増やしたり加工したりしながら、繰り返しなんども行う必要があります。一見ビジネス寄り＆アカデミックな雰囲気を醸し出していますが、実際のところは、非常に泥臭い作業のオンパレードです。 が、、、、、
Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
Spark on Dockerで分散型機械学習を始める - Part1: インストール - Qiita
日経BPのITインフラテクノロジーAWARD 2015が発表されました。2015年にブレークすると予想されるクラウドやビッグデータの製品やサービスを選出しています。グランプリにDocker、準グランプリにApache Sparkが選ばれました。Sparkは2014年に入り盛り上がってきています。インメモリで高速に分散処理ができるため、機械学習のような繰り返し処理に向いています。MLibの機械学習ライブラリもあるので分散型機械学習フレームワークとして注目を集めています。そんなDockerとSparkを使い手軽に分散型機械学習の環境をつくり勉強していこうと思います。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Notebookを使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
