Pythonでコードを書いてAWSやKubernetesのシステム構成図を出力できる「Diagrams」
システムの構成を社内で共有したり外部に説明したりする際に、システム構成図を作成した経験のあるエンジニアは多いはず。ダイアグラム作成ソフト「Diagrams」を使うと、AnsibleやSubiquityといった「Infrastructure as Code(IaC)」に関連するサービスのように、プログラミング言語のPythonでコードを書くことで、クラウドやオンプレミスの構成図を描くことができます。 Diagrams · Diagram as Code https://diagrams.mingrammer.com/ まずはDiagramsの動作に必要なパッケージをインストールします。今回Diagramsのインストールに利用するのはUbuntu 18.04です。 sudo apt install -y python3 python3-pip graphviz 続いてDiagramsをインスト
データ分析からAIアプリ開発まで優しく解説した書籍 - mojiru【もじをもじる】
Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」発行主旨・内容紹介 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」目次 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」Amazonでの購入はこちら 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」楽天市場での購入はこちら※電子書籍版です。 Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門 インプレスグループで電子出版事業を手がけるインプレスR&Dは、技術書典や技術書同人誌博覧会をはじめとした各種即売会や、勉強会・LT会などで頒布された技術同人誌を底本とした商業書籍を刊行し、技術同人誌の普及と発展に貢献することを目指し、最新の知見を発信する「技術の泉シリーズ」から2020年1月の新刊として、デ
分散深層学習における耐故障性と可塑性 - Preferred Networks Research & Development
ImageNetを15分で学習して以来 [1]、Chainerと沢山のGPUを使って深層学習を並列化し、一回の学習に必要な時間を大きく短縮することができるようになりました。その後、ImageNetの学習は深層学習における並列化 ・高速化のデファクト標準ベンチマークとなりました [2]。それと同時に、深層学習の並列化および大規模化は進み、複数GPUどころか複数ノードで学習することは当たり前のこととなりました。深層学習の計算が大規模化し所要時間はどんどん短くなりましたが、一般的にはノードが増えれば増えただけ部分故障の確率は高くなります。また、大規模なクラスタでは個々の分散ジョブをスケールアウトしたりスケールダウンする機能、つまり可塑性をもとにした計算資源のやりくりが運用上重要になってきます。そこでChainerを拡張し、分散深層学習に耐故障性だけでなく可塑性を導入する実験を行いましたので、ここ
TensorFlow 2.0のDockerコンテナをGPU+Python3+Jupyterで使う - Qiita
先日、TensorFlow 2.0が正式にリリースされました。 この記事では、GPUサポートを有効にしたTensorFlow 2.0のDockerコンテナでJupyterを起動し、チュートリアルを動かすまでの手順を紹介します。 主な手順: Dockerのインストール NVIDIAドライバのインストール NVIDIA Container Toolkitのインストール TensorFlowコンテナの起動 Jupyterにアクセス チュートリアルで動作確認 主な環境: OS: Ubuntu 18.04.3 LTS GPU: GeForce GTX 1050 Ti やり方 Dockerのインストール NVIDIA Container ToolkitがDocker 19.03を求めているので、バージョンが古い場合はアップデートしてください。 新規インストールする場合は次のコマンドを実行します。 $
pythonの環境構築戦争にイラストで終止符をどうやら打てない - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Pythonの環境構築は僕にとって、戦争でした。 如何せんツールが多すぎます。 インターネットで調べるとざっと挙げるだけで 元から入っているpython3 元から入っているpython3 + venv pyenv pyenv + pyenv-virtualenv pyenv + venv anaconda docker + python docker + anaconda ... 以上のような組み合わせが山程出てきます。 よく最近のゲームのキャラメイキングの 「組み合わせは無限大！」を思い出します。 この記事では、それぞれの環
Elasticsearchで分散表現を使った類似文書検索
概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に
(失敗)ETLも機械学習もGPUで！？ NVIDIA発表オープンソースGPUアクセラレーションプラットフォーム「RAPIDS」を試す2(パフォーマンス検証編) - Qiita
本記事は失敗記事。 出直してちゃんとうまくいった時は別途記事にする予定(上手くいく日がやって来れば、、、) 前回まで 前回記事:「ETLも機械学習もGPUで！？ NVIDIAオープンソースGPUアクセラレーションプラットフォーム「RAPIDS」を試す１(環境構築編)」 NVIDAが発表した「RAPIDS」なるプラットフォームを使うと、今までGPUで処理できなかったあんなことやこんなこともGPUで処理できるようになってなんか凄そう(語彙力皆無)ということで、RAPIDSを動作させるための環境構築を実施した。 今回はその続き。 前提 前回記事の内容等を利用して、RAPIDS Dockerコンテナ上のJupyterLabがホスト側で起動できていること 動作環境 OS Ubuntu16.04 64bit CPU Intel Core i7-7700 CPU @ 3.60GHz × 8 GPU NV
AWS LambdaでNumpy、Scipyを使ってみる！Serverless Frameworkとプラグインを使えばパッケージ管理が簡単！ ｜ DevelopersIO
Numpy、ScipyはLambdaのLayer機能を利用することで今回紹介する方法を使わなくても利用できます。AWSがNumpy、ScipyをホストしたLayerを提供しているので対象のLambdaのレイヤに設定することで利用できます。 詳細はこちらをご確認ください。 どうも！大阪オフィスの西村祐二です。 機械学習やデータ分析でよく目にするライブラリとして、Numpy、Scipyがあると思います。 今回、そのライブラリをAWS Lambda上で動かしてみた、という話になります。 通常、上記を実現するためにいくつか注意点があるのですが、Serverless Frameworkとプラグインのserverless-python-requirementsを使えば、その注意点をほぼ気にすることなく実現できたのでブログにまとめておきます。 AWS Lambdaで外部モジュールを利用する際の注意点 外
A Tutorial Introduction to Kubernetes
Published on 05.07.2018 Kubernetes is the hottest kid on the block among container orchestration tools right now. I started writing this post when we decided to go with Kubernetes at Twyla a year ago, and since then, the developments in the ecosystem have been simply overwhelming. In my opinion, the attention Kubernetes gets is completely deserved, due to the following reasons: It is a complete so
VSCodeでのPythonのデバッグと、Dockerコンテナ環境に接続してリモートデバッグする方法 - Qiita
経緯 この記事はPyCon JP 2017 Development Sprintsでの取り組みと、 その後の勉強会(Nagoya.Swift+ 9月度勉強会 - connpass)での取り組みをまとめたものです。 注記 下記の内容は2017年当時のものであり、現在ではよりよい方法があります。下記の内容に従って環境構築を行うのは、次の観点でおすすめできません。 pyenv が必要になるケースはかなり限定される一方、環境の構成に与える影響が大きいので導入には慎重になるべき Docker Container への接続を行った後のデバッグ手法については Remote Development でより容易に実現できる 例えば次に従うことで、Docker Container を開発環境として利用できます。 下記の内容は 2017 年当時の環境を知るための資料として残しますが、現在でもこの手順に従うことを
機械学習を勉強するときはDockerを使うと便利 - あさのひとりごと
いまお仕事の関係で、機械学習の教科書的な書籍を読んだりオンライン講座を受講したりしながらサンプルやチュートリアルを動かして勉強しています。 機械学習を勉強するときは、Pythonの環境を構築し、JupyterNotebookを使って、実際に手と頭を動かしながら行うのが効率的です。が、アルゴリズムの理論そのものの理解がすでにしんどい上、過学習対策のための正則化、汎化性能の評価、クロスバリデーション、不均衡データや少ないデータはどうすればいいか、などなどいちいち難しいことを数多く勉強しなければなりません。 その上、、、、機械学習での学習は、1度やれば終わり！ではなく、パラメータチューニングしたり、データを増やしたり加工したりしながら、繰り返しなんども行う必要があります。一見ビジネス寄り＆アカデミックな雰囲気を醸し出していますが、実際のところは、非常に泥臭い作業のオンパレードです。 が、、、、、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
