【JupyterHub】JupyterHubを複数ユーザーで使用するための環境構築方法 - 0.5から始める機械学習
JupyterHub こんにちは 今日はJupyter notebook/lab をグループ開発で使うためのJupyterHubを複数ユーザーで使えるようにするための設定方法についてまとめます。 最終ゴールは 複数ユーザーでログイン 各ユーザーが自由に仮想環境を作成することができる 各ユーザーが作成した仮想環境を共有できる とういところを目指して設定方法を説明していきます。 大まかに流れを説明すると Jupyter Hubへログインするユーザーの作成 Anacondaを特定のユーザーグループが使えるようにインストール JupyterHubのインストールと設定 Anaconda仮想環境の作成とJupyterのkernelへ追加 といった流れになります。 おまけでJupyter Labを使用する際に便利な拡張機能を紹介します。 導入環境 Ubuntu 16.04 Anaconda(4.6.12
Netron - 機械学習のネットワークを可視化
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 機械学習ではフォーマットの標準化が進んでいます。これまでTensorflowやCaffe、Chainerなど様々なソフトウェアがありましたが、生成されるモデルがONNXというフォーマットに統一されつつあります（他にもあるようですが）。 そんなONNXフォーマットのモデルをビジュアル化できるソフトウェアがNetronです。 Netronの使い方 ドロップしたところです。これは4か9を判別するモデルです。 拡大もできます。 パラメータも閲覧できます。 Netronを使うことでPythonのコードではなく、ビジュアル化されたモデルを通じて機械学習のネットワークを学ぶことができます。各ノードにおける出力の数も出ており、ネットワークの詳細が分かりやすくなるでしょう。 NetronはJavaS
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実
Numba — Numba
Numba makes Python code fast Numba is an open source JIT compiler that translates a subset of Python and NumPy code into fast machine code. Learn More Try Numba » Accelerate Python Functions Numba translates Python functions to optimized machine code at runtime using the industry-standard LLVM compiler library. Numba-compiled numerical algorithms in Python can approach the speeds of C or FORTRAN.
scikit-learn 0.20からクロスバリデーションの使い方が変更される模様 - verilog書く人
機械学習をやるときに結構良く使うところだなと思っていた、クロスバリデーションのスプリッター系モジュールのインターフェースが変わることに気づいたのでメモ。 scikit-learnの従来のクロスバリデーション関係のモジュール(sklearn.cross_vlidation)は、scikit-learn 0.18で既にDeprecationWarningが表示されるようになっており、ver0.20で完全に廃止されると宣言されています。 詳しくはこちら↓ Release history — scikit-learn 0.18 documentation まず、import元がsklearn.cross_varidationからsklearn.model_selectionに変わります。 これによって、例えば従来は from sklearn.cross_varidation import Stra
PythonのC言語拡張モジュール作成ガイド — PythonのC言語拡張モジュール作成ガイド
Python API¶ Python/C APIチュートリアル : http://docs.python.org/extending/index.html Python/C APIリファレンス : http://docs.python.org/c-api/index.html Python APIはPythonインストール標準のC言語APIを使用し、拡張モジュールを作成します。 #include <Python.h> static PyObject * fact(PyObject *self, PyObject *args) { int n; int i; int ret=1; if (!PyArg_ParseTuple(args, "i", &n)) return NULL; for (i=n; i>0; i--) ret *= i; return Py_BuildValue("i",
Page Redirection
If you are not redirected automatically, follow this link/a>.
Theano の 基本メモ - Qiita
ブログ投稿の続きとして、スライドに書けなかったTheanoの細かい部分についてもう少しまとめておこうと思います。 まず、Theano 解説 はTheano特徴を簡潔に表現されているので、一読をオススメします。 ここでも書かれていますが、Theanoの特徴として、 実行時にCコードを生成してコンパイル GPUでの実行のサポート(要CUDA) 自動微分 などがあげられると思います。 Theanoの超簡略チュートリアル http://deeplearning.net/software/theano/tutorial/index.html#tutorial の乱暴な要約です。 まず常にImportしておく３つ この３つはお約束です。 これだけ知っておけば概ね大丈夫 以下の事柄がだいたい理解できれば、Deep Learningの実装を読んで理解したり、変更を加えたりすることができると思います。 T.
3.1. Python での統計 — Scipy lecture notes
必要なもの 標準的な Python の科学技術環境 (numpy, scipy, matplotlib) Pandas Statsmodels Seaborn Python と依存ライブラリをインストールするのにに Anaconda Python か Enthought Canopy をダウンロードするか、Ubuntu や他の Linux ならパッケージマネージャーを利用する、ことをおすすめします。 参考 Python での Bayesian 統計 この章では Bayesian 統計については扱いません。Bayesian モデリングに関して特化したものとしては PyMC があり、 Python での確率を扱うプログラムを実装しています。 ちなみに どうして統計に Python を使うのか? R は統計に特化した言語です。Python は汎用の言語で、統計モジュールを持っています。R は P
「Perl, Python, Ruby の比較」があまりにもいい加減な件 - odz buffer
ref:Perl, Python, Ruby の比較 ref:はてなブックマーク - Perl, Python, Ruby の比較 ref:はてなブックマーク - Perl, Python, Ruby の比較 ちょっと遅くなったが以前宣言したとおり、書いておく。 「Perl, Python, Ruby の比較」はどうも調査が足りないのか、結果的にかなり嘘のまじった文章になっている。あくまで、初心者の私見ですので気軽に聞き流してください。とはあるものの、はてブのコメント等で「参考になる」とか言っている人もいる*1ので一応指摘しておこうと思う。 3.2 次に Python 変数はデフォルトで局所変数となるので、 Perl のように my で宣言する必要はありません。 my を強制することで変数の typo を防げるという視点が抜けるのは若干フェアではないですね。 それから、Python には
Usage — Matplotlib 2.0.2 documentation
General Concepts¶ matplotlib has an extensive codebase that can be daunting to many new users. However, most of matplotlib can be understood with a fairly simple conceptual framework and knowledge of a few important points. Plotting requires action on a range of levels, from the most general (e.g., ‘contour this 2-D array’) to the most specific (e.g., ‘color this screen pixel red’). The purpose of
Jupyter Notebookをインストール・設定して勉強ノート作成環境をつくる [Mac] - Qiita
Jupyter Notebookとは Jupyter Notebookはプログラムコードや数式、図、説明文などを含む文書を作成し、共有することが出来るWebアプリケーションです。 以下の様な特徴が公式サイトで挙げられています。 PythonやR、Scalaなど40以上のプログラミング言語をサポート 作成したノートブックはemailやDropbox、GitHub、Jupyter Notebook Viewerで共有することが出来る。 ノートブックはipynbという拡張子でjson形式に保存されるが、htmlやpdfなど他の形式に変換が可能 入力されたコードはインタラクティブに処理され、画像やビデオ、LaTeXやJavaScriptなどとして出力が可能 他にも 説明文としてMarkdownを使用する事ができる $$で囲うとLaTeXのコマンドが認識されて使用可能（基本的に数式しか対応していない
![Jupyter Notebookをインストール・設定して勉強ノート作成環境をつくる [Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c84172a21f65a14487da9742865afe87a2fc72ca/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGOTk1NzIlMkZwcm9maWxlLWltYWdlcyUyRjE0NzM3MDc4MzI_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmJnPUZGRkZGRiZmbT1wbmczMiZzPTE5ZmRkYjA4MDc3YTk4NjE1OTNhYjYxODkyYzhlYTcw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D65a1871dabc1c45653a384bf3121dd96%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9SnVweXRlciUyME5vdGVib29rJUUzJTgyJTkyJUUzJTgyJUE0JUUzJTgzJUIzJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgzJUJDJUUzJTgzJUFCJUUzJTgzJUJCJUU4JUE4JUFEJUU1JUFFJTlBJUUzJTgxJTk3JUUzJTgxJUE2JUU1JThCJTg5JUU1JUJDJUI3JUUzJTgzJThFJUUzJTgzJUJDJUUzJTgzJTg4JUU0JUJEJTlDJUU2JTg4JTkwJUU3JTkyJUIwJUU1JUEyJTgzJUUzJTgyJTkyJUUzJTgxJUE0JUUzJTgxJThGJUUzJTgyJThCJTIwJTVCTWFjJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZjU5NmU0MzM1NzI0YWNmOTZkNDI5YWIxZGQxNTlmNDQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzYXNha2k3NyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWM1NDBkN2I1OTBhMGFiMzZmMjNiNmZmZDE0NmEzMWRi%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D32590d6a26ac91862d51abd9a805342b)
JupyterHubの構築 - Qiita
JupyterHubを構築する みなさまはPythonのコーディング環境、なにを使っていますか？ Jupyter Notebookという人も意外と多いと思います。 Jupyter NotebookはWebブラウザで使うコーディング環境で、プラグインを使うことでPython以外にもJavaやR等のコーディング環境にもなります。 Jupyter Notebookだけではユーザ管理はできず、グループで開発を行うときに不便です。 JupyterHubを使えばJupyter Notebookにユーザ認証のインターフェイスを付けることができるので、その構築方法を紹介します。 ※ Jupyter NotebookはAnacondaでインストールするのが簡単です。 https://www.continuum.io/downloads ※ JupyterHub http://jupyterhub.readt
Running a notebook server — Jupyter Notebook 6.4.5 documentation
Running a notebook server The Jupyter notebook web application is based on a server-client structure. The notebook server uses a two-process kernel architecture based on ZeroMQ, as well as Tornado for serving HTTP requests. Note By default, a notebook server runs locally at 127.0.0.1:8888 and is accessible only from localhost. You may access the notebook server from the browser using http://127.0
Nginx + notebook issue · Issue #625 · jupyter/notebook
[D 21:48:20.451 NotebookApp] Using contents: services/contents [D 21:48:20.452 NotebookApp] 200 GET /notebooks/Odd%20jobs.ipynb (<my-IP-address>) 1.86ms [D 21:48:20.574 NotebookApp] 200 GET /static/components/jquery-ui/themes/smoothness/jquery-ui.min.css?v=9b2c8d3489227115310662a343fce11c (<my-IP-address>) 0.82ms [D 21:48:20.583 NotebookApp] 200 GET /static/components/MathJax/MathJax.js?config=TeX
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あまり紹介されていない可視化ツールを試す - drillerの部屋
Trouble Loading in Python trained model into C# · Issue #3300 · microsoft/CNTK
scikit-learn に付属しているデータセット
Cython とは — Cython 0.17.1 documentation
とりあえず描く — matplotlib 1.0 documentation