A simple way to share Jupyter Notebooks Enter the location of a Jupyter Notebook to have it rendered here:
nbviewer.ipython.org - A simple way to share Jupyter Notebooks
A simple way to share Jupyter Notebooks Enter the location of a Jupyter Notebook to have it rendered here:
社内マーケター向けの機械学習プラットフォームを作りました - 一休.com Developers Blog
はじめに こんにちは。データサイエンス部の平田です。 一休でのデータ分析はJupyter NotebookやJupyter Labを用いてDWHにアクセスして行われることが多いですが、サービスそのものと分析環境が乖離していることにより、分析結果を継続的にサービスに取り込むのが難しい状況でした。 また、マーケティング部の方々がJupyterを使用して分析した結果に基づいて継続的に施策を行おうとしても、Airflowに組み込む際のエンジニアの負担はそこそこありますし、修正するたびに依頼をしなければならないなどコミュニケーションコストも発生します。 さらに、マーケティングに機械学習を取り入れたい場合でもairflow側で全部やってしまうと密結合になってしまいます。 そこで、Airflowから別の場所にあるJupyterを直接実行することによりエンジニアの負担は最小限にとどめ、自由に施策を打てるよ
定番のPython機械学習ライブラリ「scikit-learn」ではじめての学習モデル作成から改善まで (1/3)：CodeZine（コードジン）
本連載ではプログラミングの基本は理解しているが、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語の中でも特にデータ解析環境が整っているPythonをとりあげ、対話型解析ツールやライブラリによるデータ解析の実行・可視化の方法をを解説します。第4回となる本稿ではPythonによる機械学習を解説します。まず機械学習の概観について確認し、Jupyter Notebookとライブラリscikit-learn使った機械学習の手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい方 サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 機械学習の概要 本稿では、実際にPythonでの機械学習に入る前に、機
Pythonで機械学習をするための環境を雑にセットアップする方法（Jupyter notebook環境、ディープラーニング環境含む）on Mac/Linux - karaage. [からあげ]
Pythonで機械学習を始める 最近、Pythonで機械学習を勉強したり、色々試したりしています。そんな中、何度もやり直しているのが環境のセットアップ。必要なものを必要なときにインストールしてければ良いのですが、最近は「とりあえずこれだけ入れておけばOKかな」という感じに、環境を雑にセットアップすることが多くなってきました。需要があるかわかりませんが、自分としては大体のことができるので、良い感じかなと思っているので、自分のメモを兼ねて公開してみたいと思います。 MacはOS X（試した環境はiMac Retina4K 21.5-inch 2017 + macOS Sierra 10.12.6)、LinuxはUbuntu 16.04を想定しています。 Pythonの機械学習環境セットアップ とりあえず、ターミナルを開いて、下記のコマンドをひたすらコピペしていけばセットアップできるようにしてみ
![Pythonで機械学習をするための環境を雑にセットアップする方法（Jupyter notebook環境、ディープラーニング環境含む）on Mac/Linux - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/35680e74d0dd0eee59971df3ba1a6dc682d1e83d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20170925%2F20170925134020.png)
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re
News¶ 2019/12/06: 講義資料Ver 1.1を公開（2019年度版） 2018/12/17: 講義資料Ver 1.0を公開（2018年度版） 本講義資料について¶ 本ページは 日本メディカルAI学会公認資格：メディカルAI専門コースのオンライン講義資料（以下本資料） です． 本講料を読むことで，医療で人工知能技術を使う際に最低限必要な知識や実践方法を学ぶことができます．本資料は全てGoogle Colaboratoryというサービスを用いて執筆されており，各章はJupyter notebook (iPython notebook)の形式（.ipynb）で以下のリポジトリにて配布されています（notebooksディレクトリ以下に全ての.ipynbファイルが入っています）： japan-medical-ai/medical-ai-course-materials 想定受講者¶ 受
Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末（2015/02/27）のIPython 3.0のリリースでIPython Notebookが大きく変わり、（まだ開発版ですが）Rとの連携もかなり楽になりました！というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
Jupyter (iPython) Notebookを使ってプレゼンテーション資料を作る方法 - MyEnigma
データ分析ツールJupyter入門posted with カエレバ掌田津耶乃 秀和システム 2018-05-31 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに reveal.js reveal.jsでのプレゼンスライド操作 Jupyterにおけるプレゼンテーションスライド作成 1.スライド用のJupyterノートブックを作成する 2.スライドの設定 3.スライドをブラウザに表示する 注意点 nbviewerを使ってプレゼン資料を公開する 使い方 nbviewerのプレゼン資料が更新されない場合 ブラウザでGUIを使ってプレゼン資料を作る 参考資料 MyEnigma Supporters はじめに 先日、 Pythonのブラウザインターフェイス、 Jupyter (iPython) を使って 技術ノートを作る方法を紹介しましたが、 myenigma.ha
The buy will benefit ChromeOS, Google’s lightweight Linux-based operating system, by giving ChromeOS users greater access to Windows apps “without the hassle of complex installations or updates.”
VS CodeからJupyter Notebookを使ってみよう：Visual Studio Codeで始めるPythonプログラミング（1/3 ページ） Python人気を支えるツールの1つ「Jupyter Notebook」。VS Codeからこれを使ってみよう。Jupyter拡張機能が提供する機能も一覧する。 連載目次 前回はVisual Studio Code（以下、VS Code）でPythonコードをデバッグする上での基本を見た。今回はVS CodeからJupyter Notebookを使ってみよう。なお、本稿ではWindows版VS Code（64ビット）のバージョン1.24およびJupyter拡張機能のバージョン1.1.3で動作を確認している（macOS版でもある程度の確認は行っている）。 VS CodeでJupyter Notebookを使うために必要なもの Jupyte
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
IPython provides a rich architecture for interactive computing with: A powerful interactive shell. A kernel for Jupyter. Support for interactive data visualization and use of GUI toolkits. Flexible, embeddable interpreters to load into your own projects. Easy to use, high performance tools for parallel computing. To get started with IPython in the Jupyter Notebook, see our official example collect
Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.
Google Colab
Sign in
VSCodeのPython拡張機能が更新されたと発表され、Jupyter Notebookの扱いが便利になったようなので確認してみました。 要約 VSCode上でPythonコード(拡張子.py)を#%%の区切り単位で実行できる 実行結果はコードと合わせてJupyter Notebook形式(拡張子.ipynb)で出力できる 逆に既に作成されたJupyter Notebook形式のファイルを#%%で区切られたPythonコードに変換することもできる つまりVSCodeのみでJupyter Notebookの新規作成や既存ファイルの編集を完結させられる 環境 OS : Windows10 (10.0.17134) Visual Studio Code : 1.28.2 VSCodeのPython拡張機能 : 2018.10.1 python : 3.6.6 jupyter : 1.0.0 j
始めに music21はMITが作ったpythonの音楽情報処理ライブラリです。 musicology(音響学・音楽理論)の研究への利用を目的に作られたそうで、 結構いろいろできるらしいので、勉強がてら触ってみました。 難しいアルゴリズム等の話はほとんどしないので、プログラマでない方も出力結果だけ見て「こんなことができるんだ」と思ってもらえるような記事になればいいな、と思っています。 ちなみに、21というのはMITでの音楽コースに割り当てられた講義番号に由来するそうです。留学したい。 基本的に公式のドキュメントを順に追ってくだけです。ここの内容を実行しながら感想を書く、という記事です。 環境 macOS(10.15.7) python3.8.5 jupyter-notebook Musescore version-3.4.2.25137 Musescoreというのはフリーの楽譜作成ソフトで
We are proud to announce the beta release series of JupyterLab, the next-generation web-based interface for Project Jupyter. tl;dr: JupyterLab is ready for daily use (installation, documentation, try it with Binder) JupyterLab is an interactive development environment for working with notebooks, code, and data.The Evolution of the Jupyter NotebookProject Jupyter exists to develop open-source softw
Pythonを使ったデータ分析に関する内容をJupyter Notebookにまとめ始めました - c-bata web
研究をかれこれ2年半ぐらい続けてきたので、研究をする中で必要になった機械学習の手法について調べたりコードを書いたりしてきたのですが、まだまだ触ったことのない機械学習の手法も多く、研究で必要になる手法以外の知識も付けたくなってきたので、勉強し始めました。 Sphinxにまとめるか悩んだのですが、「ひとまず簡単にスライドにできること」・「手元でもすぐにコードを実行できる」という理由でJupyter Notebookを使用しています。 もし誤りやタイポ等があれば、IssueやPRお待ちしております。 github.com 今のところ↓の2つについてまとめました。 Jupyter Notebook / Numpy / Pandas / matplotlib入門 決定木(Decision Tree) ノートブックの内容一覧 内容については今後何度も変更をすると思いますが、とりあえず今の予定としては下
はじめに Jupyter notebookの進化形、Jupyter Lab。見た目が綺麗で使いやすいです。 今回は2021年6月現在で使用できる便利な拡張機能をご紹介します。 各拡張のインストール方法については、それぞれの拡張機能名のリンクからgithubに飛び、公式が案内している方法に従ってください。お使いのjupyterlabのバージョンによって必要な手順が変わる拡張もあります。 (余談:実際にこれらの拡張機能を使ってみて、個人的に特に便利だと思ったのは ・3.コード自動整形 ・4.Vim風キーバインド ・5.TensorBoard管理 の3つでした。時間がなければこの3つだけでも十分かも知れません。) ※JupyterLab,Node.jsが既にインストールされていることが前提です。 ※拡張機能によっては最新版のjupyterlabに対応していないものもあり、きちんと動作するかは自環
Python in Visual Studio Code – October 2019 Release - Python
We are pleased to announce that the October 2019 release of the Python Extension for Visual Studio Code is now available. You can download the Python extension from the Marketplace, or install it directly from the extension gallery in Visual Studio Code. If you already have the Python extension installed, you can also get the latest update by restarting Visual Studio Code. You can learn more about
Google Colaboratoryで試せる面白い機械学習プロジェクト6選投稿者: tsukurel 投稿日: 2020年6月10日2020年6月10日 Google Colaboratory（略称Colab）はご存じでしょうか。名前の通りGoogleによって提供されているサービスで、PythonをWebブラウザ上で実行できるJupyter Notebookを提供しています。さらにGPUが無料で実行できるとあって、機械学習系のプロジェクトでも利用されています（実用というより実験などで用いられています）。 今回はそんなGoogle Colaboratoryで実行できる面白いプロジェクトを幾つか紹介します。Open in Colabの画像をクリックすれば、それぞれのプロジェクトをすぐに試せます。 動画中の車認識 Google公式に提供されているプロジェクトです。道路を走っている車を認識し、車
[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO
こんにちは、Mr.Moです。 下記の記事を見てVS CodeのPython拡張でJupyter Notebookが使えることを知り便利そうだなーとしばらく直感的に使っていましたが、そろそろちゃんと使いこなしたいので用意されているデータサイエンスチュートリアルを参考にしならが使い方をマスターしていきたいと思います！ Visual Studio CodeでJupyter Notebookを動かしてみた データサイエンスチュートリアルとは VS Codeの公式ページあるチュートリアルです。March 2020 (version 1.44)のアップデートで公開されたようですね。 https://code.visualstudio.com/docs/python/data-science-tutorial チュートリアルを参考にしながら使い方を確認していく さっそくチュートリアルを進めていきます。あ
![[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3a3cd126b780dcd4cdffcaa7d018424e8c697cb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F06%2Fvscode-2019-eyecatch-1200x630.png)
時は戦国 Python には作図ライブラリがたくさんあります。 最もデファクトスタンダードに近く歴史も古い作図ライブラリは matplotlib で間違いないでしょうが、それでも R における ggplot2 ほどの地位は確立していないように思います。 特に、Jupyter-notebook 上ではインタラクティブなグラフを表示するニーズがあり、そこでは静的なグラフよりもさらにライブラリが割拠している印象があります。何がどう違うのかよくわかりません。 そこで今回は代表的な作図ライブラリの Jupyter-notebook 上での 違いについて簡単にまとめます。 注意 各ライブラリはいずれも細かくグラフのスタイルを設定可能で、やろうと思えば同じような見た目のグラフを生成することも可能ですが、今回はできるだけ何も設定せずにプロットした時のグラフを使います。 今回試すライブラリたち matplo
対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい方 サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 Pythonとデータ解析環境の概要 本連載ではPythonによるデータ解析について解説していきます。まずスクリプト言語としてのPythonとデータ解析環境の概要を確認します。 データ解析に適したスクリプト言語 データを集めたり加工したりする過程でよく使われるのがスクリプト言語です。データ解析の場面で必要なデータはさまざまな場所に存在してます。初めて見るデータを扱うことも珍しくありません。サーバーからダウンロードする場合もあれば、API経由で取得するものもあります。他のツールに受け渡すために、加工（前処理）が必要なデータもあります。スクリプト言語はこのような課題を解
VS CodeでJupyterしてみよう
Jupyterは、オープンソースで開発が進められているプロジェクト（Project Jupyter）です。Pythonなどのプログラミング言語で記述された実行可能なコードと、Markdownで記述されたコードに関連ドキュメントを、「ノートブック」と呼ばれる単一のファイルにまとめることが可能な環境の構築を目指しています。 このプロジェクトの代表的な成果物が、コードとドキュメントをひとまとめに扱えるノートブックをWebブラウザ上で実現するWebアプリ「Jupyter Notebook」や「JupyterLab」です。Visual Studio Code（以下、VS Code）にPython拡張機能とJupyter拡張機能をインストールすることで、このノートブック環境をVS Code内で実現できます。今回はその基本を見ていくことにしましょう。 必要なもの 以前のバージョンのVS CodeではPy
pandasでよく使う文法まとめ - Qiita
Pythonのデータ分析用ライブラリ「pandas」でよく使う文法をまとめました． Change log 2019-02-18 表示拡大の方法を更新 2018-05-06 コメント反映（pd.set_option('display.width', 100)） 2018-02-14 リンクの修正 2017-11-01 df.fillna(method='ffill')の説明を修正 2017-06-09 リンク切れ等の修正 2016-10-10 例の編集 2016-06-21 df.rolling, pd.date_range, pd.datetime, df.pivotの追加，その他の例の追加
今までも、いくつか拡張機能は使っていたものの、大部分は使わずに過ごしていたため、食わず嫌いはいけないな・・と思いドキュメント読みながら使ってみてまとめます。 まえおき 拡張機能（nbextensions）自体や、過去の記事で触れたHinterlandやTable of Contents (2)などはそちらの記事（Jupyter 知っておくと少し便利なTIPS集）をご確認ください。 結構抄訳などしています。（浅く広く。詳細はドキュメントに任せるとして、こんな拡張機能あるのか、程度にご使用ください） nbextensionsを入れたときに最初から入っている拡張機能を対象とします。 全部といっても、nbextensionsの設定画面を表示するための拡張機能だったり、基本的にデフォルトで有効で、且つ変えることがほぼなさそうなものは割愛します。 環境は「Python 3.6.5 :: Anacond
![[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7051e96f1fa538cee9c1c13ba575a4782ce132ba/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU0JUJEJTlDJUU2JUE1JUFEJUU1JThBJUI5JUU3JThFJTg3JUU1JThDJTk2JTVEJTIwSnVweXRlciVFMyU4MSVBRSVFNiU4QiVBMSVFNSVCQyVCNSVFNiVBOSU5RiVFOCU4MyVCRCVFMyU4MiU5MiVFNSU4NSVBOCVFOSU4MyVBOCVFOCVBQSVCRiVFMyU4MSVCOSVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NTI5OTM5NDhiNWRjMTg0YmVkOGIxMzY2ZTVkYjE5Nzk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaW1vbnJpdGNoaWUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTAzNTFhOWFiMzVlNjQwNDIxNzY0MDEzZTMzZTZhNmZk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D8ccfc5b5c5eac000afcf931f941d7e75)
Ruby Business Users Conference で Ruby-Python 間ブリッジの PyCall について現状報告をしました - Speee DEVELOPER BLOG
開発部 R&D グループで研究開発をしている CRuby コミッターの村田 (mrkn) です。 2/23 に渋谷で開催された Ruby Business Users Conference 2017 *1 でキーノートスピーカーとして講演をさせていただきました。 内容は、Ruby で統計分析や機械学習ができない現状についての解説と、その状況を打破するために私が現在開発を進めている pycall.gem のデモンストレーションでした。 カンファレンス当日に使用した資料は私個人の Speaker Deck で公開していますので、そちらをご覧ください。 カンファレンスの発表後、当日カンファレンスで一緒だった YassLab の安川さんがデモ部分の動画を facebook で公開し、twitter で拡散してくださいました。 .@mrkn さんの PyCall を使ったデモがスゴい！😆 #RBU
データ分析環境の構築にDockerを利用しよう
📜 要約 コンテナー管理ソフトウェアのDockerを利用することで、データ分析の場面で利用頻度の高いRおよびPythonの分析環境として実行することが出来るRStudio Server、Jupyter、Beaker Notebookを容易に構築可能になる。Dockerを使うことの利点として、複数人でのデータ分析や将来の利用面においてデータ分析結果の再現性を高められると考えられる。 🍵 前置き〜データ分析者が直面する再現性への挑戦 データ分析の結果が、自分以外では再現できない、同じデータを使っているのにナンデ！？ということが時々あります。その原因として多いのが分析に関わる人間が利用する実行環境の違い、です。大きなものではOS、小さなものでは分析に利用するツール本体や拡張機能（パッケージやモジュール）のバージョンの違いがあります。 こうした再現性の問題は、複数人でデータ分析を行う時だけでな
概要 最近、シストレの勉強を始めました。 もともと趣味でFXをやっているので投資に関する知識はそれなりにあるつもりですが、シストレに関しては全くの素人であるため何をやれば良いのかいまいちわかっておりません...。 そこで、何はともあれまずは為替レートを取得し、あわよくばそれをチャートに起こすところからスタートしたいなと思い、色々試行錯誤した結果をメモ書きしておきます。 仕様 Docker Python3 Jupytar Notebook Jupytar Notebookとは: Webブラウザ上でPythonを記述・実行できる統合開発環境の事。 環境構築 Jupytar Notebookを利用する方法は色々あるみたいですが、今回は公式が配布してくれているイメージを使いDockerでサクッと環境構築していきたいと思います。（めちゃくちゃ簡単でした。） 各ディレクトリ&ファイルを作成 $ mkd
Web上でJavaScript版Jupyterのような高機能ノートブックを作成できる「Observable」を使ってみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、話題のJupyter Notebookみたいな使い方ができるノートブックを面倒な環境設定不要で、手軽にブラウザ上から無料で作成できるサービスのご紹介です。 マークダウンで文章を書いたりJavaScriptによるコードを実行することが可能で、HTMLを使ったUI部品の挿入やデータの可視化・マッピングなども自由に作成できるのが特徴です。 誰でも簡単に使えるように工夫されており、学習用途や教材作り…ブログのような使い方もできる万能型のノートブックと言えるでしょう。 【 Observable 】 ■「Observable」の使い方 それでは、実際に「Observable」を使いながらどのようなサービスなのかを見ていきましょう！ サイトのトップページにアクセスしたら「Try the scratchpad」と書かれたボタンがあります。 このボタンを
無料でPython／機械学習できるAmazon SageMaker Studio Labとは？ Colabと比較
連載目次 Python／Rコードの実行や機械学習／データサイエンスの実装を無料でオンライン実行できる環境といえば、Google Colaboratory（略してColab）が特に有名である。2021年12月1日、そのColabに強力なライバルが現れた。「Amazon SageMaker Studio Lab」（アマゾン・セージメーカー・スタジオ・ラボ）だ*1。 *1 日本語では「ラボ」だが、英語では「ラブ（Lab）」と発音するのが普通。「スタジオ」は英語では「ステューディオ（Studio）」。「セージ（Sage）」とは、ハーブや花の名前ではなく「学び経験を積んだ賢者（Wise old man、例えばハリー・ポッターのダンブルドア校長は魔法の賢者）」のことで、賢者は「機械学習モデル」を暗喩すると思われるが、一説にはマーケティング目的で独自用語にするためにランダムな単語生成で命名されたという噂
[Batfish] ネットワーク機器のコンフィグを読み込んでルーティングなどの様々な検証ができるツール「Batfish」の紹介 - てくなべ (tekunabe)
■ Batfish とは: 実機に接続することなくコンフィグを検証 Batfish は、ネットワーク機器のコンフィグの様々な検証ができるツールです。 実機に接続する必要はありません。 準備したコンフィグファイルを読み込んでパースし、解析して内部でネットワーク機器が動作するようなイメージです。 本体は Java で書かれていて、Python から扱うためのクライアントである pybatfishもあります。 設定変更のコンフィグの妥当性を、あらかじめ Batfish で確認してから実機に投入する、というようなことが実現できるのではないかと、最近興味を持ちました。 明日調べる / Batfish "An open source network configuration analysis tool" https://t.co/eoAHh8QW0l— よこち(yokochi) (@akira659
![[Batfish] ネットワーク機器のコンフィグを読み込んでルーティングなどの様々な検証ができるツール「Batfish」の紹介 - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/28bda219068c284c26344f77753b1e56a74224d9/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fakira6592%2F20181025%2F20181025150354.png)
IPythonの使い方 - Qiita
IPython 2.0のリリース記念に使い方を紹介します。 IPythonて何だよクソが IPythonは、Pythonの対話型インタプリタを強力に(本当に強力に)拡張したものです。 といってもただの拡張に留まらず、大きく分けると以下の機能を持っています。 拡張された対話型シェル 分離型プロセス間通信モデル 並列コンピューティング機構 ですが、まずここはやはり、IPythonの強力な対話型シェルについて使い方を簡単に書いていきます。 では、まずはインストールしましょう。
Jupyterとは？ まず、Jupyterの紹介をすると、これは、Python（IPython）による対話的なデータ分析処理をWebブラウザ上の「ノートブック」で実施するツールです。下記のように、Markdownで記述した文章とコード、そして、その実行結果が記録されていきます。 作成したノートブックは、JSON形式でエクスポートしてGitHubで共有することができます。GitHubのWebサイトでは、自動的にノートブック形式にレンダリングして表示されるようになっています。現在は、Tex形式の数式がうまく表示されない問題があるようですが、下記のような感じになります。 ・ロジスティック回帰による二項分類器の作成 また、受け取ったノートブックは、自由にコードを修正して再実行することができますので、データ分析のコードとその説明をノートブックにまとめておけば、「実行できる教科書」が実現することになり
Deep Learningの学習の様子を可視化する、fastprogressがすごく良さげ - Qiita
TL;DR fastprogressを使うと、Deep Learningのモデルを学習させるとき自動で色々なものを出力してくれてすごく便利 特にjupyter上で学習を回すときにはとても良さそう 実際にfastprogressを使って学習を回すと以下のような感じになる (fastai/fastprogress: Simple and flexible progress bar for Jupyter Notebook and console より) fastprogressでできること 1エポックごとに、損失関数とかmetricsの値を標準出力に出力させたい 学習の進み具合を示すプログレスバーを、上記の標準出力と喧嘩しない形で表示させたい できればリアルタイムで学習曲線の表示もしてほしい... fastprogressを用いると全部実現可能。 これを使えば、少なくともDeep Learni
これは、Open and Reproducible Science Advent Calendar 2019：13日目の記事です。 記事の目的 統計解析といえばRです。 しかし私のようにPythonだけでなんでもやりたい人もいます。 そんな人に向けて、Pythonで統計解析を行う上で便利なライブラリやテクニックをご紹介します。 同じテーマの記事や書籍も多々ありますが、他ではあまり紹介されていないものを中心にまとめるつもりです。 各ライブラリ・テクニックの詳細についてはなるべく別記事を紹介する方針です。 対象：Pythonを使ったことはあるけれどガチではない人 Jupyter Notebook / Lab 様々な記事で紹介されているド定番ですが、一応ご紹介します。 なぜ私たちはSPSSのようなGUIベースでなく、PythonやRのようなプログラムベースの統計ソフトを使うのか。 それは高価だか
GitHub - oreilly-japan/deep-learning-from-scratch: 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
KL情報量(カルバック・ライブラー・ダイバージェンス)は、確率分布どうしの距離的な尺度で、次元削減とか機械学習とかいろんなところでとってもよく出てきます。が、使うときはその意味はあまり考慮する必要はないので、今回はあえてそこを考えます。 情報量 まず、情報量について考えます。情報量というのは、情報の価値の指標です。情報の価値は、その情報が発生する確率に依存します。起こるのが珍しいほど良い情報ということです。 例えば、「宝くじが当たった」という情報は情報量が高く、「地球がまわった」という情報は情報量が低い、というようになっています。まあ、確かにレアなものほど嬉しい気はしますよね。こういったように情報量という指標をシャノンさんが定めました。具体的には次式のように表現します。 は単調増加の関数で、確率の逆数をとっているので、はが小さいほど大きくなるような量として設計されていることがわかります。こ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メディカルAI専門コース オンライン講義資料
プログラミング言語のコードを逐次実行できるノートブック環境「JupyterLab」がスタンドアロンアプリに／Windows、Mac、Linux（Debian/Fedora）で利用可能
TechCrunch | Startup and Technology News
VS CodeからJupyter Notebookを使ってみよう
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
Jupyter and the future of IPython — IPython
Deep Learning基礎講座演習コンテンツ 公開ページ
VSCodeのPython拡張機能が便利になったらしいので試してみた - Qiita
Pythonの音楽情報処理ライブラリmusic21の紹介 - Qiita
JupyterLab is Ready for Users
JupyterLabのおすすめ拡張機能9選 - Qiita
Google Colaboratoryで試せる面白い機械学習プロジェクト6選 – ツクレル
Jupyter-notebook の作図ライブラリ比較 - Qiita
本格的なPythonデータ解析環境を手軽に！ 「Jupyter Notebook」の導入から可視化まで
[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita
Pythonで為替レートを取得しチャートとして可視化するまでの手順 - Qiita
JupyterでTensorFlowが使えるDockerイメージ - めもめも
Python統計テクニック集 ～Pythonで抗う統計解析～ - Qiita
KL情報量を概念的に理解する - PlayGround