動機 Docker上でJupyter Notebookを使いたかったのでトークンとパスワード認証をスキップしたかった。 公式で NOT RECOMMENDED とされており、Macの場合Firewallを無効にしている場合にはネットワーク経由で不正にアクセスされる危険性が高いので自己責任で。 環境 macOS 10.14.1 Mojave Jupyter Notebook Data Science Stack 6.0.0.dev https://hub.docker.com/r/jupyter/datascience-notebook/ やり方 Security in the Jupyter notebook server — Jupyter Notebook 7.0.0.dev0 documentation の通り、 jupyter_notebook_config.py を編集する。*1
WEB上でPythonのコードが書けて出力結果もリアルタイムで見れて、さらにその履歴を残し、公開することもできる便利なJupitor Notebook 毎回 jupyter notebook で起動してToken含んだURLからアクセスするものの、次回以降はそんなURL覚えていられるわけもなく、 Token authentication is enabled If no password has been configured, you need to open the notebook server with its login token in the URL, or paste it above. This requirement will be lifted if you enable a password. って怒られる。仕方ないからJupyter notebookをリスタートさ
目次 モチベーション 想定読者 実作業 Dockerのインストール Dockerイメージの選択と取得 設定するパスワードのハッシュ文字列の取得 パスワードの設定とファイルの永続化を行い、データ分析環境のDockerコンテナを起動する モチベーション データ分析環境構築は、Dockerで作ってしまいたい。 Jupyterで、PythonかRかJuliaを使いたい。 各言語の定番ライブラリやパッケージは最初からある程度入っていて欲しい。 想定読者 Dockerで基本的なData Scienceの環境を構築したい人 あまりDockerやJupyterに詳しくない人 簡単にデータ分析環境を作ってしまいたい人 以上のような方が、この記事を通りにコマンドを入力すれば、データ分析環境の構築が出来ることを目指します。 現在のところ、macOS High SierraとUbuntu 18.04で、起動の確認
こんにちは、AI Lab の馬場です。 このブログは CyberAgent Developers Advent Calendar 2016 の11日目の記事です。 昨日は sitotkfm さんの「ログを集める時に気をつけたいポイント」という記事でした。 この記事では、僕が仕事でデータ分析をやっていく上で大変お世話になっている Jupyter Notebook の Tips をまとめてみます。Jupyter Notebook では便利な機能がたくさんあるので、ちゃんと使うと無駄作業の削減になります。僕もこれまで分析途中で「あーこれができたらなあ」と検索しては時間をつぶしてきたので、ここでまとめて記憶にとどめておきたいと思います。 図表・可視化系 notebook 内に図を表示したい 単純に jupyter notebook を起動して、pyplot などでグラフを描画しようとしても、図は
アウトラインメモです。時間があるときに詳細を書くつもり。 概要 同フォーマットで複数ある異なる種類のデータに対して、Jupiter Notebookで分析レポートを自動で作成できるようにする。 例えば、為替レート(USD/JPY,GBP/JPY...)のような時系列データにおいて、チャートや基礎統計量等、各種指標を見れるようなレポートをそれぞれのレートで自動的に作成したい場合。 背景 データを傾向を可視化するのにjupyter notebookを使っていた フォーマットは同じだが異なる種類のデータを可視化したい 可視化のテンプレートを作って、異なるデータに対して出力結果のhtmlを出力したい データ毎にJupyter notebookを実行してhtml出力するのは面倒臭いから自動化したい Jupyter notebookには標準入力のようなものがないので、コマンドライン等から引数を取って表
以下の記事のアップデート版です。Jupyter が5系にバージョンアップしているのと、イメージが整理されています。 Jupyter の Docker イメージを使ってみる - Qiita Jupyter は Python のツールである IPython から出発しましたが、データ分析の過程を Web 上で共有できますので、R でも使われるようになり、最近ではHadoop基盤をバックエンドとして Spark との統合も進んでいます。 Numpy, pandas に代表されるように、データ分析に必要なライブラリは依存関係が複雑化してインストールに苦労することもありますが、Docker を使うことで実行環境のポータビリティを向上できます。また、実行環境をコンテナごとに分離できますので、Hadoop上でDockerを動かす仕組み (Docker Container Executor - Apach
R を使っている方はご存知だと思うが、R には {htmlwidgets} というパッケージがあり、R 上のデータを任意の Javascript ライブラリを使ってプロットすることが比較的カンタンにできる。{htmlwidgets} って何?という方には こちらの説明がわかりやすい。 RPubs - htmlwidgetsでJavascriptの可視化をRに 同じことを Python + pandas を使ってやりたい。サンプルとして利用する Javascript ライブラリは 上の資料と同じく Highcharts、Highstock にする。 www.highcharts.com 補足 pandas-highcharts という Python パッケージもあるが、このエントリでは任意の Javascript ライブラリで使えるであろう方法を記載する。 Highcharts でのプロット
As I know, %debug magic can do debug within one cell. However, I have function calls across multiple cells. For example, In[1]: def fun1(a) def fun2(b) # I want to set a breakpoint for the following line # return do_some_thing_about(b) return fun2(a) In[2]: import multiprocessing as mp pool=mp.Pool(processes=2) results=pool.map(fun1, 1.0) pool.close() pool.join What I tried: I tried to set %debug
この記事は jupyter notebook Advent Calendar 2016 の12月13日の記事です。 qiita.com Jupyter Notebookを使う上で,この機能を知らない人を見つけたら教えてあげたくなるような小ネタをいくつか紹介します。 IPython.display.display Jupyter Notebook上でpandasのDataFrameを表示すると,HTMLのtable要素として見やすく表示してくれます。活用している方も多いかと思います。 df[df['f'] == 'C'] と df[df['f'] == 'T'] を表示したいのですが,Jupyter Notebookで表示されるのはそれぞれのセルで最後に評価されたものだけです。そのため,表示したいDataFrameごとにセルを分ける必要があります。 gist.github.com しかしなが
はじめに Qiitaの記事をJupyterで見たいとき、コピペでもいいですが、一括して変換できるようにプログラムを作ってみました。 Jupyter notebookからMarkdownへ まずは、Jupyter notebookからMarkdownへ変換してみましょう。 Jupyterの"File"メニューの"Download as"からもできますが、Pythonでやってみます。 以下のコードを"make_md.py"とし、下記のようにすると、結果を画面に表示します。 python make_md.py "ファイル名" "raw"の場合、preタグで囲んでいます。 "code"の場合、"py3"にしています。 import sys, yaml if len(sys.argv) < 2: exit() try: with open(sys.argv[1], encoding='utf-8')
I am trying to start IPython with a non default browser (in my case Firefox) and thought I could replicate the replicate the script given in this blog I am on Windows 7 I put the following code in a file say "module.py" import subprocess subprocess.call("ipython notebook --no-browser", shell=True) subprocess.call([r'C:\Program Files (x86)\Mozilla Firefox\Firefox.exe', '-new-tab', 'http://127.0.0.1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く