IPython Notebook(Jupyter)って何ができるの？ - Fire Engine
最近IPythonまたはIPython Notebookという言葉をよく目にします。私も最初はなんじゃそれ？って感じでしたが、これを使い始めてその便利さに感動を覚えました。今回はその感動を共有したいと思います。 記事を読んで頂くと、IPython Notebookって何？という方や、名前は聞いたことはあるけど結局何がいいの？という方が、IPython Notebookでどんなことができるかが何となくわかるような内容になっていますので、興味のある方は読んでみてください。 ＊IPython NotebookはPythonのためのNotebookでしたが、現在は、Pythonだけでなく多言語にも対応しているため、Jupyterという名前に変更されています。 IPython Notebookのインストールはこちらから↓ Installing IPython — IPython 私はAnaconda
Using Docker to Build an IPython-driven Spark Deployment - { lab41 }
TL;DR: Our ipython-spark-docker repo is a way to deploy an Apache Spark cluster driven by IPython notebooks, running Docker containers for each component. The project uses Bash scripts to build each node type from a common Docker image that contains all necessary packages, enables data access from a Hadoop cluster, and runs on dedicated hosts. By using IPython as the interface, you can leverage a
IPython データサイエンスクックブックを読んだ。... - Information Superhighway
先生がいつの間にか買っていて、今日借りてきてサクッと読んでみた感想です。 とりあえず3章まで一通り読んだ。 プログラマーよりも研究者が対象だったので凄くタメになることが多く、需要と要求ががっちりハマった本は久しぶりでした。 特にRecipe 2.5-2.6が研究でコードを書く際に良いこと書いてるので、暗記するくらいに読み込みたい。 研究向けにコード技法とあまり知見がないので嬉しい書籍でした。 研究関連でのプログラミング、コーディング、データ管理に対する情報は下記の記事が分かりやすい。 私が機械学習研究をするときのコード・データ管理方法 研究者流 コーディングの極意 メモは IPythonNotebookでとりました。 Gistでレンダリングされるの便利ですね。 最後に 過言かもしれないけど、、これからは、Git,Juptyter Notebookは研究におけるデファクトスタンダードだなと強
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第2回：KPI算出編) - Qiita
はじめに 第1回目で立ち上げたSpark ClusterにAccess Logを喰わせて、色々処理を廻してみる部分をチラシの裏しておきます。 (第1回)Amazon EMR上でのSpark Clusterの起動/設定方法 Spark, IPythonの設定方法 Spot instanceについて (第2回)Sparkを使って簡単なAccess Log解析 (★今回はココ) Access LogをS3から読み込んで、ETLする Access Logを使って定番のMAU, DAU, UUをSparkで計算してみる 各種Monitoring toolの見方 (第3回)Sparkを使って簡単な機械学習 matplotlib/seabornを使ってGraphを書いてみる MLLibを使ってAccess Logを機械学習(K-means, PCA)にかけてみる 機械学習というと、すぐにIrisとかタイ
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2015/6にAmazon EMRでSparkが標準サポートされました。これにより、EMRでSpark Clusterを起動すれば、ものの10分ぐらいでSpark + IPythonの環境を構築できるようになりました。 が、AWS ConsoleのEMRの設定UIが大きく変わったり、IPythonがJupyterになり一部設定方法が変わったり、それらの変化に各種Documentが追従していなかったりと、色々ハマッたので、設定方法と、IPython上でPysparkを動かす方法をチラシの裏しておきます(2015/11時点での情報
Python (IPython notebook + Pandas) によるデータ分析環境構築 - Qiita
VirtualBox とは VirtualBox は x86 仮想化(その辺に転がっている普通のPC・サーバ)を仮想化するためのソフトウェア。 正式名称は Oracle VM VirtualBox。現在は Oracle が開発を行っている。 既存の環境に影響を与えずに、色々実験する際にはとっても便利なツール。 Vagrant とは Vagrant は仮想環境の管理をコンソールから行い易くするためのツール。 また、有志が作ってくれた Box を利用することで楽にテスト環境を構築することも出来る。 これを導入しておくと、各種環境を構築する際の手間が省けることが多い。 IPython とは IPython は既存の Python の対話型インタプリタを大幅に拡張したもの。 入力時の補完機能、クラスタ環境における並列処理、コマンドラインシェル機能、 GUI周りのツールキットなどの拡張が行われている
目次: IPython notebook - MMAys's blog
目次へ IPython に関する本 IPython notebook を公開する方法 Octave を ipython notebook で実行する R を ipython notebook で実行する Raspberry Pi 2 で ipython notebook を実行する ------------------------ Python 3 support in Anaconda IPython が Jupyter になっていた jupyter notebook で起動できるようにする Anaconda Launcher が使えるようになった- Mac OSX | Anaconda Navigator に変更になった R kernel for Jupyter のインストール - Ubuntu 14.04 R kernel for Jupyter のインストール - Mac OS X
IPython Notebookをネイティブでサポートする”Pineapple” - Information Superhighway
The next generation of scientific notebook. A standalone frontend to IPython for Mac. | Pineapple Youtube Demo 何ができるの? Pineappleでできること スタンドアロン Pineappleを入れるだけでPython Notebookを使えます。依存関係に困ることはありません ネイティブ IPython Notebookはウェブブラウザを使ってますが、Pineappleはネイティブをサポートしてる 能率化 初心者のために沢山の便利なPython Packageを最初から使用可能。Command Line(黒い画面)からサヨウナラ 一言で説明すると、ターミナル画面を触ること無くIPython Notebookを使用することが可能になります。 Oreilly MediaがWeb上で
Machine Learning with Scikit Learn (Part I) - 人工知能に関する断創録
今年の7月に開催されたSciPy2015の講演動画がEnthoughtのチャンネルで公開されている。今年も面白い講演が多いのでいろいろチェックしている。 今年の目標（2015/1/11）にPythonの機械学習ライブラリであるscikit-learnを使いこなすというのが入っているので、まずはscikit-learnのチュートリアルを一通り見ることにした。 Part IとPart IIを合わせると6時間以上あり非常に充実している。IPython Notebook形式の資料やデータは下記のGitHubアカウントで提供されている。ノートブックをダウンロードし、実際に手を動かしながらチュートリアルを進めると理解がより進むかもしれない。 あとで振り返りやすいように内容を簡単にまとめておきたい。 1.1 Introduction to Machine Learning 機械学習システムの流れ。教師あ
IPython NotebookでScalaを使う - たけぞう瀕死ブログ
PythonにはIPython NotebookというWebブラウザで利用可能なインタラクティブシェルがあります。これは編集内容を保存できたり、過去に実行した内容を繰り返し実行できたりなど、ちょっとしたコードを試したり学習用途には最適なものです。 IPythonは言語非依存部分がJupyterとして独立しており、サードパーティによってPython以外にも様々な言語用のカーネルが開発されているようです。jupyter-scalaを使うとIPython NotebookでScalaを使うことができました。 インストール&実行方法は簡単で、予めIPythonをインストールしたのち、jupyter-scalaのサイトからアーカイブをダウンロードし、適当な場所に展開後、展開したディレクトリのbinディレクトリに含まれているjupyter-scalaというシェルスクリプトを実行します。これでScala
はじめるJupyter Notebook - Qiita
なお、Numpyなどの計算系ライブラリとセットで扱う場合は、AnacondaかMinicondaを利用したほうがよいと思います(特にWindowsの場合)。手元の環境ではMinicondaからcondaを使ってセットアップしました。 基本的にはjupyter notebookを実行したフォルダで作業を行うことになるので、ファイルを保管したいディレクトリで起動を行ってください。 Notebookの作成 起動すると以下のような画面が表示されると思います。New Notebookからファイルを作成していきましょう(Python3を選択します)。 Jupyter NotebookはCellという単位で文書を構築します。このCellにはPythonコードやMarkdownテキストといった種別があるので、適切なものを選択し文書を作成していきます。 実行ボタンを押すことで、Pythonコードが実行された
GitHub - addfor/tutorials
We recommend to install the Anaconda distribution to the latest version: please visit continuum.io to download Anaconda. The tutorials work with python3 (python2 is no longer supported). After Anaconda installation update the distribution to the latest release: conda update anaconda. Clone this repository with git; use this command: git clone --depth 1 https://github.com/addfor/tutorials if you wa
Jupyter Notebook Viewer
Table of Contents¶Preface Motivation behind writing the book. How to download and read the book. Requirements for IPython Notebook and Python. github links. Chapter 1: The g-h Filter Intuitive introduction to the g-h filter, also known as the $\alpha$-$\beta$ Filter, which is a family of filters that includes the Kalman filter. Once you understand this chapter you will understand the concepts behi
docs/Python/IPython/config - kyogoku42's
IPythonは、Python向けの、非常に高機能なシェルです。 このページでは、IPythonのカスタマイズ方法について説明します。 付録に、設定ファイルのサンプルもあります。 1. カスタマイズする理由 IPython は、カスタマイズしなくても便利に使うことができます。 それでも、設定プロファイルを作っておくと、 IPython Notebook の保存フォルダの変更 起動時にブラウザを自動で開くか 自動で読み込むライブラリ などが変更できます。でも、それ以上に、決定的な理由があります。 デフォルトのグラフは古くさく、見づらい 起動時に、毎回ブラウザ内でのグラフ描写を手動で有効にしなければならない みてみましょう。左がデフォルトのグラフ、右がカスタマイズ後のグラフです。 他の例です。こちらは3次元を2次元にマップしたグラフです。色が、各点におけるZの値を示しています。 み
Ipython-quick-ref-sheets
Last Updated July 8, 2016 for release version 5.0 The text of the quick referance sheets comes from the IPython %quickref magic command. To download an image below, right click on the link and select "Save Link As". Basic Help .svg Download Magic Help .svg Download For more details of magic usage see the Built-in magic commands page in IPython's documentation.
IPython clusterによるバカパラ（分散並列処理） - Qiita
分散並列処理の基本かつ強力なアプローチとして，Single Program Multiple Data (SPMD) があります．これは，複数のプロセッサが同一のプログラムを実行し，その際に各プロセッサは別々のデータを処理する，というモデルです．大規模なデータを独立で処理できる単位に分割し，小分けのデータを複数のプロセッサで並列に処理することで，データ全体の処理時間を大幅に短縮できます． 例えば，a01.txt, a02.txt, a03.txt, a04.txtを入力ファイルとしてjobというコマンドを実行し，実行結果（出力）をそれぞれ，b01.txt, b02.txt, b03txt, b04.txtに格納することを考えます．次のコードは，この処理をbashシェルスクリプトで実現するものです． このforループ内の処理内容は互いに独立ですので，容易に並列化できますし，全体に要する処理時
IPython Notebookをアドホック分析環境として使う
こんにちは、Gunosyのエンジニアの粟飯原です。Gunosyでは、主に広告配信サーバー全般の開発運用インフラを行いつつ、データ集計や分析等を行なっています。 Gunosyのエンジニアブログはこちら http://gunosy.github.io/2014/07/08/iptyhonnotebook.html 今回は、自分が開発業務や分析業務で日常的に利用しているIPython Notebookを便利に使う方法を紹介させて頂きます。 基本的に、pipでライブラリがインストールできる環境とnumpy、scipyの環境が揃っていることが前提で進めます。windows環境であれば、ライブラリのインストールは以下のURLのパッケージ群を利用すると快適です。とはいえこのページで紹介しているライブラリはwindowsでは動かないものもあります。 http://www.lfd.uci.edu/~gohl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IPythonでクリクリできる図を作ろう - Qiita
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使う - Qiita
IPythonの使い方 - Qiita
