サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
会員事業部の有賀(id:chezou)です。 今年一年、社内では勝手に"Jupyterの伝道師"を標榜してJupyter notebookの普及活動を展開してきました。 先日、社内でハンズオンも行ったおかげもあり、かなり社内のマシンにPython環境が構築されてきました :) Jupyter notebookとは? ひとことで言うとブラウザで動くすごい便利なREPL*1です。 百聞は一見にしかず、見てみましょう。 このように、Rubyの対話環境であるpryを触っているようにインタラクティブにコードを書くことができます。 以降で説明をしますが、Jupyter notebookは記録・共有・再現がとても得意です。特に図表があるときにその効果を発揮します。 Jupyter notebookの良い所 過去のコードを改変、再実行できる セルと呼ばれる入力部分にはMarkdownやコードが記述できます
ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお! ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー! (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >
このエントリは全9回を予定する18卒新人ブログリレーの第3回です. はじめまして.今年度よりリクルートテクノロジーズに入社した河野 晋策です. 7月からQassチームにて検索ロジックの改善を行っています. Qassチームは,検索基盤の運用や検索ロジックの改善を行っているチームです. 詳しくは以下の記事をご覧ください. 検索組織の機械学習実行基盤 リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか Elasticsearch+Hadoopベースの大規模検索基盤大解剖 本記事の想定読者:普段Jupyter notebook・Jupyter Lab,Google Colaboratoryを使っている方,またこれから使おうと考えている方 本記事の概要:jupyter notebookの知見共有 はじめに Jupyter notebookとは 近年,データの重要性が様々な
PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに Jupyter Notebook (iPython Notebook)とは? インストール Notebookデータのバックアップ&マルチアカウントアクセスする設定 Jupyter Notebookのショートカット コマンドモードのショートカット Editモードのショートカット セルを上から全部実行する Markdownで文章を入力する 数式を入力する 数式の計算をする 画像をドロップアンドドラッグで挿入できるようにする 目次を見出し情報から自動生成する レポートタイトルを入力する方法 PDFに出力する Ma
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など オープンソースのコードエディタ「Visual Studio Code」が10月のアップデートでPython関連機能の強化などを行いました。機能強化はおもにPython拡張機能を通じて提供されます。 The October release of the #Python extension for @code is here! Try out native editing of #JupyterNotebook files , a button to run Python files in the terminal ▶, and improvements to the Python Language Server. Learn more on our
こんにちは、データ分析部でバイトをしている子田(id:woody_kawagoe)です。 ニュースパスのログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあります。 この組み合わせは非常に相性が良く、研究でも役立つと思います。 そこで今回のブログではデータ分析に役立つtipsや学んだことをまとめます。 Jupyter Pandas matplotlab データ分析の基本的な流れ 参考資料 Jupyter jupyter.org ブラウザ上で利用できる開発環境です。 対話型で、作成したスクリプトと出力結果の対応関係が非常に見やすいです。 スクリプトでprint文をかかなくても最終行に変数おけば表示してくれます。 またgithub上にJupyterで作成できるipynbファイルを置くと他の
Microsoftは、Visual Studio CodeのPython用エクステンション「Python extension for Visual Studio Code」の2018年10月版アップデートとなる"the October 2018 release of the Python Extension for Visual Studio Code"をリリースしたことを現地時間8日、公式ブログで発表した。マーケットプレイスからダウンロードもしくはVisual Studio Code内のエクステンションギャラリーから直接インストールできる。 10月版では、新たにPythonのインタラクティブな実行環境であるJupyterをサポート。エディタ上にPythonの実行結果を即座に返すJupyterの"editor-centric"なPythonが実装できる。pythonファイルのコード上で"#
こんにちは、たくやです。最近すっかりニュース担当として定着してしまいましたね。 今回はgoogle が公開した教育と研究のための研究ツールである Colaboratory について解説していきたいと思います。 ざっと検索してみたところ英語版でしかまだ記事が出ていないようでしたので、日本語版最速と題させていただきました。 ニュース概要 ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクト。現在、ColaboratoryはChromeのデスクトップ版でのみ動作する。優れたユーザーエクスペリエンスを提供するために、当初はノートブックの作成や編集へのアクセスを制限して いる。そのため、利用するには申し込みをしなくてはいけない。ColaboratoryノートブックはすべてGoogleドライブに保存される。既存のJupyter / IPythonノ
はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門~畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju
Jupyter Notebook で、楽譜を表示したり、その楽譜を再生してみたり、曲を分析したりしてみました。そのことについて書きます。分析といっても簡単なものです。 目次 Code, .ipynb 環境 VS Code で Jupyter Notebook music21 とは 曲の作成と表示 バッハの平均律を分析 分析 後半 参考 追記 Code, .ipynb Jupyter Notebook: https://mybinder.org/v2/gh/hhyyg/miso.py.music21bach/master ここにある2つの .ipynb ファイルから確認できます ただし、画像・音声生成部分などは再実行ができません GitHub: https://github.com/hhyyg/miso.py.music21bach 環境 Mac Visual Studio Code Pyt
Free software, open standards, and web services for interactive computing across all programming languages JupyterLab: A Next-Generation Notebook Interface JupyterLab is the latest web-based interactive development environment for notebooks, code, and data. Its flexible interface allows users to configure and arrange workflows in data science, scientific computing, computational journalism, and ma
Chainerでディープラーニング ここのところ、ディープラーニングのフレームワークはTensorFlowを使っています。以前はChainerも使っていたのですが、Chainer v2.0になり、以前画像認識とか試していたコードも動かなくなってしまい、やる気を失っていたのですよね。 そんな折、たまたまNVIDIAの機械学習のセミナを受ける機会があったのですが、GPU(Titan)積んだサーバに、Jupyterの環境が構築されていて、参加者はサーバにアクセスしてエンターキー連打していくだけでそれっぽい結果が出て、凄いやった気分になるし、絶対初心者は自分で環境出来ないからNVIDIAの環境にお金払うことになるしで、とてもよく設計されたセミナでした。 と書くと凄い悪徳セミナのようですが、Jupyterを使って、説明を読んでから、実際にコードを実行してその結果を確認していくというハンズオン形式は、
こんにちは。新規広告開発部所属エンジニアのレオ(@lchin)です。普段は広告配信関係のシステムを開発していますが、ここ最近「データサイエンス」に興味を持ち始めました。雑に説明すると、データサイエンスは統計学や機械学習などを用いて莫大のデータから価値を引っ張り出す分野です。今回のtechlifeは、そのデータサイエンスを学ぶ過程で知ったツールJupyter NotebookをRuby on Railsの開発に役に立つ使い方を紹介します。 Jupyter Notebookとは何か Jupyter Notebook*1は科学者の「実験ノート」にインスパイアされたウェブ上のインタラクティブシェル環境です。ただのインタラクティブシェル環境ではなく、ソースコード、その実行結果、解説する文書、数式、画像などをまとめて1つの「ノートブック」ドキュメントとして扱えることが特徴です。 Jupyter Not
みなさんこんにちは お元気ですか。私は元気です。 Jupyter Notebookの次世代版、JupyterLabを紹介したいと思います。 ※7/17 誤字脱字、一部画像を修正 JupyterLab JupyterLabとは JupyterLabのインストール Jupyter Labの凄い点 1.画面分割が可能 2.タブによる画面切り替え 3.ファイルの操作機能 4.コマンドの検索機能 5.csvを綺麗に表示する 6.Widgetが1度のみの表示がされる。 感想 JupyterLab JupyterLabとは JupyterLabはJupyter Notebookをベースに拡張したものである。 所謂IDEと呼ばれるツールと同様である。 現在はAlpha版がリリースされています。 ※Scipy2016のカンファレンスビデオはこちらにあります。 JupyterLab: Building Blo
計算は、慣れない人のアタマには負担だが、規則通りに進めていけばいいという利点がある。 たくさんの要素を扱ったり、複雑に込み入った推論を進めることもまた、人には負担の大きい作業だが、計算の形に変換することができれば、途中過程を規則的な繰り返し作業に置き換えることができる。たとえば機械に手伝ってもらえる。 今回、紹介するのは、数値化/統計的処理が難しい事象や、質的研究について、計算=演算の力を導入するとどんなことができるかという一例※である。 ※ 続くかどうかわからないが Sociology on Pythonシリーズの第一弾でもある。 ブール代数アプローチ(boolean algebra approach) ブール代数アプローチは、 Ragin(1989)によって、真理表とブール代数に依拠した比較分析の手法として、質的比較分析(Qualitative Comparative Analysi
こんにちは、AI Lab の馬場です。 このブログは CyberAgent Developers Advent Calendar 2016 の11日目の記事です。 昨日は sitotkfm さんの「ログを集める時に気をつけたいポイント」という記事でした。 この記事では、僕が仕事でデータ分析をやっていく上で大変お世話になっている Jupyter Notebook の Tips をまとめてみます。Jupyter Notebook では便利な機能がたくさんあるので、ちゃんと使うと無駄作業の削減になります。僕もこれまで分析途中で「あーこれができたらなあ」と検索しては時間をつぶしてきたので、ここでまとめて記憶にとどめておきたいと思います。 図表・可視化系 notebook 内に図を表示したい 単純に jupyter notebook を起動して、pyplot などでグラフを描画しようとしても、図は
ここから特定の行(列)だけを抜き出してグラフにします。それで簡単な説明はあとでするとして、忘れないようにコードを書いておくことにします。 %matplotlib inline import numpy as np import matplotlib.pyplot as plt import pandas as pd import os df = pd.read_csv("/Users/yourname/Desktop/book.csv", encoding="UTF-8") plt.figure(figsize=(8, 6.5)) plt.rcParams["font.size"] = 22 plt.rcParams["xtick.labelsize"] = 12 plt.rcParams["ytick.labelsize"] = 15 plt.rcParams["legend.fonts
どうも、DA事業本部の大澤です。 Visual Studio CodeのPython拡張機能のJupyter Notebook用エディタを触ってみました。Jupyter Notebookと似たインターフェイスでスクリプトが実行でき、エディタのインテリセンスのサポートも受けられて便利そうだったので、今回はその内容をご紹介します。 Working with Jupyter Notebooks in Visual Studio Code やってみる Python拡張機能を有効にする Jupyter Notebookをネイティブサポートするエディタを利用するにはPython拡張機能を有効化する必要があります。有効化してなければマーケットプレイスから検索し、有効化しましょう。 Python - Visual Studio Marketplace Python の環境を選択する コマンドパレットからP
今まで仕事で使ってきた、メジャーなものからマイナーなものまで含めたJupyter NotebooksのTIPS集です。 入力補完 とりあえずこれが無いと生きていけません。 Nbextensions(Jupyterの拡張機能)自体が未設定であれば、一旦そちらをインストールして、その後にHinterlandという機能にチェックを入れると有効化されます。 AnacondaのJupyter notebookでnbextensionsを使う ※Nbextensionsインストール後、Jupyterのファイルリスト的な画面で、タブで「Nbextensions」という選択肢が追加されます。 Azure Notebooksなどだと、最初からインストール不要で選択できるようになっています。 Google Colaboratoryなどでは、そういった設定ができるのかまだよくわかっていません。(ご存じの方コメン
本ページでは、Jupyter Notebook の概要と基本的な使い方について紹介します。 Jupyter Notebook とは Jupyter Notebook (読み方は「ジュパイター・ノートブック」または「ジュピター・ノートブック」) とは、ノートブックと呼ばれる形式で作成したプログラムを実行し、実行結果を記録しながら、データの分析作業を進めるためのツールです。 プログラムとその実行結果やその際のメモを簡単に作成、確認することができるため、自分自身の過去の作業内容の振り返りや、チームメンバーへ作業結果を共有する際に便利なほか、スクール形式での授業や研修などでの利用にも向いています。 このようなノートブック形式で分析作業を行うためのツールとしては、微分積分などの科学技術系計算ソフトウェアの Mathematica (マセマティカ) や Spark, Hadoop などの並列分散処理シ
%%HTML <link rel="stylesheet" type="text/css" href="./static/css/custom.css"> <link rel="stylesheet" type="text/css" href="./static/css/highlight.css"> %matplotlib inline %load_ext tsumiki import datetime import this import time from io import StringIO import matplotlib.pyplot as plt import numpy as np import pandas as pd from IPython import display from ipywidgets import FloatSlider, IntSlider, i
最近発売された「PythonユーザのためのJupyter「実践」入門」を八重洲ブックセンターで買った。 最近はExcelの代わりにJupyter Notebookを使うようにしている。簡単なグラフくらいなら、ネットを調べればすぐに描くことができる。しかし、もうちょっと気の利いたことをしたいとか、効率よく作業できてるのだろうかという疑問が出てくる。この本の前書きにも同じようなことが書いてあって、「Jupyter Notebookの活用とデータ可視化における実践例や知見が集まった場所がすくない」と著者らは思ってこの本を書いたようだ。 ちなみに、Jupyter Notebookとは、ブラウザベースのPythonのインタラクティブ実行環境のことだ。Anacondaをインストールするだけで環境構築はすべて終了するので、導入のハードルもかなり低い。自分にしっくりくる環境構築ができないと、プログラミング
こんにちは。エンジニアの戸塚です。 自分へのクリスマスプレゼントとして PYNQ-Z1 を買ったので、25%ルール第一弾は「Deep Learning on FPGA入門」的なことをしてみたいと思います。 【DISCLAIMER】スタート時点でFPGA素人です。Courseraでちょうど年末からFPGAコースを開講していたので併行して勉強中です。間違ったことを書いていたら必要に応じて訂正を入れていきます。有識者の皆様のご指摘を歓迎します。 1. 購入から起動まで 前日譚 情報収集 PYNQ 高位合成(HLS) 注文 起動の前に PYNQシステムmicroSDカードの準備 起動! 2. Jupyter Notebookにアクセスする a) LAN経由でアクセス PYNQのJupyter Notebookのパスワード設定 b) LANケーブルでPCと直接接続 3. Jupyter Notebo
PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで検索楽天市場で検索Yahooショッピングで検索 目次 目次 はじめに 1. 環境の独立性を保つために各プロジェクト毎にvirtualenvを使う 2. Python3を使う 3. requirements.txtを保存しておく 4. すべてのimport文とパスの設定は初めのセルに入れる 5. はじめはコードは汚くても良い 6. グローバル名前空間を汚さないために、セルの中の処理は関数とする 7. 長い計算時間の結果をキャッシュするためにJoblibを使う 8. セルの独立性をできるだけ保つ 9. 変数名は短くても良い 10. ユーティリティ関数にはアサーションを使ってテストを書く 参考資料 MyE
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット(スマホ用です)を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか? 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します(機械学習工学研究会の勉強会での発表資料がベースです)。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
(English article is here) こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Pythonは、CSVなどのデータ処理、Webサービスの開発、スクレイピング、ボット作成など幅広い目的で使われているプログラミング言語です。特に最近は、機械学習・AIのなどの開発に適したライブラリが充実していることもあって注目が高まっていますよね。 ただ、Pythonを単体でインストールしても、表やグラフを作ったり、データなどを整理したりする機能はありません。 そこで、Jupyter Notebookというツールがあります。 Jupyter Notebookを使うと、ブラウザ上で簡単にプログラムを実行できるうえ、表やグラフなども表示できます。 また、Markdownなどで文章も書けるため、プログラムと文章をわかりやすくまとめることができます。このまとめたノートは
Tellusに搭載されているAPIを引っ張ることができるようになったので、雪質の解析をしながらJupyter Notebookの機能をご紹介していきたいと思います! 記事作成時から、Tellusからデータを検索・取得するAPIが変更になっております。該当箇所のコードについては、以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/access/traveler_api_20220310_ firstpart.html 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 本記事はTell
(時間がない人のための要約) 対話的開発環境であるJupyter Notebookの上に 作りっぱなしだったいろんな調査ツールをまとめたもの 読書猿のワークベンチなのでMonkeyBenchと名前をつけた。 探しものの際に、自分がやってる手作業のうち、ネットやコンピュータでできそうなことをPythonにやってもらえるように短いプログラムをいろいろ使い捨てして来たが、これらをまとめてJupyter Notebookのマジックコマンドにしたものである。 コードの中身と簡単な使用例をこちらに乗っけた。 http://nbviewer.jupyter.org/gist/kurubushi--rm/231f5dff7e5c6f9a50bb709e0d234dd8 https://gist.github.com/kurubushi--rm/231f5dff7e5c6f9a50bb709e0d234dd
Pythonで機械学習を始める 最近、Pythonで機械学習を勉強したり、色々試したりしています。そんな中、何度もやり直しているのが環境のセットアップ。必要なものを必要なときにインストールしてければ良いのですが、最近は「とりあえずこれだけ入れておけばOKかな」という感じに、環境を雑にセットアップすることが多くなってきました。需要があるかわかりませんが、自分としては大体のことができるので、良い感じかなと思っているので、自分のメモを兼ねて公開してみたいと思います。 MacはOS X(試した環境はiMac Retina4K 21.5-inch 2017 + macOS Sierra 10.12.6)、LinuxはUbuntu 16.04を想定しています。 Pythonの機械学習環境セットアップ とりあえず、ターミナルを開いて、下記のコマンドをひたすらコピペしていけばセットアップできるようにしてみ
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末(2015/02/27)のIPython 3.0のリリースでIPython Notebookが大きく変わり、(まだ開発版ですが)Rとの連携もかなり楽になりました!というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
データ分析ツールJupyter入門posted with カエレバ掌田津耶乃 秀和システム 2018-05-31 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに reveal.js reveal.jsでのプレゼンスライド操作 Jupyterにおけるプレゼンテーションスライド作成 1.スライド用のJupyterノートブックを作成する 2.スライドの設定 3.スライドをブラウザに表示する 注意点 nbviewerを使ってプレゼン資料を公開する 使い方 nbviewerのプレゼン資料が更新されない場合 ブラウザでGUIを使ってプレゼン資料を作る 参考資料 MyEnigma Supporters はじめに 先日、 Pythonのブラウザインターフェイス、 Jupyter (iPython) を使って 技術ノートを作る方法を紹介しましたが、 myenigma.ha
VS CodeからJupyter Notebookを使ってみよう:Visual Studio Codeで始めるPythonプログラミング(1/3 ページ) Python人気を支えるツールの1つ「Jupyter Notebook」。VS Codeからこれを使ってみよう。Jupyter拡張機能が提供する機能も一覧する。 連載目次 前回はVisual Studio Code(以下、VS Code)でPythonコードをデバッグする上での基本を見た。今回はVS CodeからJupyter Notebookを使ってみよう。なお、本稿ではWindows版VS Code(64ビット)のバージョン1.24およびJupyter拡張機能のバージョン1.1.3で動作を確認している(macOS版でもある程度の確認は行っている)。 VS CodeでJupyter Notebookを使うために必要なもの Jupyte
IPython provides a rich architecture for interactive computing with: A powerful interactive shell. A kernel for Jupyter. Support for interactive data visualization and use of GUI toolkits. Flexible, embeddable interpreters to load into your own projects. Easy to use, high performance tools for parallel computing. To get started with IPython in the Jupyter Notebook, see our official example collect
研究をかれこれ2年半ぐらい続けてきたので、研究をする中で必要になった機械学習の手法について調べたりコードを書いたりしてきたのですが、まだまだ触ったことのない機械学習の手法も多く、研究で必要になる手法以外の知識も付けたくなってきたので、勉強し始めました。 Sphinxにまとめるか悩んだのですが、「ひとまず簡単にスライドにできること」・「手元でもすぐにコードを実行できる」という理由でJupyter Notebookを使用しています。 もし誤りやタイポ等があれば、IssueやPRお待ちしております。 github.com 今のところ↓の2つについてまとめました。 Jupyter Notebook / Numpy / Pandas / matplotlib入門 決定木(Decision Tree) ノートブックの内容一覧 内容については今後何度も変更をすると思いますが、とりあえず今の予定としては下
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く