あなたの生産性を向上させるJupyter notebook Tips | リクルートテクノロジーズ メンバーズブログ
このエントリは全9回を予定する18卒新人ブログリレーの第3回です． はじめまして．今年度よりリクルートテクノロジーズに入社した河野 晋策です． 7月からQassチームにて検索ロジックの改善を行っています． Qassチームは，検索基盤の運用や検索ロジックの改善を行っているチームです． 詳しくは以下の記事をご覧ください． 検索組織の機械学習実行基盤 リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか Elasticsearch＋Hadoopベースの大規模検索基盤大解剖 本記事の想定読者：普段Jupyter notebook・Jupyter Lab，Google Colaboratoryを使っている方，またこれから使おうと考えている方 本記事の概要：jupyter notebookの知見共有 はじめに Jupyter notebookとは 近年，データの重要性が様々な
Dockerで基本的なData Science環境(Jupyter, Python, R, Julia, 定番ライブラリ)を構築する。 - Qiita
目次 モチベーション 想定読者 実作業 Dockerのインストール Dockerイメージの選択と取得 設定するパスワードのハッシュ文字列の取得 パスワードの設定とファイルの永続化を行い、データ分析環境のDockerコンテナを起動する モチベーション データ分析環境構築は、Dockerで作ってしまいたい。 Jupyterで、PythonかRかJuliaを使いたい。 各言語の定番ライブラリやパッケージは最初からある程度入っていて欲しい。 想定読者 Dockerで基本的なData Scienceの環境を構築したい人 あまりDockerやJupyterに詳しくない人 簡単にデータ分析環境を作ってしまいたい人 以上のような方が、この記事を通りにコマンドを入力すれば、データ分析環境の構築が出来ることを目指します。 現在のところ、macOS High SierraとUbuntu 18.04で、起動の確認
Google Colaboratory事始め - Qiita
はじめに Googleが機械学習の教育や研究用に提供しているツールである、Google Colaboratoryを試してみました。 Jupyter Notebook環境が無償で！使うことができるようです。 詳しくは以下を参照。 Google Colaboratoryよくある質問 Google Colaboratoryの起動 Google Colaboratoryにブラウザでアクセスするだけです。 ブラウザはGoogle Chromeを使用するとのこと。 アクセスすると、「最近のノートブック」と表示され、最近使ったファイルを参照することができます。 新規作成 ノートブックを新規作成 > PYTHON 2の新しいノートブック または, PYTHON 3の新しいノートブック を選択します。 リソースの確認 "!"をつけることで、Linuxのコマンドを実行することができます。 コードセルを追加し
Google Colaboratoryを使えば環境構築不要・無料でPythonの機械学習ができて最高 - karaage. [からあげ]
Google Colaboratoryが便利 最近、Google Colaboratoryがちょっと気になっていたのですが、タダケン (id:tadaken3)さんの以下記事に分かりやすく使い方が書いてあったのをきっかけに試して見ました。 結論から言うと、これ良いですね。Google Colaboratoryには以下の特徴（利点）があります。 ローカルPCに必要なのはブラウザ（Google Chrome）のみ クラウド上にPython環境がありPython2/3 両方使える 機械学習に必要なライブラリは、ある程度プリインストールされている（numpy, matplotlib, TensorFlow等） 必要なライブラリは !pip installでインストールできる 日本語フォントも（ちょっと工夫すれば）使える 無料で使える。なんとGPUも12時間分を無料で使える！ これ死角無さすぎでは…
![Google Colaboratoryを使えば環境構築不要・無料でPythonの機械学習ができて最高 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8cba883e89f544967cb1cc912293816796439363/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F8f8d463b5315412ad9271f9b75c74ad591ef64c5%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180317%252F20180317160922.png)
Google Colaboratoryが便利・高速で凄過ぎる - Itsukaraの日記
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
lgo - Go (golang) をインタラクティブに実行するための Jupyter Notebook環境 - Qiita
とりあえず試してみる binder (mybinder.org) の設定を用意しておきました。上のlaunch binderボタンからlgoを試すことができます。使い捨てのコンテナ上でJupyter Notebookが起動し利用可能になります。コードは実行せずノートの例を眺めるだけであれば、こちらからnbviewerで例を開いてみてください。 はじめに 僕は元々ちょっとしたツールや趣味のプログラミングには常にPythonを使うPythonのファンでした。しかし最近は将来のメンテナビリティなどを考えるとそういう用途にも型のあるGoの方がいいなと思うことが多くなり、趣味や小規模プロジェクトで言語を選べるときはGoをメインで使うようになりました。 一方で、近年データサイエンスや機械学習などの分野の盛り上がりと共に、Pythonに再び追い風が吹いているように思います。特にJupyter Noteb
folium+jupyterで忘年会の場所決め - Qiita
はじめに 12月といえばadvent calendar、そして忘年会。 忘年会に参加する人が色んな場所に散らばってると 場所を決めるのが結構苦労しますよね 参加する人の職場(最寄り駅)の座標から重心取って そこらへんを開催場所にすれば公平になるな、 わかりやすく地図にプロットして可視化したいな、と思い 実際にやってみた、という内容です。 googleマップでできるかな？と思いましたが、 各駅調べて座標取って計算する、とかが大変そうでした。 (もしかしたらうまいやり方があるのかもしれません。。。) 簡単に地図に座標プロットして、計算もできるものないかなと色々調べた結果 foliumを活用しました。 folium foliumはleaflet.jsというマップライブラリを使い、 簡単にデータを可視化できるpythonライブラリです。 インストールはconda(もしくはpip)にて簡単に行えます
Jupyter notebook (iPython Notebook)を使う時に気をつけるべき10個のこと - MyEnigma
PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで検索楽天市場で検索Yahooショッピングで検索 目次 目次 はじめに 1. 環境の独立性を保つために各プロジェクト毎にvirtualenvを使う 2. Python3を使う 3. requirements.txtを保存しておく 4. すべてのimport文とパスの設定は初めのセルに入れる 5. はじめはコードは汚くても良い 6. グローバル名前空間を汚さないために、セルの中の処理は関数とする 7. 長い計算時間の結果をキャッシュするためにJoblibを使う 8. セルの独立性をできるだけ保つ 9. 変数名は短くても良い 10. ユーティリティ関数にはアサーションを使ってテストを書く 参考資料 MyE
「PythonユーザのためのJupyter[実践]入門」の感想と野球版サンプルを作った #jupyterbook #mokupy - Lean Baseball
今年も野球は終わりですね*1...こんにちは,野球の人です. このエントリーは,PyCon JP 2017で発表した内容の続きであり, 前回のエントリーの続きでもあります.*2 Scrapyでスクレイピング&SQLite3に保存したデータを, Jupyter pandas matplotlib で分析と可視化をしてみましょう. ３行でまとめると Jupyter本（以下,jupyterbookと略す）はいいぞ！Pythonでデータを操る人すべての必読書やぞ！ pandasのread_sqlとwhere,groupbyで簡単な野球統計分析ができる 率系の指標（打率・出塁率・長打率・OPS）のHistogramで大雑把な打撃の傾向がつかめる 対象の読者 Pythonでデータ分析・可視化をされたい方 前回のエントリーの続きで野球データを使った分析をしたい方 jupyterbookの感想や実際の利用
![「PythonユーザのためのJupyter[実践]入門」の感想と野球版サンプルを作った #jupyterbook #mokupy - Lean Baseball](https://cdn-ak-scissors.b.st-hatena.com/image/square/08b6333844bf1a1359485191a3e2fc2ff0f5617c/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F1745f867c332d146603e736fa5726e34eeecdb8b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fs%252Fshinyorke%252F20171001%252F20171001170611.png)
jupyterのテーマカラーが超簡単にかっこよくなる『jupyterthemes』 - プロクラシスト
jupyterがどう便利なのかは、以前の記事に書きましたので、知らない方はどうぞ！ www.procrasist.com 一つ不満があるとしたら、背景色がクールじゃないことです。 別に背景色がクールだからといって進捗が無限に発生する！わけではないんですが、気持ちの問題です。 簡単にできないのかなぁと思って調べていたら、驚くほど簡単だったので、メモしておきます。 Jupyter theme 利用可能なテーマ テーマを変える テーマ見本 chesterish grade3 gruvboxd gruvboxl monokai oceans16 onedork solarizedd solarizedl まとめ Jupyter theme まず、テーマをpipでインストール pip install jupyterthemes コレで、背景色を変える準備が整いました。簡単！ 利用可能なテーマ jt
機械学習のデータセットを可視化する「Facets」で遊んでみた -
秋山です。 先日、Google Open Sourceで「Facets」という機械学習向けデータセットの可視化ツールが公開されました。 サイトはこちら opensource.googleblog.com (※Chromeであれば、ブラウザ上でどういったことができるかのデモを触れます。Safariだとうまく動かない？ようなのでご注意ください） GitHubはこちら github.com デモのようにブラウザ上でデータを可視化したり、Pythonライブラリのjupyter内で使ったりすることができます（ブラウザで表示させるかjupyter内で表示させるかだけの違いですが…） 例えば巨大なデータを扱っていて、うまく分離できていないデータ群はどの辺りになるのか…といったことを可視化して眺めたいときなどによさそうなので、実際にちょっと使ってみたいと思います。 ■Facets使ってみた Facetsに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
パスワードとか知らないから1秒でも早くJupyter Notebook使いたい人へ - Qiita
JupyterNotebookとMySQLでゼロからはじめるデータサイエンス
Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ - Qiita