PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
GPU Dashboards in Jupyter Lab
IntroductionWe are excited to announce NVDashboard, an open-source package for the real-time visualization of NVIDIA GPU metrics in interactive Jupyter environments. NVDashboard is a great way for all GPU users to monitor system resources, but it is especially valuable for users of RAPIDS, NVIDIA’s open-source suite of GPU-accelerated data-science software libraries. Given the computational intens
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に | CyberAgent Developers Blog
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に AI事業本部のインフラ組織SIAでエンジニアをしている牧垣です。 はじめに Jupyter Notebookは機械学習・データ解析の分野ではすっかり空気のようなインフラになりました。仮説・実験・考察のサイクルを回しやすいので、科学分野では昔から人気があります。コードと結果が可視化できるという基本機能そのものに、作業ログや手順書・使い方ドキュメントなど、他分野での需要もあります。 夢を膨らませると用途はまだまだ思いつきそうですが、つまり「複数人で同じものを見て、同じ認識をすることができる」というのがJupyter Notebookの良いところです。「あの件、どうだった？」「あ、たぶん大丈夫だと思います」といったあやしげな状態になりにくくなります。また、可視化が容易な点も
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anacondaをインストールすれば、Pythonと各種ライブラリは同時にインストールされます。 また、集計対象である、テーブル形式のcsvデータは既に用意されているものとします。 ↓Excelで表示すると、こん
Docker + MeCab + JupyterLabによる分析環境の構築 - UUUMエンジニアブログ
こんにちは、分析チームの門脇です。 日頃クリエイターに関するデータ分析業務を行う際、環境ごとのライブラリの管理が面倒だったり、形態素解析エンジンの導入、notebookの設定をやり直す必要があるなど何かと不便でした。 そこで今回は、Dockerを利用して、簡単にクリエイター分析環境を構築してみました。 Dockerについて Dockerはコンテナ型の仮想化環境のことで、Dockerfileに仮想環境に取り入れたいものの処理を記述することで、簡単に同一環境を再現でき、環境ごとに設定をやり直さなくて済むといったメリットがあります。 Dockerによる環境構築ついて詳しく知りたい方はこちらにわかりやすくまとめられています。 今回は記事の中でも紹介されているKaggleが提供しているDockerイメージをベースにDokerfileを作成していきます。 MeCabについて クリエイターについて分析を
【1分でPythonをはじめる】Google Colab で投資のバックテスト - Investment Tech Hack
Googleが提供 必要なのはGoogleのアカウントだけ 無料 特別な開発環境がいらない Googleドライブのファイルのように扱える 十分すぎるスペック 1分で使い始めることができる そんなGoogle Colaboratory（以下、Google Colab）の解説をする記事です。 「まだ Python を使ったことがない」 「Python を使い始めて間もない」 「Python でバックテストをしてみたい」 こんな方たちにとって、最高の選択肢だと思います。 メールアドレスをご登録いただける方には、「バックテストのテンプレート」 もご用意しています！ Python って何？ まずは、「Python とは何ぞや」「何ができるのか」「何で Python が良いのか」をご紹介します。 今、データ分析界隈でもっとも伸びている 次のグラフは「Python人気の伸び率」です。飛ぶ鳥を落とす勢いと
Plotlyでインタラクティブなグラフを作成する - Qiita
今回の目的：足圧中心点の軌跡を「３次元」で「インタラクティブなグラフ」で表示し，データ流出対策として「オフライン」での提示をおこなう グラフ作成の手順 １．ライブラリのインポート ２．読み込むパスの設定とcsvデータの変数への格納 ３．subplotグラフの作成 ４．表示するグラフの作成(subplotへの格納) ５．表示の大きさの変更 ６．オフラインでの表示 １．ライブラリのインポート # subplotを使用 from _plotly_future_ import v4_subplots from plotly.subplots import make_subplots # 今回はgraph_objsを使用 import plotly.graph_objs as go # csvデータの読み込み import numpy as np import pandas as pd # オフライ
JupyterLabのおすすめ拡張機能9選 - Qiita
はじめに Jupyter notebookの進化形、Jupyter Lab。見た目が綺麗で使いやすいです。 今回は2021年6月現在で使用できる便利な拡張機能をご紹介します。 各拡張のインストール方法については、それぞれの拡張機能名のリンクからgithubに飛び、公式が案内している方法に従ってください。お使いのjupyterlabのバージョンによって必要な手順が変わる拡張もあります。 (余談:実際にこれらの拡張機能を使ってみて、個人的に特に便利だと思ったのは ・3.コード自動整形 ・4.Vim風キーバインド ・5.TensorBoard管理 の3つでした。時間がなければこの3つだけでも十分かも知れません。) ※JupyterLab,Node.jsが既にインストールされていることが前提です。 ※拡張機能によっては最新版のjupyterlabに対応していないものもあり、きちんと動作するかは自環
Advanced Jupyter Notebook Tutorial – Dataquest
Lying at the heart of modern data science and analysis is the Jupyter project lifecycle. Whether you're rapidly prototyping ideas, demonstrating your work, or producing fully fledged reports, notebooks can provide an efficient edge over IDEs or traditional desktop applications. Following on from Jupyter Notebook for Beginners: A Tutorial, this guide will be a Jupyter Notebooks tutorial that takes
衝撃のDatalore〜圧倒的な使いやすさを誇るクラウド上のJupyter Notebook - より良いエンジニアを目指して
Dataloreの魅力 blog.jetbrains.com 要はクラウド上で動かせるJupyter Notebookといったところです。 ホーム画面 この手のサービスでは、Google ColaborateryやAzure Notebooksがあります。 それらのサービスがありながらも圧倒的な存在感のあるサービスです。 とにかく、使いやすいです。 JetBrainsはチェコの企業だけあって、どうしても日本では馴染みが薄いと思いますので、この記事を見て、興味を持っていただければ幸いです。 インテリセンス 使いやすさの最大の理由として、JetBrainsならではのインテリセンスが提供される点にあります。 Jupyter Notebookにおいて気になっていた点としては、インテリセンスがない点です。 前に書いたソースをコピペ 真面目に英語のAPI仕様書を見る ということがあります。そうした手間
大学生の僕に贈るデータ処理と可視化のお話 - Qiita
贈るってつけるとクリスマスっぽくなるかなと思って... どんな人に読んでもらいたいか 最近データ処理や可視化を始めた人 周りのCやfortran勢に負けずpythonで研究してる人 周りのgnuplot勢に負けずmatplotlibで可視化してる人 私は誰? 今年新卒で入社しましたテナジマと申します. 今は業務でデータ分析や機械学習を行っています. あと野球が好きで趣味で野球の分析とかもやってます(虎党). なぜこれを書こうと思ったか 大学生の頃は計算物理をしていました. 大学の頃も,会社に入った今もpythonを使っているのですが,大学生のときは周りがfortranやCで書いている中でのpythonだったので,技術的な進歩ってのはあまりありませんでした. 動いて正しく計算できればいい!って感じです(そうして秘伝のタレが生まれていく...). 会社に入ってからは先輩からコーディングで気をつ
[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita
今までも、いくつか拡張機能は使っていたものの、大部分は使わずに過ごしていたため、食わず嫌いはいけないな・・と思いドキュメント読みながら使ってみてまとめます。 まえおき 拡張機能（nbextensions）自体や、過去の記事で触れたHinterlandやTable of Contents (2)などはそちらの記事（Jupyter 知っておくと少し便利なTIPS集）をご確認ください。 結構抄訳などしています。（浅く広く。詳細はドキュメントに任せるとして、こんな拡張機能あるのか、程度にご使用ください） nbextensionsを入れたときに最初から入っている拡張機能を対象とします。 全部といっても、nbextensionsの設定画面を表示するための拡張機能だったり、基本的にデフォルトで有効で、且つ変えることがほぼなさそうなものは割愛します。 環境は「Python 3.6.5 :: Anacond
![[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/be2ff61a7fe471c20beed87fcebb0131ff7aebf9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjI4Nzc4JTJGcHJvZmlsZS1pbWFnZXMlMkYxNTIxNDc1ODMwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz02NWE4MTkyMzRlZWVmYjliNTg4MjdjZjEyMzQ0NGUwNg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1f3b7847a7f6cfe95fded1302d1d23d1%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU0JUJEJTlDJUU2JUE1JUFEJUU1JThBJUI5JUU3JThFJTg3JUU1JThDJTk2JTVEJTIwSnVweXRlciVFMyU4MSVBRSVFNiU4QiVBMSVFNSVCQyVCNSVFNiVBOSU5RiVFOCU4MyVCRCVFMyU4MiU5MiVFNSU4NSVBOCVFOSU4MyVBOCVFOCVBQSVCRiVFMyU4MSVCOSVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTc2Mzc1MTIxMjc5NWJhZGExMWUzNjg2YTU5MzIxMTcz%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzaW1vbnJpdGNoaWUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0yODA2MTA3MzAwZWYxNmNiZWM4YzNkNjU1MWRiY2FjZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dcaaf896f6dffe168e28f1f0b81b87d64)
ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball
今日で週休七日生活が終わる野球エンジニアこと@shinyorkeです. 昨年末に,BigQueryに突っ込んだ野球データでダルビッシュ有さん（@faridyu）の投球データについてかる～く調べてみました. 「今年こそPythonでデータ分析するぞ！」 「BigQueryをPythonから使いたいぞ！」 っていう野球好きの方の参考になれば幸いです. なお今回はホントにデータを覗き見した程度の軽いネタです. TL;DR 投球コースを散布図で可視化するといい感じになる 球種と結果をSankey Diagramにするのも面白い BigQueryとJupyter,pandasの組み合わせすっごい楽 次回はPySparkあたりで学習とかさせたい 多分おそらく@faridyuさんはここに書いた分析と傾向の斜め上をいくと思ういや行って欲しい（ファンとして） Starting Member TL;DR St
野球データ分析を支えるPythonなノウハウ〜Jupyter notebookとpandas,SQLを添えて - Lean Baseball
※2017/12/19 20:45 この分析結果の詳細スライドを追加 Top写真（サムネイル）は雰囲気です,あまり気にしなくてOK.*1 Jupyter Advent Calendar 2017 19日目の記事です. ここでは,本年私がやった野球ネタの主に分析環境まわりについての話をサンプルや選定理由を絡めて紹介します. 本日開催されたBaseball Play Study 2017冬の発表資料「うわっ...アイツの年俸、高すぎ...？」を作った時のコードスニペットから作成しています. speakerdeck.com Python初学者〜中級者および,私と同じく野球が好きでたまらないンゴな方の参考になると嬉しいです. 上級者および強者の方には是非もっといい方法があったらコメント頂けると嬉しいです. 申し遅れましたこんにちは,私が「野球の人」ことshinyorke（シンヨーク）です. この記
Streaming Dataframes
This work is supported by Anaconda Inc and the Data Driven Discovery Initiative from the Moore Foundation This post is about experimental software. This is not ready for public use. All code examples and API in this post are subject to change without warning. Summary This post describes a prototype project to handle continuous data sources of tabular data using Pandas and Streamz. Introduction Som
Jupyter notebook (iPython Notebook)を使う時に気をつけるべき10個のこと - MyEnigma
PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで検索楽天市場で検索Yahooショッピングで検索 目次 目次 はじめに 1. 環境の独立性を保つために各プロジェクト毎にvirtualenvを使う 2. Python3を使う 3. requirements.txtを保存しておく 4. すべてのimport文とパスの設定は初めのセルに入れる 5. はじめはコードは汚くても良い 6. グローバル名前空間を汚さないために、セルの中の処理は関数とする 7. 長い計算時間の結果をキャッシュするためにJoblibを使う 8. セルの独立性をできるだけ保つ 9. 変数名は短くても良い 10. ユーティリティ関数にはアサーションを使ってテストを書く 参考資料 MyE
「PythonユーザのためのJupyter[実践]入門」の感想と野球版サンプルを作った #jupyterbook #mokupy - Lean Baseball
今年も野球は終わりですね*1...こんにちは,野球の人です. このエントリーは,PyCon JP 2017で発表した内容の続きであり, 前回のエントリーの続きでもあります.*2 Scrapyでスクレイピング&SQLite3に保存したデータを, Jupyter pandas matplotlib で分析と可視化をしてみましょう. ３行でまとめると Jupyter本（以下,jupyterbookと略す）はいいぞ！Pythonでデータを操る人すべての必読書やぞ！ pandasのread_sqlとwhere,groupbyで簡単な野球統計分析ができる 率系の指標（打率・出塁率・長打率・OPS）のHistogramで大雑把な打撃の傾向がつかめる 対象の読者 Pythonでデータ分析・可視化をされたい方 前回のエントリーの続きで野球データを使った分析をしたい方 jupyterbookの感想や実際の利用
![「PythonユーザのためのJupyter[実践]入門」の感想と野球版サンプルを作った #jupyterbook #mokupy - Lean Baseball](https://cdn-ak-scissors.b.st-hatena.com/image/square/08b6333844bf1a1359485191a3e2fc2ff0f5617c/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F1745f867c332d146603e736fa5726e34eeecdb8b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fs%252Fshinyorke%252F20171001%252F20171001170611.png)
【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門 - Gunosyデータ分析ブログ
こんにちは、データ分析部でバイトをしている子田（id:woody_kawagoe）です。 ニュースパスのログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあります。 この組み合わせは非常に相性が良く、研究でも役立つと思います。 そこで今回のブログではデータ分析に役立つtipsや学んだことをまとめます。 Jupyter Pandas matplotlab データ分析の基本的な流れ 参考資料 Jupyter jupyter.org ブラウザ上で利用できる開発環境です。 対話型で、作成したスクリプトと出力結果の対応関係が非常に見やすいです。 スクリプトでprint文をかかなくても最終行に変数おけば表示してくれます。 またgithub上にJupyterで作成できるipynbファイルを置くと他の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing kepler.gl for Jupyter
あまり紹介されていない可視化ツールを試す - drillerの部屋