データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita

Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anacondaをインストールすれば、Pythonと各種ライブラリは同時にインストールされます。 また、集計対象である、テーブル形式のcsvデータは既に用意されているものとします。 ↓Excelで表示すると、こん

[bob3]

だから、R使えってば。

[Erorious_BIG]

ただ、弊社ではPythonを導入するのに、年単位の莫大な時間がかかる。

[shintani19]

Pusan

[MtAsuka]

100倍速いこともあるだろうけどExcelでもPythonでもPower BIでも必要なツールを必要な時に使えばいいだけであって、自らツールの選択肢を狭めることはないのに。

[sds-page]

ユーザーさんの環境にjupyter notebook入れてもらってPythonソース渡して「これでやってねー」って言えるようになればいいなぁ

[yujimi-daifuku-2222]

いや、分かってるんだ。Windows、MSoffice縛りにより、日本全体で恐ろしいほどの労働時間が無駄に失われている事は。/しかし、そのほんの少しの手間を非ITの皆様に普及させる事の不可能性たるや。

[aya_momo]

pandasはExcelを読むために使っている。役割が違う。

[xjack]

Python使いだけど，Excelでチャチャッと処理したほうが早いなって場合もあって，別に両方使えばいいじゃんて思う．逆に，ツールに溺れたバカのレポートを見る方が100倍ウンザリする．

[ruirui_0923]

“pip install pandas-profiling pip install pixiedust”

[bentsuyoshi]

python pandas-profiling excel データ集計

[hatakazu93]

技術

[diveintounlimit]

エンジニアによくある「一方ロシアは」案件？前提条件でかすぎる…

[infobloga]

Pythonの方が対応範囲が広いのは当然として、それでもExcelの可能性をギリギリまで追求するのがエンジニアの精神だと思う。

[monorod]

エクセルで作られた仕様書やら申請書に対する恨みが高じて、エクセルそのものを恨んでるパターンは結構よく見る

[jun200]

ちょっと勉強してみるか

[takoashi_net]

“”

[gontta]

いい

[xufeiknm]

こういう作業時間だけ比較して、バックグラウンドの勉強時間隠す奴がいるから「きみやっといて、ちゃちゃっと出来るんでしょ」てな輩をのさばらせる。

[eru01]

いやさすがにここができてんならそのままExcelでやった方がはえーわ。目的と手段が入れ替わってるぞ。普通はCSVにするとこからPythonでやる / “集計対象である、テーブル形式のcsvデータは既に用意されているものとします

[shozzy]

何度も繰り返す作業なら、その通りだろうなと思う。

[norihiko_matsumoto]

自分はExcel派だけど試してみよう。

[dynamicsoar]

なぜ人は余計な煽りを入れたくなってしまうのか…「pandas-profiling, pixiedust がデータの集計に便利だよ」みたいなタイトルにすればよかったんじゃ…（便利そうなので試してみるけども）

[ys0000]

Pandasで集計して、Matplotlibで出力したグラフを、PowerPointでレポートにまとめて提出すればいいんだよ。ユーザーが欲しいのは集計結果と結論でしょ。BIツールが欲しいなら加工したテーブルデータと出力手順を渡す訳だし。

[PSV]

学生時代の俺「#Emacs と #LaTeX と #C言語 (#fscanf http://bit.ly/2WeCAsE ) 最強！#Excel 必要ない！#MicrosoftOffice 死ね！」→社会人になってからの俺「#Word も #Excel も苦手でつらい。#MOS 資格 http://bit.ly/2WcKv9Y 持ちの効率スゲー！鬱だ…」

[Sadalmelik]

　備忘録。

[Fuyu76]

Excelが遅過ぎる

[hennaojisan]

それが出来ない人がエクセルを使うんだよ。

[a_horuru]

なんか最近Pythonのゴリ推しが多くて一時期のRubyを彷彿とさせる。マウントとるためにそういう言語使ってるのかと思ってしまう。

[yujtasaka]

学習コストがね

[tyosaka]

学習のための時間は入ってないんでしょうね。 PowerQuery 使うとExcelでの集計作業の効率が数倍高まる気がします。おすすめです。

[shikiarai]

100万行超えるならpython使うのもありかな

[Lagenaria]

タイトルはともかく使ってみたい。 / 外部ツールの使用をガチガチに縛ってる職場も多いし、内部統制が理由だとしたらずっと変わらないだろうね。

[yoiIT]

CSVの仕様によって処理止まるとかありそうだけど、どの辺までカバーされてるのかやってみるか。

[sanui0822]

どう考えてもexcelの方が早かったでゲソ

[natu3kan]

逆説的にExcelのデータの整形のしやすさや機能性の高さが浮き彫りになるな。たぶん特別な環境じゃないならわざわざ申請かけてPythonの環境を入れるよりExcelの方が早いんだろうな

[kuborn]

入力データの整形がメインの作業なので結局大変です

[ublftbo]

なんで、Pythonのライブラリを使ってデータ集計するのと、Excelというアプリケーションそのものとが比較されるのか、さっぱり分からないのですが……。Pythonにはいい感じのライブラリがあるよ、で良いと思うのだけれど。