タグ

データに関するmharaokaのブックマーク (5)

  • データの集計は、ExcelよりPython使ったほうが100倍早い(pandas-profiling, pixiedust) - Qiita

    データの集計は、ExcelよりPython使ったほうが100倍早い(pandas-profiling, pixiedust)Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります(誇張ではなく) Pythonで爆速でデータ集計する方法(体感所要時間:5分) 前提: 以下の環境が整備されていることは、前提とします。 Pythonのインストール(約30分) データ分析に必要な各種ライブラリのインストール(約30分) →numpy, matplotlib, pandas, jupyter など →Anac

    データの集計は、ExcelよりPython使ったほうが100倍早い(pandas-profiling, pixiedust) - Qiita
  • 統計: 共分散と相関係数でデータセットの相関を調べる - CUBE SUGAR CONTAINER

    まず、二次元の特徴量をもったデータセットがあるときを考えてみよう。 もし、一方の次元の値が高いときに、もう一方も高い傾向があるときは、両者に正の相関があるという。 反対に、一方の次元の値が高いときに、もう一方は低い傾向があるときは、両者に負の相関があるという。 では、それぞれの次元に正または負の相関があるか否かを調べるには、具体的にどうしたら良いのだろうか。 散布図を描いてみる それにはまず、散布図を描いてみるという選択肢がある。 x 軸と y 軸に、それぞれの次元の値をプロットするやり方だ。 このとき、例えば正の相関があるなら、値は次のように左下から右上にかけてプロットされる。 これはつまり x 軸の次元の値が高いときに y 軸の次元の値も高くなることを示す。 反対に、負の相関があるなら、値は次のように左上から右下にかけてプロットされる。 これはつまり x 軸の次元の値が高いときに y

    統計: 共分散と相関係数でデータセットの相関を調べる - CUBE SUGAR CONTAINER
  • データ可視化チートシート - Qiita

    はじめに データ可視化では、データの性質によって概ねどのような可視化ができるのか決まる場合があります。データ可視化は探索的なデータ分析をする場合や、データ分析した結果を誰かに伝えるために重要であり、その時々の目的に合わせた可視化を選択するべきですが、そもそも可視化手法の特性とデータの性質があっていないとあまり効果がない場合があります。筆者が業務においてデータ可視化する際にデータの性質から可視化手法を導く場合の道のりを整理し、チートシートとしてまとめてみました。 もちろん、調べたい・表現したい内容によって自分で自由に選んでもまったく問題無いですが、データを前にして「どうやって可視化しよう?」と悩んでいる方の一助になれば幸いです。 また、この記事では主に一般的な可視化(グラフ)手法にフォーカスしており、イラスト的な要素を含むインフォグラフィックなどについては触れていません。(が、だいたいのデー

    データ可視化チートシート - Qiita
  • Python でデータ可視化 - カッコいいヒートマップを描こう - Qiita

    Pythonでのグラフ描画 Pythonチャートを描く場合の定番は「matplotlib」ですが、その見た目のやや野暮ったい感じと、 表記法のややこしさが指摘されています。 そこで、この記事ではMatplotlibの機能をより美しく、またより簡単に実現するためのラッパー的存在である、「Seaborn」の使い方を取り上げます。 Seabornについてと、初歩的な使い方については下記リンクをご覧ください。 ◆pythonで美しいグラフ描画 -seabornを使えばデータ分析と可視化が捗る その1 http://qiita.com/hik0107/items/3dc541158fceb3156ee0 seabornでは下記のように美しいヒートマップを描くことが出来ます (SeabornのTutorialサイトより抜粋) 見た目にもインパクトがあり、数字があまり得意でない人にもウケがよかったりする

    Python でデータ可視化 - カッコいいヒートマップを描こう - Qiita
  • 【永久保存版】資料作成にデータを用いたいなら!無料で統計データが手に入るサイト20選

    来週は絶対に成功させたい重要なプレゼンがある。準備万端で挑むために、提案の裏付けは必要不可欠です。しかし、それが全国や世界規模の内容になると個人で情報を収集することは、ほとんど不可能。 そんなときに頼りになるのが、国の機関や大手企業が公開している統計データです。今回はその中から無料で閲覧、ダウンロードできるものを20個紹介しようと思います。 官公庁が公開している統計データ一覧 1:総務省統計局総務省統計局 統計局は、国の中枢的な統計機関として国勢調査、その他国勢の基の統計調査の企画、実施を行っています。人口推移、家計調査、労働力推移など、基的な情報をPDFExcel形式でダウンロードすることができます。 2:内閣府統計情報・調査結果内閣府統計情報・調査結果 景気動向指数や、消費者動向調査を同じくPDFExcel形式でダウンロードすることができます。GDPや景気統計が主な掲載項目です

    【永久保存版】資料作成にデータを用いたいなら!無料で統計データが手に入るサイト20選
  • 1