備忘録＠Python OR セミナー:Pandas - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Python PandasのSeries、Dataframeの基本操作（１） - Qiita
二次元配列でこれを表現するとき、「ハチマン」「ユキノ」「ユイ」や「数学」「国語」「英語」といった文字の扱いに困る。Dataframeではこれをcolumnsやindexで表せる。 しかし、この型はいろいろと厄介な仕様があり、私はのっけから躓いてしまった。 これはpandas超初心者の私が自分用に作った、超初歩的なpandas操作マニュアルである。 pythonのバージョンは3.5.2（標準pythonではなく、Anacondan4.2.0を使っている） pandasのバージョンは0.18.1 コードはiPython5.1.0で実行している状況をイメージしている。 pandasを使う前の準備 pandasのインストール 私はAnacondaで一括で入れた。（Anacondaはpython+よく使われるライブラリみたいなものである。NumpyやiPythonも入れられる） そのほかにも、pip
pandas のデータフレームをエクセルに書き出す - Qiita
NY.GDP.PCAP.KD float64 dtype: object df_gdp.index MultiIndex(levels=[['Japan', 'United States'], ['1960', '1961', '1962', '1963', '1964', '1965', '1966', '1967', '1968', '1969', '1970', '1971', '1972', '1973', '1974', '1975', '1976', '1977', '1978', '1979', '1980', '1981', '1982', '1983', '1984', '1985', '1986', '1987', '1988', '1989', '1990', '1991', '1992', '1993', '1994', '1995', '1996', '1997'
Python で 株価データ取得する pandas.io モジュール が pandas_datareader に変わっていた件 〜 pip install 時のパッケージ名は、pandas-datareader だが、import時は、pandas_datareader で わかりにくいので注意 - Qiita
以下の記述を発見 pandas 0.18.0 documentation » Remote Data Access Warning In pandas 0.17.0, the sub-package pandas.io.data will be removed in favor of a separately installable pandas-datareader package. This will allow the data modules to be independently updated to your pandas installation. The API for pandas-datareader v0.1.1 is the same as in pandas v0.16.1. (GH8961) You should replace the imports of t
pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - GoogleColab編 - Qiita
はじめに 以下記事よりGoogleColabratoryでは表示、挙動が不安定とのこと、解決方法があったので紹介します。 【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 Colaboratoryでやると表示、挙動が不安定でした。 Kaggle KernelはOK。 Colaboratoryでは何か方法があるかもしれません。 IT詳しい方、ご存知でしたら教えてください。 2020/2/4 追記 以前までは以下のように一度htmlファイルに出力してからfrom IPython.display import HTMLを使って描画するようにしていました。 2020/10/3 追記 下記コードの内容を@Kudaka さんの指摘を受けて修正しました。 import pandas as pd import warnings from pandas_pro
データ分析で頻出のPandas基本操作 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最
pandas DataFrame内にNaNありますか？ - Qiita
ちょっと探して見つからず、何とかかんとかして出し方わかったのでメモ。 お題は「pandas DataFrame内にNaNありますか？」 データがちゃんと処理されているかの簡易的なチェックとして、データフレーム内にNaN値あるか、それがどこにあるか調べたい。 NaNを埋めたい/消したいならfillna()/dropna()使えばいいのだけど、今ここでやりたいのは「NaNがあるか調べて、その行(列)を表示すること」 例として、このデータフレームの2-4行目、または1-3列目だけを抜き出したい。 df=pd.DataFrame(np.random.randn(5,5)) df.ix[2:, 1:3] = np.nan df.columns=list('abcde') df #[Out]# a b c d e #[Out]# 0 -0.678873 -1.277486 -1.062232 0.09
Python Pandas を Excel代わりに利用してデータ操作 - Qiita
Pandas での データ操作 最近は利用するデータも巨大化しているため、Excelで開くのも大変です。 結構 Excelでは開けない、もしくは開くと Excelが重すぎて操作できないデータが結構あります。 Python の Pandas ライブラリを活用してExcelでのデータ操作を代替してみたいと思います。 Pandas の導入やファイル読み込みに関してはこの文書では説明しませんので、以下のリンク先を参照してください。 Pandas の導入とデータ型 - Qiita Pandas で様々なファイルを読み込み操作する - Qiita データ取得先 機械学習が認知されてきたせいか、オープンデータが多くなってきています。 東京都もいくつかのデータを公開しています。 東京都オープンデータカタログサイトホームページ ちょと東京都の公開するExcelはデータ処理目的だと不便なのでCSVを加工してE
Pandasを使ったデータ分析の実践例 - やはりQiitaアドベントカレンダーの「企業・学校・団体」カテゴリーにはヘビーライカーが多かった - Qiita
はじめに Qiitaアドベントカレンダー2017 のランキングを見ていて気づいたことがありました。 それは 購読者数ランキングの上位はいろんなカテゴリーがあるのに、いいね数ランキングの上位は「企業・学校・団体」カテゴリーが独占状態 だということです。 不思議だったので Python の Pandas と Jupyter Notebook を使って色々と分析してみました。 調べたこと 主に２つの点を中心に調べてみました。 購読者数といいね数の関係 普通に考えれば購読者数が多ければそれだけいいね数も多くなるはずです。と思っていたのですが、ランキングを見る限りこのような関係は全くないように見えます。 この辺りをはっきりさせるために購読者数といいね数の相関関係を調べました。 「企業・学校・団体」カテゴリーについての仮説 とある「企業・学校・団体」のカレンダーにいいねしているユーザーを見ていたら、そ
pandas で 3 次元のデータ構造を扱う - Qiita
3 次元のデータを扱う pandas におけるデータ構造として主要なものに 1 次元つまり線の Series と 2 次元つまり表形式の DataFrame があります。これは pandas における主要なオブジェクトであり Python for Data Analysis でも詳しく解説されています。 しかし実はもう一つ主要なオブジェクトがあります。それが Intro to Data Structures でも 3 つ目に登場する 3 次元の Panel です。 この 3 次元のデータ構造は、たとえば毎日の表データから任意の数値を取り出して時系列のログに関する統計分析をおこないたいといった用途において役立ちます。 Panel オブジェクトを作る Panel は辞書形式にした DataFrame または 3 次元の ndarray を引数にとることで生成することができます。具体的にやってみ
【Python】pandasのSeries、DataFrameとは - Qiita
pandasのSeries、DataFrame ITエンジニアのための機械学習理論入門をやり始め、そっこーで DataFrameが何を意味しているか分からず、嵌りました。 調べた結果です。ついでにSeriesも pandas 0.17.1 documentationの公式ドキュメントより The two primary data structures of pandas, Series (1-dimensional) and DataFrame (2-dimensional), handle the vast majority of typical use cases in finance, statistics, social science, and many areas of engineering. For R users, DataFrame provides everythin
ExcelにPythonが搭載？ - Qiita
自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにします。自分は、ExcelはデータのためのGUIツールとしては便利で役に立つツールだと思っています。ただ、VBAの方が長年放置されていて最近の言語としては落第なのでPythonが搭載されることを期待したいと思っています。急遽テーマを変更したので、時間がなくて以下は「Excel VBA Advent Calendar 2017 20日目」の記事と同じにしてしまいました。 「ExcelにPythonが搭
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pandasでよく使う文法まとめ - Qiita
Parquet, CSV, Pandas DataFrameをPyArrow経由で相互変換する - Qiita
【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - Qiita
pandasのDataFrameの複数列を同時にastypeで型変換 - Qiita
[Python] pandasを使ってcsvファイルの読み込み - Qiita![[Python] pandasを使ってcsvファイルの読み込み - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d702e24bcfb944526addd550fea68b79744aba0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTcyMTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNTA2Mzk5MjEwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWMwYzVmNTNjODI3Yzk1MGQxZWJjNmM1ZDdlYjhmNmVm%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D450db591efda2355c401a608f341b629%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwcGFuZGFzJUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJUEzJUUzJTgxJUE2Y3N2JUUzJTgzJTk1JUUzJTgyJUExJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgxJUFFJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9NjljMmNlZjc0ODgxODVjNDE4NzZlMzY1ZDNkYzk3Y2E%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBmX2thenFpJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9M2RkMzY1MTRhM2ZiZjdiZmZkZTNhZDdhNDQ5NTI3Nzc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Db36b9c4a1c2e16420dd4c56e9a134463)
SQLでやるこの操作ってpandas.DataFrameではどうやるの！ - Qiita
Python PandasでJSONファイルをCSVファイルに変換する方法 - Qiita
pandasのDataFrameのデータ操作をよくわすれるので、よく使用する操作を自分のためにまとめた - Qiita
