pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now!
pandas - Python Data Analysis Library
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now!
pandas入門 DataFrame DB入出力 | Python学習講座
CSV、TSVなどのファイル連携と並んでよく使うのがDBからの入出力です。ここではsqlite3を使用しますが、コネクションオブジェクトを変えれば他のものも使用可能です。 read_sql select文の結果をDataFrameに格納する pandas.io.sqlを使用します。 以下のサンプルは、articleテーブルをメモリ上のsqlite3に作成し、レコードを2件挿入後、select文の結果をDataFrameに格納しています。 read_sqlの引数にSQL文とコネクションを設定します。 import sqlite3 import pandas as pd import pandas.io.sql as psql # sqlite3に接続 con = sqlite3.connect(':memory:') cur = con.cursor() # サンプルテーブルを作成 cur.
pandas で 3 次元のデータ構造を扱う - Qiita
3 次元のデータを扱う pandas におけるデータ構造として主要なものに 1 次元つまり線の Series と 2 次元つまり表形式の DataFrame があります。これは pandas における主要なオブジェクトであり Python for Data Analysis でも詳しく解説されています。 しかし実はもう一つ主要なオブジェクトがあります。それが Intro to Data Structures でも 3 つ目に登場する 3 次元の Panel です。 この 3 次元のデータ構造は、たとえば毎日の表データから任意の数値を取り出して時系列のログに関する統計分析をおこないたいといった用途において役立ちます。 Panel オブジェクトを作る Panel は辞書形式にした DataFrame または 3 次元の ndarray を引数にとることで生成することができます。具体的にやってみ
【Python】pandasのSeries、DataFrameとは - Qiita
pandasのSeries、DataFrame ITエンジニアのための機械学習理論入門をやり始め、そっこーで DataFrameが何を意味しているか分からず、嵌りました。 調べた結果です。ついでにSeriesも pandas 0.17.1 documentationの公式ドキュメントより The two primary data structures of pandas, Series (1-dimensional) and DataFrame (2-dimensional), handle the vast majority of typical use cases in finance, statistics, social science, and many areas of engineering. For R users, DataFrame provides everythin
pandas.formats.style.Styler.format — pandas 0.18.1 documentation
Table Of Contents What’s New Installation Contributing to pandas Frequently Asked Questions (FAQ) Package overview 10 Minutes to pandas Tutorials Cookbook Intro to Data Structures Essential Basic Functionality Working with Text Data Options and Settings Indexing and Selecting Data MultiIndex / Advanced Indexing Computational tools Working with missing data Group By: split-apply-combine Merge, join
ExcelにPythonが搭載？ - Qiita
自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにします。自分は、ExcelはデータのためのGUIツールとしては便利で役に立つツールだと思っています。ただ、VBAの方が長年放置されていて最近の言語としては落第なのでPythonが搭載されることを期待したいと思っています。急遽テーマを変更したので、時間がなくて以下は「Excel VBA Advent Calendar 2017 20日目」の記事と同じにしてしまいました。 「ExcelにPythonが搭
[Python] CufflinksでPandasのデータフレームをPlotlyに一発描画 - Qiita
はじめに 以前、[Python] Plotlyでぐりぐり動かせるグラフを作るの記事で、インタラクティブなグラフを描画することができるPlotlyというライブラリを紹介しました。ただ、Plotlyの描画に至るまでに唱える呪文をいまいち覚えきれず、毎回どこかからコピペをしており、手軽に使用できないかなと常々思っていました。 そんな状況で、Cufflinksという、Pandasのデータフレームから、Plotlyを用いたグラフを一発で描画するライブラリを見つけたので紹介します。 Cufflinksのインストールと使いかた インストールは、pip install cufflinksで完了です。 描画するには、Cufflinksをインポートしてから、df.plot()と同じように、df.iplot()と打ち込むだけと簡単！ import pandas as pd import numpy as np
![[Python] CufflinksでPandasのデータフレームをPlotlyに一発描画 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10ad2a80f63a0a0a439244b2be3af66353db98e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNjE0NjglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTU2NjQ_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ZWE0NWMzNTIzOTlkMDdjMjFmNTZlNGJkMzE2OTk1NWY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Df86bbceb36a2b1fb9e87276eb69a5313%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwQ3VmZmxpbmtzJUUzJTgxJUE3UGFuZGFzJUUzJTgxJUFFJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJTk1JUUzJTgzJUFDJUUzJTgzJUJDJUUzJTgzJUEwJUUzJTgyJTkyUGxvdGx5JUUzJTgxJUFCJUU0JUI4JTgwJUU3JTk5JUJBJUU2JThGJThGJUU3JTk0JUJCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZDM2MzAwNGIxNWZiYWI1ODI0Nzk5MThlMTljMWQwNDY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBpbm9vcnkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0xZjk5MjgyMmJlYjBlNjM4NzllZDcyZjJmMDY3YjBhMA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D102db334c6cfb997abbaec313e8b4ff4)
主成分分析で振り返るM-1グランプリ - Qiita
1. はじめに M-1グランプリとは，吉本興業が主催する日本最大級の漫才コンテストです．出場資格や採点制度がシビアであること，また結果がテレビ露出に大きな影響を与えるためことが特徴で，漫才大会とは思えない異様な緊張感を持っています． 先週，M-1グランプリ2017が開催され，予選を勝ち上がった10組による決勝ファーストラウンドと，その上位3組による最終決戦が生放送されました．過去の事例を考慮すると，優勝したとろサーモンはもちろん，最終決戦に進出した和牛やミキは，今後テレビ露出が激増することが予想されます．つまり，決勝ファーストラウンドを勝ち抜けるかどうかが今後の人生を左右するとも言えます． そこで本記事では，データで見る世界，データで見るM1グランプリ2017 〜本当に一番面白かったのはどの漫才だったのか〜1を参考に，M-1グランプリ2017の決勝ファーストラウンドを主成分分析し，最終決戦
（個人メモ）python 日付などをkey にした集計 - Qiita
Apacheログからの集計で日付毎の集計はよくやるのですが、ピーク時間帯だけを抽出して日付単位に合計と推移を評価したいなんてことが良くあります。 Apacheログ→Pandasでread_csv時にParseするわけなのですが、フォーマットは%Y-%m-%d %H:%M:%Sで列に入っていて日付と時間を分離するのもちょっとめんどくさい話になります。日付抽出はfloor('24h')などを使って時間部分を切り捨てればなんとかなりますが、時間部分だけ分離するのは少々苦労します。 結局断念しました。 で、なにか他の方法がないか探ったら・・いいやつがありました。 以下サンプルコードです。Pandas便利です。 import pandas as pd import datetime import numpy as np rng = pd.date_range(start = '2014-01-01'
RESAS COMMUNITY
平素より、内閣府 地方創生推進室の「RESAS COMMUNITY」をご利用いただきありがとうございました。 RESAS COMMUNITYにつきましては、令和2年3月30日（月）をもちまして終了いたしました。長い間ご利用いただき誠にありがとうございました。 なお、地域経済分析システム（以下、RESAS）につきましては、継続してご利用いただけます。 引き続き、RESASをご利用いただきますようお願いいたします。 RESASはこちらから 内閣府 地方創生推進室 内閣府 地方創生推進室 〒100-8968 東京都千代田区永田町1-6-1 内閣府本府庁舎 Copyright ©Cabinet Office, Government Of Japan. All Rights Reserved.
pythonのPandasで、縦持ちのデータを横持ちにするよい方法を教えてください。
groupbyでグループ化し， applyでグループ内の要素を結合する関数fを適用します． DataFrameのまま結合するので同じcolumn名は使えないので，ここではnumber,number1,number2,...のように末尾に数字を加えるた新たなcolumnにしています(rsuffix='{0}'.format(i)のところ). これで以下のようにDataFrameを作れます． def f(a): a.index = [0 for i in range(len(a))] del a['ID'] out = a[0:1] for i in range(1, len(a)): out = out.join(a[i:i+1], rsuffix='{0}'.format(i)) return out df = pd.DataFrame([['A', 111, 'nn'], ['A', 1
[Python] 株価データをプロットし，さらにCSVファイルを出力する - Qiita
はじめに Web上で長期間の株価データを探してもなかなか見つからないので，Pythonを用いて株価のヒストリカルデータを取得し，CSV形式で出力，さらに出力したデータをプロットするプログラムを作成しました． 日本株・外国株いずれにも対応しています． 参考までに，例として出力した日経平均株価1のCSVファイルはこちら，さらにプロットすると以下のようになります． ソースコードの紹介 まず，作成したソースコードを紹介します． #!/usr/bin/env python3 # -*- coding:utf-8 -*- ''' 株価データのプロット・CSVへの出力 ''' import datetime as dt from pandas import DataFrame import jsm import pandas_datareader.data as web import matplotli
![[Python] 株価データをプロットし，さらにCSVファイルを出力する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/60e4cb905a677f8ed6deac343332e539703c47d2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU2JUEwJUFBJUU0JUJFJUExJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJTkyJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgzJTgzJUUzJTgzJTg4JUUzJTgxJTk3JUVGJUJDJThDJUUzJTgxJTk1JUUzJTgyJTg5JUUzJTgxJUFCQ1NWJUUzJTgzJTk1JUUzJTgyJUExJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgyJTkyJUU1JTg3JUJBJUU1JThBJTlCJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00ODlhZjVkYmM5MzVkZTA4OWU3Y2UwNDVlMTNkYzZjOQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwU3VydW1lcmYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWNhMzIxMjlmNmI3NTljYjQ3MmE4NTU2ZDRlYzI4YTE5%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D2a41217e973f4a1279944a00e1432e00)
A Beginner’s Guide to Optimizing Pandas Code for Speed | by Sofia Heisler | Upside Engineering Blog
If you’ve done any data analysis in Python, you’ve probably run across Pandas, a fantastic analytics library written by Wes McKinney. By conferring dataframe analysis functionality to Python, Pandas has effectively put Python on the same footing as some of the more established analysis tools, such as R or SAS. Unfortunately, early on, Pandas had gotten a nasty reputation for being “slow”. It’s tru
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pandasのDataFrameのデータ操作をよくわすれるので、よく使用する操作を自分のためにまとめた - Qiita
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.searchsorted.html
jupyter notebook上で金融データの描画・取得・操作 - Qiita
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.html
pandas.DataFrame.query to allow column name with space · Issue #6508 · pandas-dev/pandas
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.html
pandas入門した際に参考になった資料 - Qiita
