Pythonで連続した日付のリストを作る | 分析ノート
日付の連番を文字列で必要になったので、Pythonで生成する方法を二つメモしておきます。 一つ目は、 標準ライブラリである datetime を使うものです。 開始日を生成して、必要な日数だけtimedeltaで差分を加算したものをリスト化したら得られます。 生成したリストはdatetime.datetime型なので、strftimeで文字列に変換して完成です。 from datetime import datetime, timedelta # 日付のリスト生成() date_list = [datetime(2020, 1, 25) + timedelta(days=i) for i in range(10)] # 文字列に変換 date_str_list = [d.strftime("%Y-%m-%d") for d in date_list] print(date_str_list
(Python編) 時系列データをサクッとSTLでトレンド・季節性に分解
幸か不幸か、ビジネス系のデータの多くは時系列データです。売上データもホームーページのアクセスログもセンサーデータも時系列データです。 時系列データを手にしたとき、どのようなデータなのか見てみたい、ということは多々あります。 多くの場合、折れ線グラフを描き傾向を掴む、ということをやります。 折れ線グラフを眺めると、トレンド（上昇傾向や下降傾向）や季節性などが見て取れるケースがあります。 そこで、サクッとトレンドや季節性などを掴む手法がSTL分解（Seasonal Decomposition Of Time Series By Loess）です。 STL分解（Seasonal Decomposition Of Time Series By Loess）を実施することで、元データをトレンド、季節性、残差に分解することができます。 元データ ＝ トレンド ＋ 季節性 ＋ 残差 STL分解（Seas
pandas→networkx→pyvisでネットワーク分析＆可視化 - Qiita
ネットワーク分析する際は、いつもjavascriptかpythonでnodeとedigeのjsonファイル（または.dotファイル）を作成してから、gephiを利用していたけど、pythonで完結できないかと思って検討した結果。 タイトルのとおり、pythonの３つのライブラリを連携させれば楽にネットワーク分析＆可視化までできる。 中心となるnetworkxさまさま。おかげで苦労してきたデータ作成や出力などが一気に楽になった。 1.ネットワーク元のデータ やはりpandasの利用。 networkxのドキュメントに「from_pandas_edgelist」という関数がある。 Parameters df (Pandas DataFrame) – An edge list representation of a graph source (str or int) – A valid colu
[Python] CufflinksでPandasのデータフレームをPlotlyに一発描画 - Qiita
はじめに 以前、[Python] Plotlyでぐりぐり動かせるグラフを作るの記事で、インタラクティブなグラフを描画することができるPlotlyというライブラリを紹介しました。ただ、Plotlyの描画に至るまでに唱える呪文をいまいち覚えきれず、毎回どこかからコピペをしており、手軽に使用できないかなと常々思っていました。 そんな状況で、Cufflinksという、Pandasのデータフレームから、Plotlyを用いたグラフを一発で描画するライブラリを見つけたので紹介します。 Cufflinksのインストールと使いかた インストールは、pip install cufflinksで完了です。 描画するには、Cufflinksをインポートしてから、df.plot()と同じように、df.iplot()と打ち込むだけと簡単！ import pandas as pd import numpy as np
![[Python] CufflinksでPandasのデータフレームをPlotlyに一発描画 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10ad2a80f63a0a0a439244b2be3af66353db98e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNjE0NjglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTU2NjQ_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ZWE0NWMzNTIzOTlkMDdjMjFmNTZlNGJkMzE2OTk1NWY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Df86bbceb36a2b1fb9e87276eb69a5313%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwQ3VmZmxpbmtzJUUzJTgxJUE3UGFuZGFzJUUzJTgxJUFFJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJTk1JUUzJTgzJUFDJUUzJTgzJUJDJUUzJTgzJUEwJUUzJTgyJTkyUGxvdGx5JUUzJTgxJUFCJUU0JUI4JTgwJUU3JTk5JUJBJUU2JThGJThGJUU3JTk0JUJCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZDM2MzAwNGIxNWZiYWI1ODI0Nzk5MThlMTljMWQwNDY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBpbm9vcnkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0xZjk5MjgyMmJlYjBlNjM4NzllZDcyZjJmMDY3YjBhMA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D102db334c6cfb997abbaec313e8b4ff4)
Pandas 列名×行番号で要素を抽出する - Qiita
はじめに loc,ilocなど、行名/列名,行番号/列番号を基に要素抽出は出てくるものの、 列名×行番号による抽出方法が上手く探せなかったため、メモ投稿です。 やりたかったこと 大元のデータフレーム（列名有り,行名無し）から、特定の要素を持つグループに分け、 各データフレームに対して1行ずつ参照して処理をしていく必要があった。 その際、列の指定は出来るが行の指定が思うようにできないため、行番号で処理を試みた。 （reset_indexも考えたが、きっと列名×行番号での指定も出来るはず…） 結論 atとindexを組み合わせ、df.at[df.index[行番号],'列名'] で抽出できる （↓の記事をきちんと読めば良かった...） https://note.nkmk.me/python-pandas-at-iat-loc-iloc/ お試し # 列名のみのデータフレーム作成 df = pd
DataFrameの値の更新 - pandas [いかたこのたこつぼ]
pandasは、DataFrameの値の取得方法がいろいろあるため、値の代入更新もつい「この書き方でいいんだっけ」と混乱する。 基本的には（一般的な代入と同じく）左辺で更新するデータ範囲を、右辺で値を指定するのだが、左辺のデータ範囲の指定方法が様々あるのに加え、右辺での値の指定にも複数方法がある。 df.loc[df['col1']==3, ['col2', 'col3']] = df['col4'] col1 が 3 である行の col2,col3 列を、ともに同行の col4 の値にする 大別すると以下の感じ。 左辺のアクセス関数に例えば配列を渡しても、関数の種類や配列の中身によって、名前か、添字か、どのように解釈されるか異なってくるのがややこしさの元となる。
python; np.meanにて Python int too large to convert to C long と出る
リスト内のTimedeltaをnp.meanで平均しようとしたのですが、Python int too large to convert to C longと出てしまいます。 リスト内の時間がCのlongの範囲を超えてしまったということなのでしょうが、これをどうにか計算できるようにすることは可能なのでしょうか。 listを間引きすれば計算できる様にはなるのですが、間引きせずに計算できる方法があれば教えていただきたいです。 よろしくお願いします。 リスト（kakuteiList_np） [[0 Timedelta('18 days 00:24:58')] [1 Timedelta('17 days 23:59:23')] [2 Timedelta('0 days 03:23:49')] ... [17202 Timedelta('0 days 19:49:57')] [17203 Timede
Pandasのpivot_tableの全引数を解説 | 自調自考の旅
概要カテゴリカル変数と連続変数の関係の分析に特に有効で、Excelでもよく使うピボットテーブルの機能ですが、Pythonのpandasでもpivot_tableというメソッドを使うことが出来ます。本記事ではこのpivot_tableの全引数の効果を検証しました。なお、pandasのバージョンは0.23.4を使っています。 引数一覧pandasのpivot_tableには以下の7引数があります。以降、それぞれについて説明していきます。 valuesindexcolumnsaggfuncfill_valuedropnamargins_nameまた、データとしてはirisを使用しました。 df = pd.read_csv("iris.csv", index_col=0) df.head() データ分析の定番データセットですね。（全150件の最初の5件を表示しています） SepalLength S
Python NaNの判定
私はNaNじゃ¶ NaNの判定について気になるところがあったのでまとめる．ちなみにNaNは”Not a Number”の頭文字．読み方はそのままナン． お馴染みのちょっと厄介なやつです．
Python で Dictionary を List の join みたいに結合文字列にする方法 | 穀風
Python で Dictionary を List の join みたいに結合文字列にする方法 Python で Dictionary を List のように "," で join する良い方法を探していたら、こんなのを発見。 > 参考 > - [python: dictionary to string, custom format? - Stack Overflow](http://stackoverflow.com/questions/8519599/python-dictionary-to-string-custom-format) そうか、一回リストにしちゃえばいいわけだ動作確認は以下で行いました - Python 2.7.12 - Python 3.5.2。 ```python >>> dic={"a":1, "b": 2} >>> ",".join(["{0}={1}".fo
Pandas列にHTMLタグの削除を適用する
2020-08-21 16:27パンダ列のすべてからHTMLタグを削除し、説明を保持する必要があります。 1つの列のタグは既に削除しましたが、他の列に適用する必要があります。 入力： df.description[1] 出力： '<p>Das Ziel der <a href="http://swa-muc.de">Software Architektur München Gruppe</a> ist es, Menschen, die sich mit Software-Architektur auseinandersetzen wollen, in und um München regelmäßig zusammenzubringen, und einen persönlichen Erfahrungsaustausch zu etablieren. Dazu dienen neben
pandasで文字列と数値を相互変換、書式変更 | note.nkmk.me
pandas.DataFrame, pandas.Seriesの文字列と数値を相互に変換したり、文字列の書式を変更したりする方法について説明する。 データ自体を変換するのではなく、print()での出力などの表示をカスタマイズしたい場合はpandasの設定を変更する。以下の記事を参照。 関連記事: pandasの表示設定変更（小数点以下桁数、有効数字、最大行数・列数など） サンプルコードのpandasのバージョンは以下の通り。 以下の内容について説明する。 型変換（キャスト）: astype() 数値を文字列に変換 文字列を数値に変換 列の上書き、新たな列として追加 2進数、8進数、16進数の数値、文字列の変換 整数値を文字列に変換: bin(), oct(), hex(), format() 文字列を整数値に変換: int()で基数指定 基数を変換 文字列をゼロ埋め、アラインメント ゼロ
pandas データフレームをstr.contains()で処理し、nan値を無視したい
質問をすることでしか得られない、回答やアドバイスがある。15分調べてもわからないことは、質問しよう！新規登録して質問してみよう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Theory Of Retracement - A Complete Overview On Trend
【pandas】ピボットテーブルの使い方【pivot・pivot_table】 | self-methods
https://www.web-development-kb-ja.site/ja/python/pandas-aggfunc%E3%81%AE%E3%83%94%E3%83%9C%E3%83%83%E3%83%88%E3%83%86%E3%83%BC%E3%83%96%E3%83%AB%E3%83%AA%E3%82%B9%E3%83%88/1056276710/
How to aggregate unique count with pandas pivot_table
Pandas.queryに変数を入れる方法
pandasで欠損値nanじゃないデータを抽出する方法 - Qiita
pandas "case insensitive" in a string or "case ignore"