[B! pandas] slay-tのブックマーク

slay-t id:slay-t

pandasに関するslay-tのブックマーク (12)

正規表現のポテンシャルを引き出す自作関数３選 [Python] - Qiita
はじめに文字列処理に関する3種類の自作関数を紹介します。具体的には、主に以下の2点を目的としています。・正規表現の円滑な適用・英字 / かな / カナ / 漢字 / 数字の識別 ☆ 02/26 時点で全体構成を刷新しました。下準備
slay-t 2021/11/08
qiita

python

development

pandas
リンク
【Python】pandas DataFrameの値を更新 - ITips
pandasのDataFrameの値を更新する方法がいくつかあるので、後で見返す為にも更新方法をまとめておく。以下のlocやwhereの他に一括更新の方法がある。 DataFrameの値を更新する方法 pandasのDataFrameの値を更新する方法がいくつかあるが、大きく以下の３つの方法に分けられる。値を一括代入条件に合致するカラムを更新別のDataFrameで上書き各方法についてDataFrameを用いながら説明する。 import pandas as pd data_list1 = [ [1,2,3], [2,3,4], [3,4,5] ] col_list1 = ["c1","c2","c3"] df1 = pd.DataFrame(data=data_list1, columns=col_list1) print(df1) # c1 c2 c3 # 0 1 2 3 #
slay-t 2020/06/22
data

python

C

pandas

HotEntry

プログラミング

更新

where

update
リンク
Pythonによる財務分析① バフェットコードをつかって完全レクチャー！ (全8回) | DeFi Labo
Python初心者企業の財務分析をしたいけど、なにをしたらいいのかわからないよ。。。この記事は10分程で読むことができます！この記事では、Python初心者でもできるように、財務諸表分析をレクチャーしていきます！本記事は、全8回に渡って掲載される「pythonによる財務分析‐バフェットコードを用いて完全レクチャー！」シリーズの第1回になります！このシリーズを読むとわかることPython初心者でも、数百数千の企業の財務データを分析出来るようになる！最終的に重回帰分析といった機械学習的手法もマスターできる！重回帰分析をマスターすれば、株式投資のリターン予測を行う事が出来るようになり、プログラミングだけでなく投資のスキルも磨けます！また、ファイナンス系以外の幅広い分野の研究機関でも、この分析手法を利用した論文も多々ある為、教養としても覚えて損はないです！是非、全8回を読みPyth
slay-t 2020/06/16
企業

python

データ

財務分析

pandas

分析

取得

programming

investment
リンク
たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita
以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。ベクトル化可能な場合 swifterはベクトル化可能なときはベクトル化するので、swifterの計算時間は単純にベクトル化した場合とほぼ等しくなるはずです。これを確認してみましょう。 import pandas as pd import numpy as np import dask.dataframe as dd import swifter import multiprocessing import gc pandas_time_list = [] dask_time_list
slay-t 2019/11/15
swift

qiita

pandas

python
リンク
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、なんとかGILのあるPythonでも高速に読み込みたいと思います。ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。結論はDask使おう！検証環境データ速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
slay-t 2017/08/04
CSV

python

pandas
リンク
Python pandas プロット機能を使いこなす - StatsFragments
pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。補足サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m
slay-t 2015/11/16
Python

CSV

pandas

可視化

プロット
リンク
Python xray で多次元データを pandas ライクに扱う - StatsFragments
はじめに pandas では 2 次元、表形式のデータ ( DataFrame ) を主な対象としているが、ときには 3 次元以上のデータを扱いたい場合がある。そういった場合以下のような方法がある。 MultiIndex を使い、2 次元のデータにマッピングする。 3 次元データ構造である Panel、4 次元の Panel4D、もしくは任意の次元のデータ構造 ( PanelND ) をファクトリ関数で定義して使う。 numpy.ndarray のまま扱う。自分は MultiIndex を使うことが多いが、データを 2 次元にマップしなければならないため種類によっては直感的に扱いにくい。Panel や PanelND は DataFrame と比べると開発が活発でなく、特に Panel4D、PanelND は現時点で Experimental 扱いである。また、今後の扱いをどうす
slay-t 2015/07/27
blog

Pandas

python

statistics
リンク
Python pandas データのイテレーションと関数適用、pipe - StatsFragments
pandas ではデータを列や表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。イテレーション関数適用 pipe (0.16.2 で追加) それぞれ、Series、DataFrame、GroupBy (DataFrame.groupbyしたデータ) で可能な操作が異なるため、順に記載する。まずは必要なパッケージを import する。 import numpy as np import pandas as pd イテレーション Series Series は以下 2つのイテレーション用メソッドを持つ。各メソッドの挙動は以下のようになる。 __iter__: Series の値 ( values ) のみをイテレーシ
slay-t 2015/06/19
development

python

pandas
リンク
Python pandas 日本語環境向けのちょっとしたパッケージ作った - StatsFragments
最近の空き時間は GitHub で草植えをしている。まずは pandas を日本語環境で使う場合にたまに必要になる処理をまとめたパッケージを作った。インストール pip install japandas 機能機能の一覧はこちら。日時処理日本語日付のパース日本の祝日カレンダー文字列処理 Unicode 正規化全角/半角変換リモートデータアクセス詳細はドキュメントを。 http://japandas.readthedocs.org/en/stable/ 日時処理日本語日付のパース pandas には日付らしい入力を適切に処理してくれる pandas.to_datetime があるが、これは日本語の日付 ( "XX年XX月XX日" とか ) に対応していない。例えば以下のような入力は日時としてパースされず文字列のまま残ってしまう。 import pandas as
slay-t 2015/03/02
DateTime

python

pandas
リンク
Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments
以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。この記事では以下 2 点の処理について書く。 Yahoo! ファイナンスからの株価取得ローソク足チャートの描画補足標準の v0.15.2 で簡単に動きをみているが、ちゃんとテストはしてない。特にローソク足チャートについては pandas の plot クラスにかなり依存しているため、バージョンが変わると動かなくなる可能性がある。 1. 株価の取得まず、pandas には標準機能として外部サイトのデータを DataFrame で取得する機能 DataReader がある。DataReader では日本株の情報は直接はとれないが、簡単に動きを書いておく。 DataReader での取得 DataReader では、0.15.2 現在で以下 6 つのデータソースをサポート
slay-t 2015/02/04
python

data

pandas
リンク
Python pandas データ選択処理をちょっと詳しく <後編> - StatsFragments
概要こちらの続き。これで pandas でのデータ選択についてはひとまず終わり。 Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments Python pandas データ選択処理をちょっと詳しく <中編> - StatsFragments サンプルデータの準備データは前編と同じものを使う。ただし変数名は変えた。 import pandas as pd s1 = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df1 = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s1 # I1 1 # I2 2 # I3 3 # dtype:
slay-t 2014/11/18
float

python

array

pandas
リンク
Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments
概要書いていて長くなったため、まず前編として pandas でデータを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について日本語で整理したものがなさそうなので。サンプルデータの準備 import pandas as pd s = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s # I1 1 # I2 2 # I3 3 # dtype: int64 df # C1 C2 C3 # I1 11 12 13 # I2 21 22 23 # I3 31 32
slay-t 2014/11/15
array

as

Python

pandas
リンク
1