pandasのcut, qcut関数でビニング処理（ビン分割） | note.nkmk.me
ビニング処理（ビン分割）とは、連続値を任意の境界値で区切りカテゴリ分けして離散値に変換する処理のこと。機械学習の前処理などで行われる。 例えば、年齢のデータを10代、20代の層（水準）ごとに分けるといった処理などがある。 pandasでビニング処理（ビン分割）を行うにはpandas.cut()またはpandas.qcut()を使う。 pandas.cut — pandas 0.22.0 documentation pandas.qcut — pandas 0.22.0 documentation それぞれ、 等間隔または任意の境界値でビン分割: cut() 要素数が等しくなるようにビン分割: qcut() という違いがある。 ここでは、pandas.cut()およびpandas.qcut()の使い方として、以下の内容を説明する。 等間隔または任意の境界値でビニング処理: cut() 最大値
pandasのMultiIndexから任意の行・列を選択、抽出 | note.nkmk.me
pandas.DataFrameやpandas.Seriesのインデックスを階層的に構成できるマルチインデックス（階層型インデックス）を使うと、階層ごとに合計や平均などの統計量を算出できて便利。 関連記事: pandasのMultiindexで階層ごとの統計量・サンプル数を算出 関連記事: pandasで時系列データの曜日や月、四半期、年ごとの合計や平均を算出 マルチインデックスについてのもろもろの処理は以下の記事を参照。 関連記事: pandasのMultiindexの指定・追加・解除・ソート・レベル変更 マルチインデックスの行・列の選択（抽出）方法に若干クセがあるので注意が必要。 公式ドキュメントでは以下の節で説明されている。 MultiIndex / Advanced Indexing — pandas 0.22.0 documentation 例として以下のcsvデータを使用する。
pandasで窓関数を適用するrollingを使って移動平均などを算出 | note.nkmk.me
pandas.DataFrame, pandas.Seriesに窓関数（Window Function）を適用するにはrolling()を使う。 pandas.DataFrame.rolling — pandas 0.23.3 documentation pandas.Series.rolling — pandas 0.23.3 documentation 窓関数はフィルタをデザインする際などに使われるが、単純に移動平均線を算出（前後のデータの平均を算出）したりするのにも使える。 窓関数 - Wikipedia ここでは以下の内容について説明する。 rolling()の基本的な使い方 Windowの幅を指定: 引数window Windowの中心に結果の値を格納する: 引数center 最小データ個数を指定: 引数min_periods 窓関数の種類を指定: 引数win_type 列方向に
Pythonでファイルの読み込み、書き込み（作成・追記） | note.nkmk.me
Pythonでのファイルの読み込み（入力）・書き込み（出力）ついて説明する。ファイルの中身を文字列やリストとして取得したり、ファイルを新規作成・上書き・追記したりできる。 ここではパス文字列を使う組み込み関数open()について説明するが、パスをオブジェクトとして操作するpathlibモジュールでも同様の処理が可能。ファイル全体を読み書きする場合はpathlibのread_text()などのメソッドを使うと楽。 関連記事: Python, pathlibでファイルの作成・open・読み書き・削除 また、Web上のファイルをダウンロード・保存したい場合は以下の記事を参照。 関連記事: PythonでWeb上の画像などのファイルをダウンロード（個別・一括） open(), withによるファイル読み書き（入出力） 基本的な書き方 読み込み・書き込みいずれの場合も組み込み関数open()でファイ
Pythonでリストをソートするsortとsortedの違い | note.nkmk.me
Pythonでリストを昇順または降順にソートするにはsort()とsorted()の2つの方法がある。文字列やタプルをソートしたい場合はsorted()を使う。
Pythonのリストと配列とnumpy.ndarrayの違いと使い分け | note.nkmk.me
Pythonには、組み込み型としてリストlist、標準ライブラリに配列arrayが用意されている。さらに数値計算ライブラリNumPyをインストールすると、多次元配列numpy.ndarrayを使うこともできる。 それぞれの違いと使い分けについて説明する。表（テーブル）で表現されるような二次元データを扱うのに便利なデータ分析ライブラリpandasについても最後に少し触れる。 リストと配列とnumpy.ndarrayの違い リスト - list リストlistの主な特徴は以下の通り。 組み込み型であり、何もimportせずに使える 異なる型を格納できる リストのリストによって多次元配列を表現することも可能 狭義の配列とは異なるが、配列ライクな簡単な処理を行うのであればリストlistで十分な場合が多い l = ['apple', 100, 0.123] print(l) # ['apple',
NumPy配列ndarrayとPython標準のリストを相互に変換 | note.nkmk.me
なお、便宜上「変換」という言葉を使っているが、実際は元のオブジェクトはそのままで新たな型のオブジェクトが生成される。 本記事のサンプルコードのNumPyのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。
Python, Janomeで日本語の形態素解析、分かち書き（単語分割） | note.nkmk.me
JanomeはPythonの形態素解析エンジン。日本語のテキストを形態素ごとに分割して品詞を判定したり分かち書き（単語に分割）したりすることができる。pipでインストール可能。 mocobeta/janome: Japanese morphological analysis engine written in pure Python Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja) janome package — Janome API reference v0.4 ここでは以下の内容について説明する。 Janomeのインストール JanomeとMeCab 解析結果の精度 形態素解析の速度 Janomeで形態素解析 基本的な使い方 Tokenオブジェクトの属性 Janomeで分かち書
pandasで日付・時間の列を処理（文字列変換、年月日抽出など） | note.nkmk.me
pandas.DataFrameの日時（日付・時間）を表した列を操作する方法を説明する。文字列とdatetime64[ns]型との相互変換、年月日、時刻を数値として抽出する方法など。 以下の内容について説明する。 文字列をdatetime64[ns]型（Timestamp型）に変換: to_datetime() Timestamp型の属性・メソッド dtアクセサで列全体を一括処理 年月日、曜日などを抽出 任意のフォーマットで日時を文字列に変換 Pythonのdataframe型、NumPyのdatetime64[ns]型の配列に変換 dtに用意されていないメソッドの場合 DatetimeIndexの場合 ファイルからの読み込み時に文字列をdatetime64[ns]型に変換 datetime64[ns]型をインデックスに指定し、時系列データとして処理する方法およびその活用法は以下の記事を参
pandasで条件に応じて値を代入（where, mask） | note.nkmk.me
pandasで条件に応じて値を代入する方法を説明する。if文を使うわけではないが、if then ...あるいはif then ... else ...的な条件分岐の処理が可能。 特定の値の置換、欠損値NaNの置換や削除については以下の記事を参照。 関連記事: pandas.DataFrame, Seriesの要素の値を置換するreplace 関連記事: pandasで欠損値NaNを削除（除外）するdropna 関連記事: pandasで欠損値NaNを置換（穴埋め）するfillna 以下のpandas.DataFrameを例とする。 import pandas as pd import numpy as np df = pd.DataFrame({'A': [-20, -10, 0, 10, 20], 'B': [1, 2, 3, 4, 5], 'C': ['a', 'b', 'b', '
pandas.DataFrameの行を条件で抽出するquery | note.nkmk.me
pandas.DataFrameから任意の条件を満たす行を抽出するにはquery()メソッドを使う。比較演算子や文字列メソッドによる条件指定、複数条件の組み合わせなどを簡潔に記述できる。 pandas.DataFrame.query — pandas 2.1.4 documentation Indexing and selecting data - The query() Method — pandas 2.1.4 documentation ブーリアンインデックス（Boolean indexing）による条件指定については以下の記事を参照。 関連記事: pandasで複数条件のAND, OR, NOTから行を抽出（選択） 特定の型の列を抽出したり、行名・列名で行・列を抽出したりすることも可能。 関連記事: pandas.DataFrameから特定の型の列を抽出・除外するselect_dt
PythonでRESAS APIを使ってデータをダウンロード | note.nkmk.me
RESASは「Regional Economy Society Analyzing System（地域経済分析システム）」の略。読み方は「リーサス」。市区町村別の産業・経済の情報が提供されており、APIを利用して生データをダウンロードできる。 トップページ - RESAS 地域経済分析システム ここでは、PythonからRESAS APIを利用してデータをJSONやCSV形式でダウンロードする方法を説明する。 RESAS APIの基本的な使い方 APIキーを取得 仕様と使い方 RESAS-API一覧 例: 都道府県コード データを取得 JSONで保存 pandas.DataFrameに変換 CSVで保存 例: 市区町村コード 都道府県を指定して個別にダウンロード 全都道府県のデータを一括ダウンロード pandas.DataFrameに変換して連結 CSVで保存 JSONで保存 例: 一人当
pandasのcrosstabでクロス集計（カテゴリ毎の出現回数・頻度を算出） | note.nkmk.me
pandas.crosstab()関数を使うとクロス集計分析ができる。 カテゴリデータ（カテゴリカルデータ、質的データ）のカテゴリごとのサンプル数（出現回数・頻度）の算出などが可能。 pandas.crosstab — pandas 0.22.0 documentation 出現回数ではなく、カテゴリごとの平均値などを算出したい場合はピボットテーブルpandas.pivot_table()を使う。以下の記事を参照。 関連記事: pandasのピボットテーブルでカテゴリ毎の統計量などを算出 ここでは、 pandas.crosstab()関数の基本的な使い方 カテゴリごとの小計・総計を算出: 引数margins 全体・行ごと・列ごとに規格化（正規化）: 引数normalize について説明する。 例としてタイタニックの生存情報のデータを使用する。Kaggleの問題からダウンロードできる。 im
python-pandas-plot
pandas.Series, pandas.DataFrameのメソッドとしてplot()がある。Pythonのグラフ描画ライブラリMatplotlibのラッパーで、簡単にグラフを作成できる。 pandas.DataFrame.plot — pandas 0.22.0 documentation Visualization — pandas 0.22.0 documentation Irisデータセットを例として、様々な種類のグラフ作成および引数の設定などをサンプルコード・結果とともに説明する。 Irisデータセット plot()メソッドの基本的な使い方 表示 画像ファイルとして保存 オブジェクトとして操作 共通の設定 サイズを変更 別々のサブプロットに描画 サブプロットのレイアウト サブプロットのx軸, y軸の共通化 プロットする列の指定 グラフの種類 折れ線グラフ（line plot）
『Pythonデータサイエンスハンドブック』は良書（NumPy, pandasほか） | note.nkmk.me
この本は良い。原著のKindle版を持っているのに買ってしまった。 注意点と良い点を紹介する。 目次・内容 注意点 / こんな人にはオススメできない 英語版はオンラインで無料公開されている Pythonの基礎には触れられていない 良い点 / こんな人にオススメしたい NumPyの説明が（比較的）詳しい 新しいバージョンのpandasに対応 Matplotlibの説明が詳しく、サンプルが豊富 機械学習のアルゴリズムへの理解が深まる 類書との比較 『科学技術計算のためのPython入門』 『Pythonによるデータ分析入門』 まとめ 目次・内容 正式な書名は『Pythonデータサイエンスハンドブック ――Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習』。 サブタイトルにある、Jupyter（IPython）、NumPy、pa
pandas.DataFrame, SeriesとNumPy配列ndarrayを相互に変換 | note.nkmk.me
pandasのDataFrame, SeriesとNumPy配列ndarrayを相互に変換する方法を説明する。 DataFrame, Seriesをndarrayに変換するにはto_numpy()メソッドかvalues属性、ndarrayをDataFrame, Seriesに変換するにはそれぞれのコンストラクタを使う。 DataFrame, SeriesとPython組み込みのリスト型listの相互変換、DataFrameとSeriesの相互変換については以下の記事を参照。 関連記事: pandas.DataFrame, SeriesとPythonのリストを相互に変換 関連記事: pandas.DataFrameとSeriesを相互に変換 本記事のサンプルコードのpandasとNumPyのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。 import panda
pandasでユニークな要素の数・頻度（出現回数）をカウント | note.nkmk.me
pandasで、DataFrameの列（=Series）のユニークな要素の数（重複を除いた件数）や要素ごとの頻度（出現回数）を取得する方法を説明する。 Seriesのunique(), value_counts(), nunique()メソッドを使う。nunique()はDataFrameのメソッドとしても提供されている。 pandas.Series.unique() ユニークな要素の値の一覧をNumPy配列ndarrayで返す pandas.Series.value_counts() ユニークな要素の値とその頻度（出現回数）をSeriesで返す pandas.Series.nunique(), pandas.DataFrame.nunique() ユニークな要素の数をint, Seriesで返す ここでは、それぞれのメソッドの基本的な使い方を説明したあと、ユニークな要素の数や一覧などを取
pandasで任意の位置の値を取得・変更するat, iat, loc, iloc | note.nkmk.me
pandas.DataFrameの任意の位置のデータを取り出したり変更（代入）したりするには、at, iat, loc, ilocを使う。at()ではなくat[]のように記述する。 pandas.DataFrame.at — pandas 2.0.3 documentation pandas.DataFrame.iat — pandas 2.0.3 documentation pandas.DataFrame.loc — pandas 2.0.3 documentation pandas.DataFrame.iloc — pandas 2.0.3 documentation 位置の指定方法および選択できる範囲に違いがある。 位置の指定方法 at, loc: 行名（行ラベル）、列名（列ラベル） iat, iloc: 行番号、列番号 選択し取得・変更できるデータ at, iat: 単独の要素の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonのf文字列（フォーマット済み文字列リテラル）の使い方 | note.nkmk.me
pandasに関する情報 | note.nkmk.me