Pandasでユニークな値を抽出するunique関数の使い方 - DeepAge
name,age,state,id Satoh,32,Kanagawa,1021 Takahashi,28,NaN,2152 Egawa,NaN,Ohsaka,1432 Maeda,25,Hiroshima,1104 Satoh,29,Ohsaka,2413 Egawa,32,Kanagawa,NaN あえて値にNaN値を入れました。 今回使用するこのCSVをsample_unique.csvの名前で保存します。以下のリンクから保存することができます。 sample_unique.csv SeriesやIndexのユニークな値を調べる ユニークな値を調べる時はunique関数を使うのが定石です。最初にSeriesとIndexのメンバ関数になっているunique関数の使い方についてみていきます。 APIドキュメントは引数を特に必要としない関数なので省略します。 注意しなければならないのはこれ
【Python】pandasのデータフレームを作成する方法6つ
タグ .__doc__ターミナルディレクトリディープラーニングテーマデータ型データベースデータサイエンティストデータサイエンスダブルクォートタプルタグセルの結合デバッグセットスラッグスライススペーススタイルシート言語シングルクォートショートカットキーシェルシーケンスサーバーディレクトリツリーデフォルト値コメントアウトブール演算子プリントスクリーンプラグインブラウザフォント名フォントフォルダファンクションキーファイル操作ファイルパスファイルバリューデメリットパラメータパディングパッケージバックスラッシュバックエンドバイナリーパーマリンクドライブドメインドキュメンテーション文字列コンテナコメントプログラミング言語whileyaxisxaxiswriteメソッドWorksheetオブジェクトworksheets属性workonWorkbookオブジェクトwordpresswithwidth属性W
https://docs.astraea.earth/hc/en-us/articles/360043923831-Read-a-KML-File-into-a-GeoPandas-DataFrame
Python初学者のためのPolars100本ノック - Qiita
Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 はじめに どうもこんにちは、kunishouです。 この度、PythonライブラリであるPolarsを効率的に学ぶためのコンテンツとして 「Python初学者のためのPolars100本ノック」 を作成したので公開します。こちらは2020年9月に公開した「Python初学者のためのpandas100本ノック」の問題内容をPolarsのメソッドに合わせて修正、再編したものになります。本コンテン
Polars
01 Fast Polars is written from the ground up with performance in mind. Its multi-threaded query engine is written in Rust and designed for effective parallelism. Its vectorized and columnar processing enables cache-coherent algorithms and high performance on modern processors. 02 Easy to use You will feel right at home with Polars if you are familiar with data wrangling. Its expressions are intuit
超高速…だけじゃない！Pandasに代えてPolarsを使いたい理由 - Qiita
PolarsというPandasを100倍くらい高性能にしたライブラリがとても良いので布教します1。PolarsはRustベースのDataFrameライブラリですが、本記事ではPythonでのそれについて語ります。 ちなみにpolarsは白熊の意です。そりゃあまあ、白熊と大熊猫比べたら白熊のほうが速いし強いよねってことです2。 何がいいの？ 推しポイントは３つあります 高速！ お手軽！ 書きやすい！ 1. 高速 画像はTPCHのBenchmark（紫がPolars）3。 日本語でも色々記事があるので割愛しますが、RustやApach Arrowなどにお世話になっており、非常に速いです。MemoryErrorに悩まされる問題も解決されます。開発者のRitchieがしゃれおつなツイートをしてるので、そちらも参考にどうぞ ↓ 4。 抄訳： （ひとつ目）Pandasは黄色くした部分でDataFram
Pandasで超簡単！WEBスクレイピング(表・htmlのtable取得) - ビジPy
WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 WEBサイトに公開されている情報は、テキスト情報や画像、動画など様々な情報がありますが、その中の１つとしてテーブルに格納されている情報があります。 Pythonのデータ分析用ライブラリPandasではread_htmlという関数を利用して、WEBサイト上のテーブルに格納されているデータを非常に簡単に取得することができます。 また取得したデータはPandasのDataFrame（データフレーム）と呼ばれるデータ構造を利用してすぐに分析やグラフ化、データ保存することもできます。（DataFrameの詳しい説明は、こちら「Pandas DataFrameの基本」を参照ください。） これらPandasを用いたWEBスクレイピング方法は、
pandasで文字の長さによる抽出
たとえばマスクを作って処理することができます。 >>> import pandas as pd >>> df = pd.DataFrame(data={'moji': ["aaa", "b", "cccc", "d", "eeeee", "fffffffff", "gg", "hhhhhh", "iiiii"]}) >>> mask = df['moji'].str.len() >= 3 >>> df[mask] moji 0 aaa 2 cccc 4 eeeee 5 fffffffff 7 hhhhhh 8 iiiii 1行にも書けます。 >>> df[lambda df: df['moji'].str.len() >= 3] moji 0 aaa 2 cccc 4 eeeee 5 fffffffff 7 hhhhhh 8 iiiii このドキュメントが参考になります：Indexing
pandas.DataFrameに１行ずつ書き足す早い方法を調べた - Qiita
何故やったか pandas.DataFrameに１行ずつデータを書き出して行く処理を書いていたんですが、10万行ほど書き出すと結構遅くなっちゃいました。今後行数が増える予定なので、これを期にどう書くと早くなるか確認しておく事にしました。 やったこと pandas.DataFrame.iloc[i, j] = hoge で１つずつ記入 pandas.DataFrame.append(hoge) で１行まとめて追加 pandas.DataFrame.iloc[i,:] = hoge で１行まとめて追加 1列ずつリストで作ってDataFrameに変換する※ ※ 2018.11/12 kishiyamaさんに教えて頂いたやり方を追記 試した環境 windows10 64bit cpu: Ryzen7 1700X gpu: GTX1080Ti python3.6 jupyter 1.0.0 jupy
Pandasで時刻データを扱うTimestampの使い方
Timestampクラス TimestampクラスのAPIドキュメント params: Timestampクラスオブジェクトの生成 直接生成 to_datetime関数を使った生成 date_range関数を使った連続した時刻データの生成 Timestampオブジェクトから情報取得 タイムゾーンの指定 offsetsオブジェクトを使った加減 日付データの差をとる まとめ 参考 Python上で時系列データを扱う際はdatetimeモジュールを使うのが基本です。 例えばですが、現在時刻を取得したい時は以下のように書きます。 In [1]: import datetime In [2]: time = datetime.datetime.now() In [3]: time Out[3]: datetime.datetime(2018, 9, 21, 10, 29, 17, 681135) こ
pandasのDataFrameから期間を範囲指定して抽出する - Qiita
記事の概要 pandasで時系列データを扱う時に長時間の欠損値や異常値があった場合、補間ではどうにもできないので、既にあるDataFrameから日付を指定して抽出したい事がありました。 本記事はDataFrameのカラムに時間情報がある時に日付(あるいは時刻)で範囲指定して時系列データを抽出する方法を備忘録がてら記述したものになります。 また扱うテーブルの情報によって変換の仕方が違うためそれに関しても言及しています。 DataFrameから日時データの抽出 データの下準備になります。長いので必要ない場合この節は飛ばしても大丈夫だと思います。
How to group DataFrame by a period of time?
I have some data from log files and would like to group entries by a minute: def gen(date, count=10): while count > 0: yield date, "event{}".format(randint(1,9)), "source{}".format(randint(1,3)) count -= 1 date += DateOffset(seconds=randint(40)) df = DataFrame.from_records(list(gen(datetime(2012,1,1,12, 30))), index='Time', columns=['Time', 'Event', 'Source']) df: Event Source 2012-01-01 12:30:00
Python/Pandasで時系列データを月毎に集計する方法 | WATLAB -Python, 信号処理, 画像処理, AI, 工学, Web-
Pandasは機械学習の入力データ前処理で重宝されるPythonのライブラリです。ここではPandasデータフレームで読み込んだタイムスタンプ付きの時系列データを月毎に集計(合計・平均・最大値・最小値)する方法を紹介します。 時系列データの概要とサンプルデータ説明 時系列データとは？ 時系列データ（Time-series data）とは、直訳すると時間によって変化するデータの総称です。 例えば毎日の気温といった気象情報、株価や外国為替といった金融情報等あらゆるデータ種があてはまります。 振動実験に代表されるような時間刻みのオーダーがmsやμsのデータも時系列データと呼びますが、このページでは日（day）、月（month）、年（year）といったタイムスタンプで記録されたデータを扱います。 タイムスタンプ（Timestamp）とは、ある出来事が発生した日付や時刻を示す文字列のことです。 古く
pandasで時系列データの曜日や月、四半期、年ごとの合計や平均を算出 | note.nkmk.me
pandas.DataFrameのインデックスをDatetimeIndexにすると、日付や時刻など日時の情報を持つ時系列データを処理するのに便利。 pandas.DatetimeIndex — pandas 1.0.4 documentation DatetimeIndexは属性として曜日や月、四半期、年などの情報を取得できるので、それらを利用して時系列データの期間ごとの合計や平均を算出したりできる。さらに、それらを組み合わせて、例えば四半期毎の曜日別の合計などを算出することも可能。 ここでは、以下の内容について説明する。 resample()による任意の期間の集計 曜日: weekday, dayofweek, day_name() 曜日を指定して行を抽出 曜日ごとの合計や平均を算出 そのほかの属性 年: year 四半期: quarter 月: month, month_name()
Python pandas で動的に行を追加するTips（プログラマ向け） - Qiita
TL;DR Python pandas の DataFrame を使っていると、いつもどうでもいい感じな初歩的なところではまります。 （わたしだけ...？） このあたりの Tips がまとまっている素晴らしいサイトも多いのですが、なぜか、うまーい具合にわたしがやりたいことにピッタリはまらないことが多いので半分自分用にまとめておきました。 蛇足的な考察ですが、pandas DataFrame は、データ指向のデータ屋さんが使いやすいように作られているからかな、と思います。 わたしみたいなオブジェクト指向（≒機能指向）よりなプログラマだと、そもそもの発想がロジックよりになるためそれが原因で使いづらいことが多い気がします。 ということで、どちらかというと、わたしみたいなプログラマよりのTipsになります。 データ屋さんとプログラマの考え方の違い 例 データ屋さんは、SQL の inner/out
コピペで使える!Bokehで時系列データの可視化をしよう! - Qiita
# データの読み込み df = pd.read_csv(r'sample_data.csv',names=['date','pointA','pointB','pointC'],skiprows=[0],engine='python',index_col=[0],parse_dates=[0]) df.index.freq = 'H' df.dropna().head() # 適宜'pointA'などの文字列を変更してください。 pointA = 'pointA' pointB = 'pointB' pointC = 'pointC' # グラフの設定 p = figure(title='タイトル', # タイトルを入力 x_axis_type='datetime', # x軸が時系列のindexを持っている場合、datetimeを指定 x_axis_label='timestamp',
あなたを死なせないためのプログラミング - Qiita
＜追記＞ 避難所情報を最新化していないので、稼働停止しました。 ちなみに、268人の方がLINEで友だち追加してくれました。ありがとうございました。 －－－－－－－－－－－－－－－－－－－－－－－－ 今年は、大規模な地震・台風と、災害が多い年になりました。でもそれらをニュースで見て、「今のうちに災害対策アプリを入れておこう」と行動に移した人は多くはないでしょう。 災害対策情報だけでなく、今やどんな情報も、その気になればすぐに手に入る世の中になったにもかかわらず、**「その気になる」までの心理的ハードルは未だに高いように感じています。**人間は、本気で危機感を覚えないと行動できない生き物なのでしょう。 確かに、必要に迫られていないのに新しいアプリを入れるのには抵抗がある人も多い。それなら、日本中で誰もが使っている「LINE」で避難場所を知ることができたら、みんなもう少し気軽に使えるんじゃない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to keep leading zeros in a column when reading CSV with Pandas?
Using pandas Grouper
GitHub - chezou/tabula-py: Simple wrapper of tabula-java: extract table from PDF into pandas DataFrame
