dplyrを使いこなす！Window関数編 - Qiita
はじめに dplyrの使い方にちょっと慣れてくると、「あー、これもうちょっと簡単にできないの？」みたいな事が出てきたりします。 今回は、そんな悩みをほんのちょっと解決できるかもしれない、Window関数について解説したいと思います。 SQLに詳しい人はすぐイメージできると思いますが、私の周りにもWindow関数の存在自体を知らない人が結構居たのでいい機会なので、ざっくりまとめます。 dplyrってなんぞやという方は、基礎編の記事を見ていただければと。 Window関数を使うと簡単にできることの例 とは言っても、具体的に何ができるのか、分からなかったら読むのもメンドクサイので、まずは簡単にできることを紹介します。 ランキング（タイ順位考慮あり、なし等含む） 前日比、前週比（前後のレコードとの比較等） 累積（累積和等） 移動平均（Windowサイズの指定、Windowの位置、重み等） どれも自
pandas関連記事まとめ | note.nkmk.me
環境情報・設定 pandasのバージョンを確認（pd.show_versions） オプション設定を確認・変更する方法 表示設定変更（小数点以下桁数、有効数字、最大行数・列数など） DataFrame, Seriesの基本 pandas.DataFrameの構造とその作成方法 行数、列数、全要素数（サイズ）を取得 pandasのデータ型dtype一覧とastypeによる変換（キャスト） pandas.DataFrameとSeriesを相互に変換 pandas.DataFrameにおけるビューとコピー ファイル入出力 CSV csv/tsvファイル読み込み（read_csv, read_table） csvファイルの書き出し・追記（to_csv） Excel（xls, xlsx） Excelファイル（xlsx, xls）の読み込み（read_excel） Excelファイル（xlsx, xl
tidyverseの経過を出力してくれるtidylogをアレンジする - Qiita
tidylogとは tidylogという面白便利ツールがあります。 tidyverseはとっても便利ですが、今どこが実行されているか知りたい、実際どんな流れでどんな処理が行われているか知りたい、という場合にそれを出力してくれるのがtidylogです。 library(tidylog) data <- mtcars %>% select(mpg, cyl, hp, am) %>% filter(mpg > 15) %>% mutate(mpg_round = round(mpg)) %>% group_by(cyl, mpg_round, am) %>% tally() %>% filter(n >= 1) library(tidyverse) の代わりに用いることで、select() でどの列を省いたかだとか、filter() で何行削ったかなどを教えてくれます。 tidylogの出力をア
R初学者のためのtidyverse100本ノック - Qiita
はじめに データ分析の書籍を読んでいるとRで書かれていて解読に困ったことはありませんか。 本コンテンツでは、多くの書籍で使われているtidyverseやggplot2を主に取り扱っています。 このtidyverseやggplot2は、データを加工・可視化する際に処理を順番に記載する直感的な記述法であり、データ分析の非常に強力な手助けになることでしょう。 なお、このコンテンツはPython初学者のためのPandas100本ノックの作成者であるクニえもんさんの承諾の元、似た形式で作成しております。pythonでのデータ分析に興味のある方はこちらも是非ご覧になってください。 tidyverse100本ノックの概要 ・Rファイルに記載された、tidyverseやggplot2に関する設問100問を解いていきます ・「問題のみ版」「問題+解答・解説版」の2種類を用意しています。 問題内容 No. 分
Python初学者のためのPolars100本ノック - Qiita
Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 はじめに どうもこんにちは、kunishouです。 この度、PythonライブラリであるPolarsを効率的に学ぶためのコンテンツとして 「Python初学者のためのPolars100本ノック」 を作成したので公開します。こちらは2020年9月に公開した「Python初学者のためのpandas100本ノック」の問題内容をPolarsのメソッドに合わせて修正、再編したものになります。本コンテン
超高速…だけじゃない！Pandasに代えてPolarsを使いたい理由 - Qiita
PolarsというPandasを100倍くらい高性能にしたライブラリがとても良いので布教します1。PolarsはRustベースのDataFrameライブラリですが、本記事ではPythonでのそれについて語ります。 ちなみにpolarsは白熊の意です。そりゃあまあ、白熊と大熊猫比べたら白熊のほうが速いし強いよねってことです2。 何がいいの？ 推しポイントは３つあります 高速！ お手軽！ 書きやすい！ 1. 高速 画像はTPCHのBenchmark（紫がPolars）3。 日本語でも色々記事があるので割愛しますが、RustやApach Arrowなどにお世話になっており、非常に速いです。MemoryErrorに悩まされる問題も解決されます。開発者のRitchieがしゃれおつなツイートをしてるので、そちらも参考にどうぞ ↓ 4。 抄訳： （ひとつ目）Pandasは黄色くした部分でDataFram
dplyr 1.1.0からはgroup_by()の代わりに.by引数が使えるらしいという話 - Technically, technophobic.
この記事はR Advent Calendar 2022 3日目の記事です。昨日はhoxo-mさんの記事でした。温故知新でしたね。 さて、来年1月後半にリリース予定を控えたdplyr 1.1.0について、リリース前の新機能紹介が出ました。 今回はその中でも、summarise()やmutate()に追加されるという.by引数について簡単に紹介します。 .by引数とは？ これは、group_by()の代わりに使えるものですが、コードを見てもらった方が早いと思うので↑の記事から引用します。 regionごとにcostの平均を求めたい場合、これまでdplyrでは、 expenses |> group_by(region) |> summarise(cost = mean(cost)) と書いていました（これまで、と書きましたがもちろんこれからもこれでもOKです）。 これが、group_by()を使
巨大なデータがSQLサーバーにあるときに、Rでどう立ち向かうかマニュアル：dbplyrパッケージを中心として
巨大なデータがSQLサーバーにあるときに、Rでどう立ち向かうかマニュアル：dbplyrパッケージを中心として 遠山 祐太 Last updated: 2021-05-20 1 はじめに このノートでは、SQLサーバーに非常に大きなデータ(例えば観測数が1億以上)が格納されているときに、RStudioを使ってどのように分析を行うかについて解説していきます。想定している環境は以下のとおりです。 手元のPC：ブラウザで以下のRStudio Server RStudio Serverが入っている外部サーバー データが格納されているSQLサーバー SQLサーバーに格納されているデータが非常に大きく、RStudio Serverにデータを落とすことができない、もしくは落としても作業に非常に時間がかかる状況があります。 一つの方法としては、SQLのクエリーを書いて、データを加工・集約した上で、最終的にR
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
データフレームの行ごとに処理をするRコードをどう書くか in 2021 | 読書日記
特に趣味とかもないもので、せっかくの日曜の朝なのに、仕事の都合で書いたコードを見直していた次第である。つまらない人生だ。 で、自分が書いたRコードを眺めていてふと思ったんだけど、「ここどう書こうかな…」と考えあぐねることが多い場面のひとつとして、「データフレームの行ごとに処理をする」場面があると思う。 他の方々はどうなのかわからないけれど、私ぐらいの素人になると、仕事の中で書くデータ処理のコードというのは、いくつかの定型的な処理の組み合わせに過ぎないことが多い。ここでいう定型的処理とは、たとえば「ある個体変量行列を変数Zで層別し、変数X1, X2, …のそれぞれについて、各変数の値が集合Cに含まれる割合を層別に求める」というような粒度の処理を想定しております。 自分の書いたコードを見直していると、そういう定型的処理と、それに対応するRコードのテンプレートのようなものが、自分の心の中で一対一
Rのdplyrパッケージでプログラミングするときの注意点 2021 | 読書日記
Rのdplyrパッケージを使っていて困ることのひとつに、非標準評価(NSE)をめぐるトラブルがある。いざ困ったときにすぐ調べられるように、以前、dplyrのvignettesのひとつ”Programming with dplyr“を通読してメモを取った。 ところがdplyrの仕様はあれこれ変わり、このvignetteの中身もすっかり変わってしまった。考えてみたら、前に目を通したのは2017年だもんな。あのころの私は若かった。[すいませんいまちょっと適当なことをいいました] というわけで、最新版のvignetteを読み直してメモをとった。以前はquo(), enquo(), quo_name()などが乱れ飛ぶややこしい話だったのだが、びっくりするくらいにシンプルな話に変わっている。すごい。 イントロダクション dplyrはtidy evaluationと呼ばれる非標準評価を用いる。tidy
Jaehyun Song, Ph.D.
R 宋財泫・矢内勇生『私たちのR:ベストプラクティスの探求』 R Not for Everyone: An Esoteric Guide Rプログラミングの入門教材 現在、執筆中です 以下の記事はすべて『私たちのR』用の原稿です。執筆後のアップデートは『私たちのR』に反映されます。最新版をご覧になる場合はRN4Eをクリックしてください。 プログラミング Rプログラミング入門の入門 RN4E (1) RN4E (2) purrr入門 RN4E オブジェクト指向型プログラミング入門 RN4E モンテカルロ・シミュレーション入門 RN4E データハンドリング dplyr入門 RN4E (1) RN4E (2) RN4E (3) tidyr入門 RN4E 可視化 ggplot2入門 [理論編] RN4E ggplot2入門 [基礎編] RN4E ggplot2入門 [応用編] RN4E ggplo
dplyr-style Data Manipulation with Pipes in Python
Piping Let’s say you want to perform n discrete transformation operations on your dataset before outputting the final result. The most common way is to perform the operations step by step and store the result of each step in a variable. The variable holding the intermediate result is then used in the next step of the transformation pipeline. Let’s take a look at an abstract example. # 'original_da
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Telling Stories with Data - 16 Multilevel regression with post-stratification
How to Replicate Rows in a Data Frame in R | R-bloggers
Steve’s Data Tips and Tricks - Level Up Your Data Wrangling: Adding Index Columns in R like a Pro!
Dimensionality reduction for #TidyTuesday Billboard Top 100 songs | Julia Silge
A Grammar of Nested Data Manipulation
Select the First Row by Group in R | R-bloggers
PythonMusings #6: dplyr in Python? First impressions of the siuba (小巴) module