タグ

ブックマーク / qiita.com/inoshun (3)

  • PandasからPolarsへ移行した方がいいのか - Qiita

    なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・`) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリわれすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 (画像元:葬送のフリーレン公式Xアカウントのポストより) そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり

    PandasからPolarsへ移行した方がいいのか - Qiita
    misshiki
    misshiki 2024/04/18
    “生物としてもパンダは白熊に勝てないのは明らかであって、PolarsとPandasを比較しても圧倒的な速度の差があり、ライブラリとしての性能もPolarsが圧勝しています。”
  • データ解析用ライブラリ - Qiita

    はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか? 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームとシリーズという2つの主要なデータ構造が提供されており、データの読み込みやフィルタリングなど、様々なデータ解析/処理に適しています。 中小規模のデータセットに適しており、大規模なデータの処理はメモリ不足や処理速度の問題からあまり向いていません。 Numpy こちらも言わずと知れたライブラリです。 高速な多次元配列の処理とベクトル化演算のためのライブラリであり、配列の生成やブロードキャスティングなどの多彩な操作を提供しています。 線形代数や乱数生成、フーリエ変換などの科学技術計算

    データ解析用ライブラリ - Qiita
    misshiki
    misshiki 2024/03/22
    Pandas、Numpy、Dask、Polars、Vaex、Xarray、Bottleneck、PyTables、Blaze、Numba、Swifter、Modinの概要と特徴をコンパクトに紹介。
  • Streamlitの後継者を求めて② - Qiita

    はじめに お世話になっております。 ミームを見すぎて、X(旧Twitter)もYoutubeもミームだらけになってしまい危機感を感じています。 さて、前回書いた記事をもとにReflex、Solara、Taipyを使用して、Webアプリケーションを弄っていましたが、まったく理解できずに 僕「Streamlitしか勝たん。」 と心の中に住んでいるギャルがつぶやいていたところ、コメントでStreamsyncというフレームワークがあることを教えていただきました。 Streamlitのパチモンか?と気になりながら、調べてみるとJuliaのGenieBuilderのようにGUIなどのコンポーネントをビジュアライゼーションで組み立てることができるとのこと。 気になったらやってみる精神のため、とりあえず触ってみたので、簡単にまとめたいと思います。 前回記事↓ Streamsyncとは フロントエンド

    Streamlitの後継者を求めて② - Qiita
    misshiki
    misshiki 2024/02/13
    Streamsync“個人的にはStreamlitよりも使いやすく、かなり簡単に導入することができました。”
  • 1