2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
はじめに 前回は、非常に小さなレトロ風RPGの、バトル画面を作りました。今回は、Pythonのクラスと、Pygameのスプライトについて学びます。 クラスとインスタンス クラスは多くのプログラミング言語に存在している仕様です。Pythonにもクラスがあります。クラスはデータと処理をまとめてグループ化できる仕組みです。他にも便利な仕組みを持っています。 クラスは整数やテキストなどと同じような「型」になります。そして、クラスという設計図のようなものから、インスタンス（実体）と呼ばれるオブジェクト（物）を作ることができます。 クラスとインスタンス 実際にどのようなものか、Pythonのプログラムで見てみましょう。class_1.pyというファイルを作り、プログラムを書いて実行します。 class Chara: # コンストラクター、第一引数はself def __init__(self, nam
読み飛ばしてください おはようございます、しなもんです。 この記事は↓の続編的立ち位置です。 前回の記事がありがたいことに爆発的にトレンド入りしました。ありがとうございました。 （あれらの機能を知らなかったのが私だけじゃないことが分かって安心しました） 思ったより反応があり、Twitter(自称X)でもいろいろ意見をいただきました。 というわけで、今回は標準ライブラリのドキュメントを読んでみました。 予想通り、知らない裏技がたくさん出てきました。 Pythonすごい。 functoolsが便利すぎる partialを使った関数の部分適用 partial関数を使うと、関数の一部の引数を固定した新しい関数を作成できるようです。 コールバック関数を使う際や、関数型プログラミングっぽいコードを書く際に非常に便利なようです。 私は関数型プログラミングには明るくないのですが、 クラスの継承的なことをし
TOMLファイルを解析および作成するライブラリ「toml」のインストールについて解説しています。TOMLファイルとは、明白なセマンティクス（意味論）により読みやすい最小限の構成ファイル形式を目指しているものです。 「toml（https://github.com/uiri/toml）」は、TOMLを解析および作成できるライブラリです。 ■Python 今回のPythonのバージョンは、「3.9.9」を使用しています。（Windows11）（pythonランチャーでの確認） ■tomlをインストールする tomlをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install toml 起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Pytho
おはこんばんちわ。今日も引き続きChatGPT先生をお迎えして、「ChatGPTとPythonで学ぶ owlready2」というテーマで雑談したいと思います。それではChatGPT先生、よろしくお願いします。 assistant: おはようございます、そしてこんばんは。今日もよろしくお願いします。オウルReady2、面白いテーマになりそうですね。 Owlready2はPythonでOntology、特にOWL（Web Ontology Language）を操作するためのライブラリです。最初に言っときますが、このライブラリは深い専門知識を必要とする部分もあるので、ここで全てをカバーするのは難しいかもしれませんが、一緒に学んでいきましょう。 user: それでは早速。Owlready2 を使って、次の家系図をOWL形式に変換する Python コードを書いてください。得られた OWL 形式ファ
Pythonでチャートやグラフの作成ができるデータの視覚化ライブラリ「pygal」のインストールについて解説しています。 「pygal（https://www.pygal.org/en/stable/index.html）」は、データの視覚化により、開発者がより複雑なデータを簡単に操作できるライブラリです。 ■Python 今回のPythonのバージョンは、「3.9.9」を使用しています。（Windows11）（pythonランチャーでの確認） ■pygalをインストールする pygalをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install pygal 起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Python Version 3
地球上の 2 点間の距離を計算できる「haversine」のインストールについて解説しています。 「haversine（https://github.com/mapado/haversine）」は、緯度と経度を使用して、地球上の2点間の距離を様々な単位で計算できます。 ■Python 今回のPythonのバージョンは、「3.9.9」を使用しています。（Windows11）（pythonランチャーでの確認） ■haversineをインストールする haversineをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install haversine 起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Python Version 3.9.9にインス
Pythonでカリー化する方法
今回は関数型プログラミングの中で頻繁に登場するカリー化というテクニックを紹介します。 カリー化はpartial関数のシンタックスシュガーであるためpartial関数について知っていれば難しくはありません。partialの復習も兼ねてカリー化と比較しながら紹介します。 partial関数のおさらいpartial関数は関数に部分適用できる機能を持っています。 例えば、引数を２つ受け取りその積を返す関数mul(a, b)があります。どんな数値も2倍にする関数doubled(b)が欲しい場合は、partial関数を使って以下のように作成できます。
本シリーズと本連載について 本シリーズ「Pythonデータ処理入門」は、Pythonの基礎をマスターした人を対象に以下のような、Pythonを使ってデータを処理しようというときに便利に使えるツールやライブラリ、フレームワークの使い方の基礎を説明するものです。
【Python】Markdownを使用したプロジェクトドキュメントを構築できる「mkdocs」のインストール
Markdownを使用したプロジェクトドキュメントを構築できる「mkdocs」のインストールについて解説しています。 「mkdocs（https://www.mkdocs.org/,https://github.com/mkdocs/mkdocs）」は、プロジェクトドキュメントの構築を目的とした高速でシンプルな静的サイトジェネレーターです。 ■Python 今回のPythonのバージョンは、「3.9.9」を使用しています。（Windows11）（pythonランチャーでの確認） ■mkdocsをインストールする mkdocsをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install mkdocs 起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用し
mathモジュールのmath.log関数、math.log1p関数、math.log2関数、math.log10関数を使って対数を求める方法と、それぞれの関数の違いを紹介する。 import math # 10の自然対数（eを底とする）を求める x = 10 result = math.log(x) print(f'math.log({x}): {result}') # math.log(10): 2.302585092994046 # math.eの自然対数（eを底とする）を求める x = math.e result = math.log(x) print(f'math.log({x}): {result}') # math.log(2.718281828459045): 1.0 # math.log関数で2を底とする対数を求める x = 0b0100 # 4 base = 2 r
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
【作って学ぶPython】クラスとスプライトを学んでメンテナンスしやすいコードを書こう！
「Python標準ライブラリのドキュメントでも読むか～」「え、何その裏技」 - Qiita
【Python】TOMLファイルを解析および作成するライブラリ「toml」のインストール
【光る君へ】藤原道長の家系図を Owlready2 で書く - Qiita
Pythonでチャートやグラフの作成ができる「pygal」のインストール
【Python】地球上の 2 点間の距離を計算できる「haversine」のインストール
［pandas超入門］DataFrameをソートしたり行や列を入れ替えたりしてみよう
［解決！Python］mathモジュールを使ってlog（対数）を計算するには