2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
【11万文字越え】プログラミング初心者に贈る即戦力ガイド - Qiita
目次 1.はじめに 2.VSCodeの拡張機能紹介 3.コーディングのポイント 4.よく使われる英単語一覧 5.エラーとの向き合い方 6.テストで動作確認 7.検索の極意 8.公式ドキュメントに慣れる 9.リファクタリングでさらに読みやすく 10.資料作成で気をつけること 11.Gitで管理 12.よく使うLinuxコマンド一覧 13.仕事の進め方 14.プログラム以外で意識するところ 15.初心者こそ読んで欲しい本 16.まとめ 1. はじめに プログラミングは現代のデジタル社会において重要なスキルです。 AIがコードを書いてくれる時代ですが、それでも人の手によるプログラミングはいまだに必要です。それはAIが完璧なコードを書いてくれるわけではないからです。 この記事では、プログラミングの世界に新たに足を踏み入れた皆さんを全力でサポートします。 VSCodeの便利な拡張機能から始まり、コー
python的な書き方を学ぶと良い話 - Qiita
はじめに Pythonは可読性が高く、ライブラリが豊富というメリットがあります。一方で、遅いから使いたくないと言われることもあります。たしかにコンパイル方式の言語に比べれば遅い部類ではあります。しかし、実際のところではpython的な書き方を分からず、他の言語の流儀でコーディングをしたことに起因して処理時間がかかっているケースも見受けられます。 例えば総当り計算や画像処理に多重ループを使う、といったものです。本記事では多重ループを例にして、python的な書き方に書き換えることで、どのような変化があるか紹介します。それを通してpython的な書き方を学ぶ意義について説明したいと思います。 対象の読者 他の言語からpythonに入った方(組み込みC言語からpythonに入った過去の私) 例: 総当りの計算をする 数列に対して、それぞれの要素同士に対して総当りで何らかの計算をするコードについて
【Python】専門書や論文を読みたいけど数学が苦手・わからない人向けのコードを読んで学ぶ数学教本 - Qiita
はじめに プログラミング自体は文系、理系、年齢関わらず勉強すればある程度ものになります。プログラミングがある程度できるようになるとTensorflow,PyTorchやscikit-learn等のライブラリで簡単にできる機械学習やデータサイエンスに興味を持つの必然! これからさらになぜ上手くいくのか・いかないのかの議論をしたい、社内・外に発表したい、理論的な所を理解したい、先端研究を取り入れたい、応用したい等々と次々に実現したい事が増えるのもまた必然でしょう。このときに初めて数学的なバックグラウンドの有無という大きな壁が立ちはだかります。しかし、数学は手段であって目的ではないので自習に使える時間をあまり割きたくないですよね。また、そもそも何から手を付けたら良いかわからないって人もいるかと思います。そんな人に向けた記事です。本記事の目標は式の意図する事はわからんが、仕組みはわかるという状態に
日本株式のデータをスクレイピングなしで取得・リストにしたい - Qiita
大きなデータを取り扱ってみたい！ 株価を分析するのって面白そう！ と思い立って調べてみると，海外の株式はPandasのDataReaderで案外簡単にデータとして手に入りますが， （例えばGoogle financeやFREDなど） 日本の株価は，案外データとして見つかりません． Yahoo!ファイナンスから引っ張ってくればいいじゃん！という記事は多いですが， Yahoo!ファイナンスはスクレイピングを禁止しているため，こちらから引っ張ってくるわけにもいきません． モジュールのjsmを使えば…という意見もあるかもしれませんが，こちらもスクレイピングを使用しています． 本記事は，スクレイピングなしでデータを取得し，ひとつのリストとすることを目的とします． せっかちな人のためのコード いいから結論だけ教えてくれ！って人のために（がんばってかいた）コードをおいておきます． 細かい点は各自修正をお
Lambda(Python)でGoogle Driveへファイルアップロード - Qiita
Lambda(Python)でGoogle Driveへファイルアップロード この記事はサーバーレスWebアプリ Mosaicを開発して得た知見を振り返り定着させるためのハンズオン記事の1つです。 以下を見てからこの記事をみるといい感じです。 Lambda(Python) + Rekognition で顔検出 イントロダクション S3ってファイルを保存するだけならいいのですが、そのファイルを人が参照するのには向いてないですよね。画像にしてもWebブラウザ上でそのまま見ることができず、一度ダウンロードしてから見る必要がある。ちょっと手間なんですよね。 その点、Google DriveはPCにしろスマホにしろ、ブラウザやアプリでいい感じに画像を参照することができますのでいい感じです。 コンテンツ Google Developers Console プロジェクトの作成 GoogleのDevelo
AWS公式『現代的なウェブアプリケーションの構築』ハンズオンのハマリどころ - Qiita
AWSは、AWSのサービスを活用した実践的なハンズオンコンテンツを多数公開しており、 日本語化もされています。 アマゾン ウェブ サービス (AWS) の実践的チュートリアル https://aws.amazon.com/jp/getting-started/hands-on/ 社内向けにコンテナやAPI Gateway初学者向けのハンズオン教材を探していたところ、 ちょうどいいチュートリアルをみつけました。 現代的なウェブアプリケーションの構築 https://aws.amazon.com/jp/getting-started/hands-on/build-modern-app-fargate-lambda-dynamodb-python/ このチュートリアル、 ECS/Fargateを活用したコンテナアプリケーションの公開 Codeサービスを活用したCI/CDパイプラインの構築 Ama
Pythonでも簡単にGUIは作れる - Qiita
PythonだってGUIを作りたい Pythonで書いたプログラムを実行して使う場合、**『GUIで入出力できたら便利なのに…』**と思うときはありませんか？ 誰かにプログラムを配布する場合でも、CUI(コマンドラインから入出力)はあまり親切とは言えません。 特にITスキルの高くない人にとっては、CUIは拒絶反応を起こすこともあります。 Pythonでも簡単にGUIを作れたら… そんな場合、PySimpleGuiを使ってみてはいかがでしょうか？ PySimpleGuiは誰でも簡単にGUIを実装できるのが特徴で、PySimpleGui公式ドキュメントによると、PySimpleGuiはすぐに習得でき、コード量も他のGUIライブラリ(Tkinter、Qt、WxPythonなど)の1/2～1/10程度で済むとのこと。 百聞は一見にしかずなので、まずは下記のコードと実行結果をご覧ください。 impo
【自動化】PDF内の表をPythonで抜き出す - Qiita
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
文科省のPython教材、改訂版が出ました！指摘に対して直したり直さなかったりと面白いです！ - パパ教員の戯れ言日記
5月に出た文科省の研修用教材に対して、micro:bitが出たぞ！やった！と浮かれていたら、修造botを完全に修造本人のTwitterとして紹介しているというデカいミスをやらかしているということを記事にしましたが、今回その改訂版が出ました。 blog.edunote.jp ちょっと見てみましょう。 改訂版はこちらから。 www.mext.go.jp ワードクラウドの紹介にはやはり修造は出てこなかった 前回更新後に訂正されたまま、走れメロスのワードクラウドでした。 では、他の場所はどうなったのでしょうか。 Qiitaで指摘されていた部分 Qiitaでは@nagataaaasさんが記事をまとめ、指摘していらっしゃいました。 qiita.com 私が見た感じ、この記事からは数点の修正が見られます。 以下、改訂前は http://www.mext.go.jp/component/a_menu/ed
「算数が苦手な娘のために」Pythonプログラミングを学び、計算ドリルを作ったお父さんの話。 - Qiita Zine
2007年に新卒でIT企業に入社。3年法人営業の後に5年マーケティング・営業改善の業務を担当。営業改善の中でSFAのシステム導入に関わった経験を活かして、2015年にIoTサービスの提供や導入支援を行う株式会社ウフルに転職。受託開発部門にて、SFAのシステム構築や導入コンサルティング業務に従事。大学時代から含めてプログラミングの経験は一切なし。 「目的の明確化」、「対価を払う」をプログラミング学習のモチベーションに ──優秀賞を受賞した「子ども用計算ドリル」についても後ほどしっかりとお聞きしたいのですが、まずはプログラミングを学ぼうと思ったきっかけについてお伺いできますか？ 大友：そもそもプログラミングは以前から興味があって、最初は書籍を何冊か購入してみたんです。でも書籍を読みながらだと「分からなくなってそれっきり」みたいなことも多くて。そこで動画だな、と。動画なら実際に講師が説明しながら
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
Pythonでこんなことできちゃうんです＊随時更新＊
はじめに 日々、StackOverflow や Qiita や Medium らで pythonについてググっている私がこれ使えるな、面白いなと思った tips や tricks, ハックを載せていくよ。 簡単な例文だけ載せてくスタイル。新しいの発見次第、じゃんじゃん頻繁に追加していくよ。 これも知っとけ！これ間違ってる！ってのがあったら、コメント下さい。 このモジュルやライブラリーの関数とか基本/応用的な使い方を知りたいけど、自分で探すの面倒、英語意味不ってのがありましたらそれもコメントにどうぞ。私が代わりに調査 • 解析を努力致します。 簡単な例文を心がけてはいますが、なにせ読むな！見て感じろ！なくらい説明不十分なので、初歩的な関数の使い方などのpython知識を所有しているとすんなり理解しやすいかと思います。多分。 注:リンク先は全て英語です。PEP8をいつかは読みましょう。良いスタ
プログラムは音楽だ (A program is a music.)
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この資料の背景 この資料は、子供にプログラミングを教えるのに、音が鳴る題材だとデバッグが容易であることとに基づいています。音楽活動をされているプログラマの方々、音楽活動をされている方々がプログラミングに取り組む際の意見交換に基づいています。 何人かは、プログラマに転身される過程におつきあいしています。 そんな方の紹介からまず。 https://www.youtube.com/watch?v=qOOymLivqhU https://www.youtube.com/watch?v=ZBo-gvFN2mI 公開算譜(open source)は
2018年のPythonプロジェクトのはじめかた - Qiita
4/30 公開 5/1 増補改訂: 大幅加筆しました。 この記事では、2018年以降に実現可能になったモダンなPythonプロジェクトのはじめかたを整理して紹介します。 PythonにもPipenvという公式推奨の高機能なパッケージマネージャーが登場し、さらに2018年に入ってからの機能向上で、npmやyarnのような開発体験が得られるようになってきました。 私はここしばらくはフロントエンドやNode.jsに携わっていて、npmやyarnに慣れきっていたせいか、pipenv導入以前はvirtualenvやpipを組み合わせた開発が面倒で仕方なかったですが、Pipenv導入によって一変しました。 これからはPythonのプロジェクトがよりクリーンかつ簡単にはじめられるようになり、開発体験も向上するでしょう。 それでは、まずはPythonのインストールからです。 Pythonのインストール P
Ansibleをはじめる人に。 - Qiita
この記事で書いていること この記事では Ansibleをはじめる人 を対象に、下記の Ansible 入門的な内容についてまとめています。 Ansibleとは Ansibleを調べる Ansibleを試す Ansibleをもう少し試す 既にわかっている人向けに用語を使えば、 「 jinja templateによるファイルの動的配置などとroleによるタスクの切り出しまでをハンズオン 」 となります。 なお、環境は Python 2.6.6 + Ansible 1.9.4 です。 Ansibleとは Ansibleは "構成管理ツール" と呼ばれ、最近(少なくとも私の中で)話題のツールです。 Infrastructure as a Code なんていう文脈の中では Chef, Puppet などと並んで必ず出てくるツールの1つかと思います。 このあたりの話は話しだすとそれだけで記事が書けてし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonを使った株価の自動収集 - Qiita