「pip install pandas」が遅い？解決策と高速化のコツ[Python] ｜ 自作で機械学習モデル・AIの使い方を学ぶ
はじめに Pythonのデータ処理ライブラリであるPandasは、データの読み込みや解析に非常に便利なツールです。しかし、Pandasをインストールする際に遅く感じることがあるかもしれません。本記事では、その原因と一般的な問題について説明し、パフォーマンスを向上させるための解決策や高速化のコツについて解説します。 Pandasのインストールが遅い理由と一般的な問題について Pandasをインストールする際に遅さを感じる原因はいくつか考えられます。まず、ネットワーク速度が遅い場合は、パッケージのダウンロードに時間がかかります。また、pipのキャッシュ機能を活用していない場合も、再度ダウンロードが行われるため遅くなることがあります。さらに、Pythonのバージョン管理やpipのアップグレードもインストールの遅さに影響を与えることがあります。 ネットワーク速度とその影響について パッケージのダウ
![「pip install pandas」が遅い？解決策と高速化のコツ[Python] ｜ 自作で機械学習モデル・AIの使い方を学ぶ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f40677efea27600ebf900b087b7be0858f2f90d1/height=288;version=1;width=512/https%3A%2F%2Fmachine-learning-skill-up.com%2Fknowledge%2Fwp-content%2Fuploads%2F2023%2F10%2F1-47.jpg)
Python製のCLIアプリのインストールはpipx使っとけばOK (2020年時点) - Qiita
これだけでいい感じになる。 はじめに Python製CLIアプリのインストールはpipを使えばできてしまうのですが、Macには標準でPython2とPython3が同居していたり、自分でPython環境を別途構築しているとpipが一体どこのpipなのかが訳わからなくなりがちだと思います。 こんな記事があったり。 Why you should use python -m pip pipを使うならちゃんとインタプリタを明示しようということですね。でも面倒だ。 上記の記事を読むとCLIアプリ管理に特化したpipxというツールがあることを知りました。 使ってみると確かにいい感じ。ちょっとした解説を踏まえて記事にしました。 環境 MacOS 10.14.6 pipx をインストールする。 (公式READMEと同じ内容です。) pipx自体はHomebrewでパパっとインストールします。
pipでの依存性管理を少しだけラクにしてみる - Qiita
はじめに PythonBytes ポッドキャストの最新エピソード（第208回）を聴いていて面白そうなツールの紹介をしていたので試してみました。pipでの依存性管理が少しだけラクになると思います。 pipでの依存性管理とその課題 まずpipでの依存性管理について基本的なおさらいを。必要なパッケージをインストールするには pip installで行います。例えば、requestsとpandasという2つのパッケージをインストールすると以下のようになります。 $ pip install requests Collecting requests Downloading requests-2.25.0-py2.py3-none-any.whl (61 kB) |████████████████████████████████| 61 kB 7.2 MB/s Collecting urllib3<1.
［解決！Python］Clickパッケージを使ってコマンドライン引数を処理するには
import click @click.group() def cli(): pass @cli.command() def subcmd1(): click.echo('subcmd1') @click.command() @click.argument('foo') def subcmd2(foo): click.echo(f'subcmd2 with arg {foo}') cli.add_command(subcmd2) if __name__ == '__main__': cli() import click @click.command() @click.option('-l', '--long_long_long', 'long') @click.option('--foo', default='FOO') @click.option('--bar', type=float,
Python 3.11から追加された標準パッケージtomllibの紹介 | IIJ Engineers Blog
2018年新卒入社し、SOCにてインフラ管理を担当。その後、マルウェア解析や検証業務などに従事。2022年度からは、社内のSREチームにて兼務を開始。主な保持資格は、CISSP, OSCP, GREM, GXPN, RISS, CKA, CKSなど。バイナリを読むのが好きで、一番好きな命令はx86の0x90（NOP命令）。 はじめに 私は、業務でマルウェア解析のようなリバースエンジニアリングをしており、業務効率化のために自作ツールを作ることがあります。皆さんは自作のツールの設定ファイルに、どのようなファイル形式を利用していますか。昨今は、KubernetesやAnsibleなどで用いられるYAMLや、フロントエンド界隈で頻繁に利用されるJSONなどが多い印象です。そんな中、今回はTOMLと呼ばれるファイル形式の紹介をします。プログラミング言語Rustのパッケージ管理ファイルに利用されていた
PythonでGoogleの２段階認証を実装する方法解説
WebサイトやスマホアプリのログインにはID（メールアドレス）とパスワードがよくつかわれます。２段階認証はそれに加えてユーザーに追加のSMSや指紋の認証作業をしてもらうことを言います。これはID・パスワードの認証が突破され、なりすましや情報漏洩されることを防ぐことを目的としています。 例えば、ログインにユーザーが使用するスマホを使った２段階認証が必須になっていれば、悪意のある第三者がIDとパスワードの組を見つけたとしても、そのスマホをもっていないのでログインできないというわけです。
Pythonを使えばテキストを含むPDFの解析は簡単だ・・・そんなふうに考えていた時期が俺にもありました - Qiita
まえがき Pythonを使えばテキストを含むPDFの解析は簡単だ・・・ 文字情報が含まれていればPDFから文字やテーブルの情報を抽出して、そのデータを利用してWebサービスなんて簡単につくれるぜ、ひゃっほーいっという安易な思考の結果が以下になります。 新型コロナウイルス感染症の感染拡大を踏まえたオンライン診療のPDFデータを利用してみた https://qiita.com/mima_ita/items/c0f28323f330c5f59ed8 ここで得た最も重要な知見は「PDFデータをコンピュータで読むのはやめとけ、あれは人間が読むものだ」ということと、わずかなPythonを使用したPDFの取り扱いの方法です。 今回はそのわずかなPythonを使用したPDFの取り扱い方法について説明します。 なお、実験環境はWindow10のPython 3.7.5 64bitになります。 operand
pythonからpdfのフォームに入力する
pythonからpdfのフォームに入力する（厳密には違う） #pythonでpdfのフォームに値を入力していく機能をつくりました。 そもそもpdfにフォームなんて埋められるんだって知らなかったです。 どうやら読み込み専用フォームとそうでないフォームがあるみたいです。 書き込めるフォームであってもフォントの指定や色付けとかが難しそうだったので、フォームに入力しない形式で実装しました。 なのでどちらにも対応できるような感じになってます。 事前準備 #reportlab #! /usr/bin/python # -*- coding: utf-8 -*- from reportlab.pdfgen import canvas from reportlab.lib.pagesizes import A4 from reportlab.pdfbase import pdfmetrics from r
ゼロからはじめるPython(70) Pythonを使って自動で申請書PDFに書き込もう(その2)
既存PDFに何かしらのテキストを書き込む機会は多い。前回よりPythonで既存PDFに書き込みを行う方法を紹介している。前回は簡単な図形を描画してPDFに保存する方法を紹介したが、今回は実際に申請書に必要事項を書き込む方法を紹介する。特に日本語テキストの書き込み方法や既存PDFを読み込み方法を確認してみよう。 今回作るのはPythonで申請書に項目を自動入力するプログラムだ ライブラリのインストールが必要 前回よりPDFを作成する方法を紹介している。PythonではいろいろなPDFライブラリがあるが、本稿ではPyPDF2とReportLabを使う方法を紹介する。そのため、前回の内容を参考にして、これらのパッケージをインストールしておこう。 日本語フォントとサンプル素材をダウンロードしよう なお、ReportLabで日本語フォントを利用するには、フォントファイルを用意する必要がある。ここでは
キーワード検索システムでの表記ゆれ対策6つ【python】 - Qiita
概要 キーワードマッチングを行うときの表記ゆれ対策として自分がよくやることをまとめました。 環境 macOS Catalina 10.15.4 python 3.8.0 想定するシステム 任意の単語や日本語を入力として、検索対象文書から関連しそうなものを抽出するシステムを想定します。基本的なやり方はキーワードマッチングで、入力と検索対象文書からそれぞれキーワードを抽出し、一致するものがあるか探します。ただしユーザは自由に入力できるので、表記ゆれを吸収した上で、キーワードマッチングをする必要があります。想定される表記ゆれの要因としては、下記が考えられます。 全角、半角の違い ひらがな、カタカナ、漢字、ローマ字の表記ゆれ 活用形の違い １，２文字程度の打ち間違い、変換ミス これらを吸収できるような頑健な検索システムを作ることを目指します。 1. neologdnによる正規化 mecab-ipa
Pythonにおける非同期処理: asyncio逆引きリファレンス - Qiita
Pythonのasyncio、またasync/awaitについてはあまり実践的な例が出回っていなかったため、収集した情報をもとに用例ベースの逆引きリファレンスを作ってみました。 ただ、この辺はほんとに情報がなくて何が真実なのか謎に包まれている点があるので、情報をお持ちの方はぜひご連絡をいただければと思います。 今回紹介する例は、以下のgistにまとめてあります。実装時の参考にしていただければと思います。 icoxfog417/asyncio_examples.py はじめに Pythonにはthreading、multiprocessing、asyncioとどれも並列処理に使えそうなパッケージが3つあります。これらの違いをまず押さえておきます。 これらのパッケージの違いは、そのまま「マルチスレッド」、「マルチプロセス」、「ノンブロッキング」の違いに相当します。まず、マルチスレッドとマルチプ
Python3.7以上のデータ格納はdataclassを活用しよう - Qiita
はじめに Pythonでデータを格納する際に辞書や普通のクラスを使っていませんか？Python3.7からはデータ格納に便利なdataclassデコレータが用意されています。 この記事では公式ドキュメントやPEP557の説明ではいまいち掴めない、どういった時に便利で、なぜ使うべきなのかという点に触れつつ、使い方を説明していきます。 なお、以前のバージョンではPython3.6に限りpip install dataclassesによって使えるようになります。執筆時点ではGoogle Colaboratoryの環境がPython3.6.9ですが、デフォルトでdataclassesがインストールされています。 想定読者 dataclassの存在を知ったが何なのかよく分からない人 可読性高くデータを扱いたい人 「前はこんな機能なかったし、自分は別に使わなくて良いよ・・・」と思っている人 よく見かける
foreverコマンドをcrontabで監視して自動再起動する ｜ びぎんぱいそん
今回はcrontabでforeverコマンドを永続化する方法について紹介します。 nodeモジュールやPythonのプロセスを永続化できるforeverコマンドですが、プログラムでエラーが発生した場合には停止してしまうケースがあります。 プロセスが停止してしまうとサーバーにアクセスして再起動するしかないので手間がかかります。 プロセスが落ちていた場合に自動で再起動することができればサーバーにアクセスする手間が減るだけでなく、システムの安定性も上がります。 foreverコマンドをcrontabで監視する方法 ◆今回使用した環境 サーバー：Xサーバー 作業PC：MacBook Pro 起動処理を実装する forever listでプロセスの状態を確認し、プロセスが落ちていた場合やストップしていた場合は再起動をかけます。 プロセスの状態としては主に「正常」、「異常終了」、「プロセスなし」があり
負荷テストツール、Locustで遊ぶ - CLOVER🍀
これは、なにをしたくて書いたもの？ Locustという負荷テストツールがあると聞き、テストシナリオをプログラムで書けるそうなので試してみようかと Locust - A modern load testing framework Locust コトハジメ - Qiita 今回は、どんなツールか把握するところを目標に試してみます。 Locust？ Pythonで書かれた、負荷テストツールです。 Locust - A modern load testing framework GitHub上のstar数も多くて、割と人気のツールのように見えます。 GitHub - locustio/locust: Scalable user load testing tool written in Python オフィシャルサイトやGitHubによると、以下のような特徴を持つようです。 ※GitHubの内容の方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Capture keyboardinterrupt in Python without try-except
How do I print colored text to the terminal?
Pythonのf文字列（フォーマット済み文字列リテラル）の使い方 | note.nkmk.me
【Python】mysqlクエリのWHERE INに配列(list)を直接渡す方法【mysql.connetor】 | PisukeCode - Web開発まとめ
Pythonで定周期で実行する方法と検証 - Qiita
8.2. pytest - ゼロから学ぶ Python