仕事する前に知っておくと幸せかもしれないpandasのきほん - read関数にはとりあえずURL渡しておけ - Lean Baseball
お仕事や, （個人的には）趣味のデータ分析・開発などでpandasをよく使う人です. pandasはPythonでデータサイエンスやデータ分析（解析）をやってると必ずと言っていいほどよく使うライブラリだと思います. お仕事で同僚やインターンが書いたnotebookをよく読む（レビューする）のですが, 煩雑なことやってるけどこれ一行で書けるやで 最初からデータを整理するとそんな面倒くさいことしなくても大丈夫やで ...といったコメントを返す機会が増えてきました. これらは当人たちにフィードバックしているのですが, このフィードバックの内容が案外重要な気がしてきたのでブログに書いてみることにしました. 読んだ方の理解・生産性の向上および, 「つまらない仕事が334倍楽になる」ような感じにつながると嬉しいです🙏 TL;DR pandasのread関数にはとりあえずURLを渡しておけ &使うカラ
久しぶりに、 Raindrop.io の Python API に手を入れてみた - Atsuo Ishimoto's blog
久しぶりに、Raindrop.ioのPython APIに手を入れてみた¶先日から作りかけだったRaindrop.ioのPython API、久しぶりに機能追加しました。Webアプリケーションなどでも使えるように、OAuth2で認証して、トークンのリフレッシュなんかもできるようになりました。 Flaskのサンプルアプリケーションはこちら ほんらい、どってことない作業のハズで、requests-oauthlib を使ってサクッと終了する予定でした。 しかし、どうもリフレッシュがうまく動かない。requests-oauthlib の使い方は間違ってないはずなんだけど… と、Raindropが返してくるトークンを見てみても、ちゃんとデータは取れてる。トークンの有効期限を示す expires もちゃんと取得できてて、問題ないはず… と、ここでようやく「ん? expires ?」 となんかおかしいこ
mypyで静的型チェックを導入する - け日記
仕事で既存のコードへmypyの導入を試みる機会がありましたので、使い方とtipsの備忘録としてまとめます。 mypyとは インストール 型チェックの実行 Tips: 型チェック対象を限定する 設定 Tips: スタブが無いパッケージのエラーは無視させる コードの修正 Tips: Unionでの型エラー Tips: 特定箇所の型チェックエラーを無視したい まとめ mypyとは mypyはPythonで静的型チェックを行うライブラリです。型はtypingで定義します。 ドキュメント: https://mypy.readthedocs.io/en/stable/index.html GitHub: https://github.com/python/mypy PyPI: https://pypi.org/project/mypy/ インストール typingと異なり、標準ライブラリではないので、
Writing Pythonic Rust
Over the past several weeks I have been attempting to reimplement the API of an existing python library as a wrapper for an equivalent library in Rust. tl;dr: this ended up being much harder than I expected it to be, partly because of important differences in the behaviour of the two languages, and partly because of the (self-imposed) obligation to match an existing (idiomatic) python API. Motivat
PyArrowとParquet - Atsuo Ishimoto's blog
さて、ビッグデータ全盛の昨今、数ギガバイト程度のデータのやり取りは珍しくもなんともない時代になりました。交換用データファイルのフォーマットもいろいろな形式が使われていますが、ここではPythonで一般的に使われているファイル形式を簡単に検討してみましょう。 CSV¶昔から、単純な表形式のデータにはCSVが使われてきました。Microsoft Excelをはじめとしてさまざまなツールでサポートされており、幅広い環境で利用できます。 データの作成¶例として10万行・100カラムのデータを作成し、CSV形式で保存してみましょう。インデックスとして、datetime型の値を指定してます。 %pip install pandas pyarrow numpy tqdm dask graphviz import sys import numpy as np import pandas as pd pd.
Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ
たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削
pytest fixtureの地味だけど重要な部分について - 株式会社ホクソエムのブログ
こんにちは。ホクソエム支援部サポーターのPython担当、藤岡です。 最近はデータエンジニア見習いとしてBI周りを触っています。 今回はpytestのfixtureについての記事です。 pytest自体が有名で記事もたくさんあるので、今回は地味だけど重要だと個人的に思っている usefixturesとスコープについて取り上げます。 地味とはいえ、pytestの初心者がfixtureを使いこなすためのステップアップに必要な内容だと思います。 ぜひマスターしていただければ幸いです。 1. 前書き 基礎的なことに関してはこの記事にとても簡潔にまとまっているので、こちらをまず読むのがオススメです。とても良い記事です。 pytestは独自の書き方を持ち込んでいるライブラリです。その機能を使いこなすと「綺麗」なコードにはなりますが、反面それは使われている機能を知らない人にとってはこの上なく読みにくいも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - knownsec/ZoomEye-python: ZoomEye-python: The official Python library and CLI by Knownsec 404 Team.
GitHub - victoni/OBB_scrapper: Scrapper for openbugbounty.org
GitHub - Emoe/OpenBugBounty-Scrapper: This script scrapes the list of open Bug Bounty Programs from openbugbounty.org
Introduction to CDK for Terraform | Terraform - HashiCorp Learn
Adam Maxwell – Medium
GitHub - catalyst256/CyberNomadResources: Accompanying documentation, images, source code and other stuff from the cybernomad.online blog
GitHub - Josue87/AnalyticsRelationships: Get related domains / subdomains by looking at Google Analytics IDs
GitHub - ARPSyndicate/xlocate: the ultimate exploits/references finder
GitHub - Datalux/Osintgram: Osintgram is a OSINT tool on Instagram. It offers an interactive shell to perform analysis on Instagram account of any users by its nickname
GitHub - dirtyfilthy/freshonions-torscraper: Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion
GitHub - HowToFind-bot/YaSeeker: Yandex OSINT tool
maigret/sites.md at main · soxoj/maigret
Pythonのhasattr()は遅い? - Atsuo Ishimoto's blog
