pythonで**kwargsにもう少し細かく型を付けたい - podhmo's diary
例えば以下の様な関数helloがあるとする。可変長引数を使って定義されている。とてもtrivialな例ではあるけれど説明用なので。。 from typing import Any def greet(prefix: str, *, name: str) -> None: print(f"{prefix}, {name}") def hello(**params: Any) -> None: greet("hello", **params) ここでhelloを呼び出す際に以下のようにtypoしたとする。これをmypyなどの静的解析で検知したい。 # TypeError: greet() got an unexpected keyword argument 'nam' hello(nam="foo") TypedDict 仮に可変長引数の部分全体をDictとして見るような定義だったら上手くいく
兵庫県の新型コロナウイルスに感染した患者の状況をデータラングリング - メモ
web.pref.hyogo.lg.jp 重複除去 最新のファイルはスクレイピングで取得 import pathlib import re from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup def fetch_soup(url, parser="html.parser"): r = requests.get(url) r.raise_for_status() soup = BeautifulSoup(r.content, parser) return soup def fetch_file(url, dir="."): p = pathlib.Path(dir, pathlib.PurePath(url).name) p.parent.mkdi
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
GitHub - jvns/pandas-cookbook: Recipes for using Python's pandas library
Try it in your browser with Jupyter Lite: pandas is a Python library for doing data analysis. It's really fast and lets you do exploratory work incredibly quickly. The goal of this cookbook is to give you some concrete examples for getting started with pandas. The docs are really comprehensive. However, I've often had people tell me that they have some trouble getting started, so these are example
Is Pypolars the New Alternative to Pandas?
Objective Pandas is one of the prominent libraries for a data scientist when it’s about data manipulation and analysis. Let’s see do we have pypolars as an alternative to pandas or not. Introduction Pandas is such a favored library that even non-Python programmers and data science professionals have heard ample about it. And if you’re a seasoned Python programmer, then you’ll be closely familiar w
【Python/機械学習/Kaggle】ローカルで編集・パソコン間で共有可能な環境をColabとGoogleドライブで簡単構築 - Qiita
はじめに 「Colaboratory を使えばGPU付きの環境を無料で使えるけど、git使おうとしたりファイル編集したりする時面倒...」 と思っていた時期がありました。 パソコン版 Google ドライブ を使うと、ローカルにドライブをマウントできるので、ローカルで編集してGPUが必要なときはColabで実行というのが簡単にできます。ターミナルからコマンドで操作できるので、クラウドのストレージとしても使いやすいです。 また、最近 Colab Pro が日本にやってきました。月額1000円で Kaggle などでも十分戦える環境が手に入ります。もともと無料枠でもかなり使えましたが、課金すると優先的に良いGPUが割り当てられるなどのメリットがあります。 対象者 Kaggle に参加するためのGPU搭載マシンがない方（Kaggle Notebook では物足りない方） ちょっとした機械学習の環
Python言語による実務で使える100+の最適化問題 | opt100
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する． 主要な問題に対してはアプリを作ってデモをする． 以下，デモビデオ： 注意 基本的には，コードも公開するが， github自体はプライベート そのうち本にするかもしれない（予約はしているが， 保証はない）． プロジェクトに参加したい人は，以下の技量が必要（github, nbdev, poetry, gurobi); ペー
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
pythonの依存関係解析ツール、pydepsを使う - MNTSQ Techブログ
はじめに 皆様はpythonで書かれたソフトウェアのリアーキテクティング1をどのように進めていますでしょうか？ 既存のソフトウェアに新規機能が追加しにくいとか、機能が修正しにくい等の問題がある場合にリアーキテクティングは有効です。 リアーキテクティングの初手としては既存のソフトウェアが抱える課題の洗い出しが行われます。その際にソフトウェア内のモジュール同士の依存関係を図で把握したい場面があります。 モジュール同士の依存関係が図示されていれば、モジュール同士の構造上の問題点を伝えやすくなり、かつモジュール同士の関係を将来的にどのように落としていくかも議論しやすくなります。 このような用途に用いるpython用の依存関係解析ツールとして、今回はpydepsを紹介します。 pydeps.readthedocs.io なお、本記事で扱うコードは下記にアップロードしてあります。 GitHub - U
Kaggleコード遺産 - Qiita
この記事はどんな記事なのだ？ こんにちはなのだ、kaggle masterのアライさんなのだ。 この記事はkaggle advent calendar 2019 その1の13日目の記事なのだ。 前日はu++さんのKaggle Days Tokyoの記事なのだ。アライさんも参加したかったのだ。 明日はtakapy0210さんの学習・推論パイプラインについてなのだ。楽しみなのだ。 Kagglerの間では連綿と受け継がれる便利関数がいくつかあるのだ。アライさんはそれをKaggleコード遺産と呼ぶことにしたのだ。この記事ではKaggleコード遺産の紹介とその出処の検証1を行おうと思うのだ。面白かったら是非upvoteしてくださいなのだ。 さあKaggleパークの冒険に出発なのだ！ おことわり 今回の記事はPythonコードに限った話になってしまったのだ。KaggleのNotebookではRも使える
pythonで実行時間を測定しつつ時間も取得したい - nykergoto’s blog
実行時間を測定するには? KaggleMasterのアライさん著・Kaggleコード遺産でおなじみ timer を使うのが便利です! いつもお世話になってます😊 Kaggleコード遺産 - Qiita from contextlib import contextmanager from time import time # https://qiita.com/kaggle_master-arai-san/items/d59b2fb7142ec7e270a5#timer をちょっといじったやつ @contextmanager def timer(logger=None, format_str='{:.3f}[s]', prefix=None, suffix=None): if prefix: format_str = str(prefix) + format_str if suffix:
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dylanmeca/labsecurity: Labsecurity is a tool that bundles ethical hacking python scripts into a single tool with cli interface.
GitHub - tos-kamiya/json2jqq: CLI Tool to extract query templates for jq tool from json data
GitHub - hydrargyrum/pjy: Command-line JSON querying - mirror of https://gitlab.com/hydrargyrum/pjy
00typed.py
GitHub - ntestoc3/pod-whois: A babashka pod for whois query.
GitHub - arthaud/git-dumper: A tool to dump a git repository from a website
GitHub - d3mondev/puredns: Puredns is a fast domain resolver and subdomain bruteforcing tool that can accurately filter out wildcard subdomains and DNS poisoned entries.
GitHub - Exa-Networks/exabgp: The BGP swiss army knife of networking
GitHub - MindPatch/scant3r: ScanT3r - Module based Bug Bounty Automation Tool ( use Lotus instead github.com/bugBlocker/lotus )
