tox設定ファイル チートシート - Qiita
概要 Pythonモジュールに対するCIで、勉強がてらtoxを導入してみたため、自分用に設定ファイルによく書きそうな内容をまとめて記述しておきます。 ※toxバージョン>=3.14での内容となります。 toxとは virtualenvを利用したMultiEnvironmentでのテストを実施することができるツールです。 複数バージョンのPythonでモジュールに対するテスト実施できる点が便利です。 設定ファイル種別 ドキュメントによると、３種類のファイルを次の優先順位で読み込みます。 pyproject.toml tox.ini setup.cfg 以下に記載していくのはtox.iniの内容となります。 埋め込み変数 各セクションで利用できる埋め込み変数の一覧です。 設定名 概要
ネットワークエンジニアのためのIPアドレス表現 for Python - kooshinlab / コーシンラボ
Pythonとipaddressライブラリで、 ネットワークエンジニアがよく使うIPアドレスを表現する方法を例示します。 from ipaddress import ip_interface >>> ip = ip_interface("192.168.1.124/24") >>> ip IPv4Interface('192.168.1.124/24') >>> str(ip) '192.168.1.124/24' はじめに PythonでIPアドレスを取り扱う方法を調査してみました。 過去に、Rubyで調査したので、ほぼ同じことをできるか、Pythonで調査しました。 ネットワークエンジニアのためのIPアドレス計算 for Ruby Python3.3から標準モジュールとしてipaddressライブラリが追加となっています。 より詳細な解説は、ライブラリのドキュメントを参照してください。
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い Airflow 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード（独立したPythonモジュール）でDAGを定義します。 （オプション
Pythonでルータにpingする - kooshinlab / コーシンラボ
疎通できる構築したルータ一覧を作成する必要があり、 Pythonでルータにpingして、その結果を一覧にしてみました。 はじめに ある日、Prometheusの監視対象ルータ一覧を作成することにしましたが、 管理台帳上ではルータは120台ぐらいあるように見えます。 しかしながら、よくよく確認すると、構築が延期になったり、そもそも欠番になったりして、 実際に構築したルータが、どれかよくわからない状態になっていました。 構築されていないルータを監視対象に入れるのはもったいないので、 疎通できるルータの一覧を作成することにしました。 疎通確認はpingでしますが、 1回目のpingでは応答しないルータもあるため、必ず2回pingを実行して、 ルータ一覧を作成することにします。 今回は雑に宛先リストを作成して、Pingの結果（OK or NG）を、宛先リストに追記します。 後々、YAML形式に変換
Python (pandas) で指定時間間隔でデータを集計する方法 - 仕事やプライベートで調べたことのメモ書きなど（＠札幌）
Python (pandas)を使って指定時間間隔のログを集計する方法 やりたかったこと タイムスタンプ(datetime)列があるcsvデータで、ある時間範囲にある行数をカウントしたい。(5分おき、15分おき、30分おき、1時間おき、など) pandasのresampleを使うと簡単にできます♪ import pandas as pd import numpy as np csv_files = ['1_file.csv', '2_file.csv', '3_file.csv', '4_file.csv'] FILE_HEAD='file_' for csv_file in csv_files: df = pd.read_csv(csv_file, parse_dates=True, index_col='datetime') df.resample('5T').count().rena
AbuseIPDBのAPIを使ってみた - Qiita
AbuseIPDBって何？ これ https://www.abuseipdb.com/ 世界中のいろいろな人が悪いIPを晒上げるサイトで、怪しげなアクセスがあったときのIP調べるのに使ったする。 1個1個調べたり1個1個晒上げるならサイト上の検索やREPORTで十分だが、自動でブラックリストもらってきたり、まとめて晒上げたい場合WebAPIを使うことになる。 今回はこのサイトのWebAPIを使ってIPブラックリストとってきたり、悪いIPを晒上げてみるまでのことを書く。 WebAPI使うまでの準備 まずはアカウント作成 貧乏なのでFREEなアカウントを使う。 下記にアクセスして、INDVIDUALの下のSIGN UPを選択する。 https://www.abuseipdb.com/pricing 適当に入れるもん入れてアカウント作成すると、以下のような画面に遷移する。 しばらくすると登録した
gokartを使ってデータパイプライン上のpandas関連をテストする。 - Qiita
書くこと gokartを使ってpandas関連の確認をする方法 1つ目はinputのpd.Dataframeがemptyだったときに正常終了をするかの確認 2つ目はdumpするときに各columnが想定通りの型になっているかの確認 gokartとは? エムスリーやfringe81などが開発しているOSS Spotifyが開発しているluigiをラップして使いやすくしている。特にコードを書く量が減る。 対象バージョン 0.3.11 inputのpd.Dataframeがemptyだったときに正常終了をするかの確認 下記のコードはpd.Dataframeがemptyのときにエラーが発生する。 単体テストを書くことは前提だが、拾いきれないことが多々あった。 class DataTask(gokart.TaskOnKart): task_namespace = 'sample' def run(s
scrapy - parsing items that are paginated
I have a url of the form: example.com/foo/bar/page_1.html There are a total of 53 pages, each one of them has ~20 rows. I basically want to get all the rows from all the pages, i.e. ~53*20 items. I have working code in my parse method, that parses a single page, and also goes one page deeper per item, to get more info about the item: def parse(self, response): hxs = HtmlXPathSelector(response) res
PyPIパッケージの作成から運用までのワークフロー - やってみる
めっちゃ大変やで。 ワークフロー PyPIパッケージの作成 PyPIパッケージの更新 大きく言えば上記2手順のみ。これらの手順を詳細に見ていくと膨大。 1. PyPIパッケージの作成 Pythonパッケージの作成 GitHubリポジトリの作成 メタデータファイルの作成 コミット PyPIパッケージの作成 1-1. Pythonパッケージの作成 要件定義 API定義 実装 単体テスト 1-1-1. 要件定義 曖昧。最低限、以下を一言で説明した文書くらいは欲しい。 概要: そのソースコードは何をするものか 文脈: どこで使うものか inputは何か outputは何か 項目 値 概要 指定した文字列を<>で囲った文字列を返す 文脈 Python,Console IN 文字列 OUT 文字列（INを<>で囲う） ファイル・コード例 実装例。（Python文脈） encloser.py def e
PythonによるWebスクレイピング + Amazon QuickSightで大黒天物産ダッシュボードを作る | DevelopersIO
データアナリティクス事業本部の貞松です。 Amazon QuickSightでは、地理空間グラフ(地図上にプロットした円の色や大きさにより、地理的な位置関係とそれにまつわる分類や数値を視覚化したもの)を利用することができます。自動ジオコーディング機能(地名や住所から自動で緯度・経度を取得してくれる機能)については、米国のみの対応となっていますが、データセットにあらかじめ緯度・経度の情報を含めておけば日本の地図に対しても地理空間グラフを使用できます。 AWSドキュメント - Amazon QuickSightユーザーガイド - 地理空間グラフ (マップ) 本記事では、この地理空間グラフを使った一例として、庶民の味方、大黒天物産の店舗ダッシュボードを作成します。 大黒天物産とは 大黒天物産株式会社は岡山県倉敷市に本社を置くディスカウントストア(ラ・ムー、ディオなど)の運営企業です。 プライベー
GitHub - phalt/django-api-domains: A pragmatic styleguide for Django API Projects
This styleguide combines domain-driven design principles and Django's apps pattern to provide a pragmatic guide for developing scalable API services with the Django web framework. This styleguide tries to tackle two big problems: Design philosophies and design patterns work in "ideal" situations, and most real life problems do not represent this ideal world. Therefore we need to develop a flexible
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Poetryとtoxを組み合わせてPythonのテストコードを動かす - Qiita
pytestのすぐに使えるカバレッジ計測 - Qiita
GitHub - josemanimala/ipvoid-blacklist-checker: Ipvoid scraper and blacklist checker
GitHub - Gajasurve/Blacklister-IP: Check Bulk IP address for blacklist reputation
Python Tooling Makes a Project Tick
GitHub - adamdb5/IPDump: A python utility to quickly generate a report for any hostname / IP Address, URL or Domain.
Scrapy - scraped website authentication token expires while scraping
How to authenticate Yelp API in scrapy? Pass Secret_Token and Search params?
GitHub - zapier/django-knowledge: Add a help desk or knowledge base to your Django project with only a few lines of boilerplate code.
