【Pytest】不安定なテストに失敗したら自動リトライさせる（flaky） - きり丸の技術日記
以前、Javaで不安定なテスト（flakyなテスト）をリトライさせるライブラリを素振りしました。今回の記事はPython版です。 Pytestの公式ページにてFlakyなテストに対する解決策となるライブラリを複数提示されており、その中でもGitHubのStar数が一番多かったflakyを素振りすることにします。 ユースケース E2E試験等の不安定（flaky）なテストを、失敗時に再実行させて全体として安定させたい。 環境 Python 3.8.5 pytest 6.2.4 flaky 3.7.0 インストール方法 pip install flaky 設定値 max_runs 最大何回まで再実行するかを設定する。デフォルト値は2回。 min_passes 何回テストが成功するまで再実行するか設定する。規定数まで成功したら、それ以降のテストは行わない。デフォルト値は1回。 rerun_filt
便利なPythonライブラリ（５）retry
デコレータつけるだけで、リトライしてくれるという便利ライブラリ。 インストール $ pip install retry サンプル 失敗するかもしれない不安定な関数に@retryをつけると成功するまで実行してくれる。 from retry import retry from random import randint def unreliable_func(x): if randint(0, 10) == 0: return x*x raise Exception("Sorry, I'm busy.") @retry() def solve(x): return unreliable_func(x) def main(): ret = solve(10) print (ret) if __name__ == '__main__': main() もう少し実用的な例。 クローラを書いた時に、エ
Python’s Requests Library (Guide) – Real Python
Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Making HTTP Requests With Python The requests library is the de facto standard for making HTTP requests in Python. It abstracts the complexities of making requests behind a beautiful, simple API so that you can focus on interacting with servi
Scrapyでけ日記をクローリングする (3. parseへ任意の値を渡す方法とエラーハンドリング) - け日記
前回・前々回に引き続き、Scrapyを使ってこのブログのクローリングを行います。 github.com 今回は細々としたところで、Spiderクラスのparseメソッドへ値を受け渡す方法と、エラーハンドリングについてです。Spiderの実装は前々回の投稿も参考にしてみてください。 ohke.hateblo.jp なお、以下のフォルダ構造となってます。 parseへ任意の値を渡す parseでスクレイピングして得た値を別のページのparse処理でも使い回したい、など、parseメソッドに任意の値を渡して利用したいケースがあります。 そういった場合、metaプロパティを使います。 リクエストを作るときにrequest.meta['key'] = valueで値を設定 parseメソッド内ではvalue = response.meta['key']で値を取得 2018年のエントリタイトルと投稿日
Pythonでリトライ処理を考える - GAミント至上主義
ビッグデータ処理のために作ってるoceanusでは、受け取ったデータをRedis、BigQuery、Google SpreadSheet、SendGrid（メール）など外部に送ることが多く、残念ながら外部とのやりとりはコントロールできない不確定要素が多い。 そのため、いろんなところでリトライ処理が必要になる。 リトライ時の間隔については別記事で書いたので今回は省く。 uyamazak.hatenablog.com これまで使ったリトライ方法３つをまとめた。 どんなアプリケーションかによって正解は異なると思う。 エラーをtryで取って、except節でリトライ 一番シンプルなのがこれ。 try: result = task() except Exception as e: print("error and retry") # retry result = task() もしくは処理結果をif
ワイが個人的に便利だと思っていてよく使っているPythonライブラリ(pip)たち - Qiita
この記事はLIFULL その3 Advent Calendar 2018の7日目の記事とされている恐れがあります 謝罪 会社の後輩の記事をパクりました。 ワイが個人的に便利だと思っていてよく使っているJavaScriptモジュール(npm)たち ここから本題 ここ1年の中で しまくったgithubリポジトリを年末調整すると同時に、 使っていて個人的に便利だなと思っているものを簡単に紹介しようと思います。 モジュール Poetry 仮想環境の管理から、ライブラリの公開までやってくれる便利な開発ツール 正直、これを紹介するためだけにこの記事を書きました BeProud Advent Calender 2018の『Poetryを使ったPythonパッケージ開発からPyPI公開まで』という記事も読んでください Pipenv 依存ライブラリの管理や仮想(venv)環境も作ってくれる便利なツール ただ
ちょっとしたツールを作るのに便利なPythonライブラリ - Qiita
この記事は、LIFULL Advent Calendar 2017の2日目の記事です。 おはようございます。新UX開発部の二宮( @ninomiyt )です。 LIFULLではデータ解析や最適化の用途、もしくはAWS Lambda上の簡易ツール実装用途などでPythonがそれなりに普及してきました。数値計算寄りの（いわゆるデータサイエンティスト的な）メンバーも今はPythonを使うことが多く、コード量としては小規模なプロジェクトが多く、簡単なAPIやバッチ処理の実装までやってもらうこともあります。 そのレビューをやっていく中で、「これ使うともっと簡単に実装できるよね」っていうライブラリがいくつかまとまってきたので紹介します。 click コマンドラインパーサー用のライブラリで、デコレータを使って関数を簡単にCLI化できます。 標準ライブラリのargparseがありますが、clickではバリ
Robobrowser + α によるスクレイピングの忘備録 - i++
Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-』を読んでしばらく Robobrowser を使ってみようと思うので、その忘備録。 edx.hatenablog.com 基本 browser = RoboBrowser( parser='html.parser', # Cookie が使用できないと表示されてログインできない問題を回避するため、通常のブラウザの User-Agent を使う。 user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:45.0) Gecho/20100101 Firefox/45.0)' ) broswer.open(スクレイピング対象のページのURL) # 取得したページの中身の確認。デバッグ時以外は不要。 # print(broswer.parsed) u
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - rholder/retrying: Retrying is an Apache 2.0 licensed general-purpose retrying library, written in Python, to simplify the task of adding retry behavior to just about anything.
GitHub - invl/retry: easy to use retry decorator in python
How to retry the request n times when an item gets an empty field?