Boto3 に追加されたリトライ処理モードを利用する - Qiita
はじめに AWS SDK は Exponential Backoff による自動再試行ロジックが実装されていますが、 Boto3 では 3 つのリトライ処理モードを選択できます。 legacy (デフォルト) standard adaptive botocore の GitHub リポジトリを確認すると、2020年2月ごろに standard および adaptive が 追加され、それ以前の実装は legacy という名称になっています。 Add support for new retry modes #1972 互換性のため、デフォルトが legacy となっており、standard/adaptive で追加された機能を 利用するにはリトライ処理モードを明示的に変更する必要があります。 リトライ処理モードの変更方法 botocore の config オブジェクトをインスタンス化し、設
最近の Python-dev (2017-03) : DSAS開発者の部屋
バックナンバー: 2月号 1月号 Python 3.6.1rc1 Python 3.6.1rc1 がリリースされました。大きな問題がなければ 3.6.1 は 3/20 にリリースされる予定です。 3.6.1 は Github に移行してから初めてのリリースになります。なにか問題がないか確認するために、いつものRC版以上にソース形式・バイナリ形式両方の配布物のテストが必要なので、可能な方は協力をお願いします。 Github 移行後日談 以降から1ヶ月が経ちました。開発者からのフィードバックはおおむね好評です。私は、気軽にプルリクエストをくれた人がCLAにサインしないまま放置して大量のマージできないプルリクエストが貯まることを懸念していたのですが、今までののところそれも大丈夫そうです。 一方で Misc/NEWS といういわゆる changelog にあたるファイルが頻繁にコンフリクトを起こし
プログラム初心者がAWS Lambda(Python)でハマった7個のこと - サーバーワークスエンジニアブログ
私の所属している、"クラウドインテグレーション部技術1課"では、毎日5分程度の朝会というのをやっているのですが、ファシリテータをみんな忘れるので、適当に選出するbotを作成しました。 SlackのIncoming Webhookを用いて、メンバーをシャッフルしメンションする簡単なbotです。 朝の10時にしか動かないため、サーバーを起動させ続けているのは非常にもったいないので、Pythonでコードを書いて、AWS LambdaでCronで動かすことにしたのがきっかけです 会社では"作らないSI"と言っていますが、普段はインフラエンジニアとして、基本的にコードを書いていません。 ほとんど、サンデープログラマーです。 AWS Lambdaの初歩的なところでハマったんだ さて、こんな私が恥ずかしながら、Lambdaを使おうと思ってハマった事柄の、ごく簡単な忘備録を載せておきます。 1. ファイル
pyenvが必要かどうかフローチャート - Qiita
pyspaの統合思念体の渋川です。 「pyenv使いましょう！」系の記事、全部ゴミ — Yoshifumi YAMAGUCHI (@ymotongpoo) September 29, 2016 これはpyenvがダメではなくて、pyenvをとりあえずインストールしておきましょう記事がダメという意味だそうです。すでにとんぷーが5年前にこの問題について書いています。これを読んで分かる人には不要です。 この記事では「便利」と「必要」は分けて考えています。後者にフォーカスしています。 前提知識 Environment Isolation Tool(環境分離ツール)というカテゴリの開発補助ツールがあります。pip install Sphinxとか書いたら、ライブラリはグローバル空間に入っちゃいます。複数バージョン入れられません。そんなときに使うのが、この環境分離ツールです。最近はいろいろな言語がこれ
【Ruby】PythonプログラマーがRubyを触って感じたこと - 歩いたら休め
Pythonプログラマーというか、元々Python（ときどきR、C言語）で数値シミュレーションをしていた学生が、就職してRubyでWeb開発を行うにあたって勉強したことを書き連ねていくだけの記事です。 もし自分と同じような立場の人（これから後輩としてもどんどん増えていくかも！）がいたら、「ここを押さえておけばRubyは問題なく書けるよ」と教えられるように書いておきます。というのも、レビューを行っていた先輩とのプログラミングのスキルとの開きがあり、先輩も私も「どこが分かってないのか説明できない」状態になってしまってお互いに困ってしまった経験があるからです。 RubyとPythonはよく似ているのですが、思想や見た目で違う部分が多く、片方を勉強するともう片方の理解も深まります。 たまに2ちゃんねるのオカルト板である「見たことある世界によく似た異世界に迷い込んだ」みたいな感覚で、なかなか面白い経
AWS Lambda Pythonでs3に接続する - Qiita
AWS LambdaがPythonに対応したので試しに使ってみました。 今回はS3のバケット間ファイルコピーに使ったのですが、色々とはまりどころがあったので共有したいと思います。 やりたいこと s3のバケット内に存在するファイルを別バケットにコピーしたい シングルプロセスでコピーすると遅いのでマルチプロセスで同時にバケットコピーしたい AWS Lambda Pythonを使いたい 主に3番目の理由からやってみました。 やったこと Lambda functionを作ってs3バケットを取得、コピーを並列で行うスクリプトを実装しました。 Lambda Functionの作成 Lambda Functionを作成します。 Create a Lambda Functionをクリック Select blue print 使用するテンプレートを選択します。 hello-world-pythonを選択 C
Introduction to the Modeling and Analysis of Complex Systems - Milne Open Textbooks
Keep up to date on Introduction to Modeling and Analysis of Complex Systems at http://bingweb.binghamton.edu/~sayama/textbook/! Introduction to the Modeling and Analysis of Complex Systems introduces students to mathematical/computational modeling and analysis developed in the emerging interdisciplinary field of Complex Systems Science. Complex systems are systems made of a large number of microsc
適当なスクリプトをデーモン化するのにSupervisorが便利 - id:anatooのブログ
適当なスクリプトをデーモン化しようと思った時の典型的な要件が以下であるが、この記事でも紹介したpython製のプロセス管理ツールであるSupervisorを使うことによって解決できる。 プロセスの生死の監視する プロセスが死んだら勝手に再起動する 標準出力やエラー出力のログを取る 場合によっては複数プロセスを起動したい プロセスのステータスを簡単に確認したい この記事では、プロセス管理ツールSupervisorの導入を簡単に紹介する。 インストール easy_installからインストールできる。そもそもeasy_installが入ってない場合は以下みたいにインストール。 $ curl -O http://peak.telecommunity.com/dist/ez_setup.py $ python ez_setup.pySupervisorをeasy_installからインストールしま
genzshcomp
Unverified details These details have not been verified by PyPI Project links Homepage Meta License: BSD License (New BSD License) Author: Hideo Hattori Tags auto, automation, bash, zsh, completion Automatic generate to Zsh Completion Function from Python’s Option Parser Modules. Now, It corresponds to argparse module and optparse module. I write this module because I want to be created grin comma
Pythonの開発をしている人でPython製の便利スクリプトを導入するならpipsiが便利っぽい - タオルケット体操
pipsiとはpipsi = pip script installer Flaskの人が作ったっぽいスクリプトです。 mitsuhiko/pipsi · GitHub pipsiが流行る気配が微塵もないので書きました。たぶんクッソ地味なのでわざわざ話題にしないんだとおもいますが、個人的には重宝してます。 はじめに このエントリの対象者はPythonでなんかを作ってる人です。つまり、virtualenvを使って仮想環境を切り替えまくってる系の人です。 普段Pythonでがっつり開発しない人はもう、面倒なので普通にグローバル環境にpip installしてパスを通せばいいとおもいます。 pipsiイズ何 さて、virtualenvを使って開発をしていると時々困ることがあります。それはPython製の便利ツール（pipで配信されている）をどう管理するかという問題です。 fabric, ansib
fabfileの構造化 - logiqboard
fabfile.pyって、task数個までならまあ1ファイルでいいんですが、それ以上増えてくるとスクリプト自体がカオスになって収集がつかなくなります。 更に似たような、けど微妙に違うtaskをいっぱい定義したりすると名前まで酷くなってきます。こんなかんじに。 @roles('lb') def lbserver_deploy(): """ロードバランサーにデプロイする""" ... @roles('app') def appserver_deploy(): """アプリケーションサーバーにデプロイする""" ... @roles('batch') def batchserver_deploy(): """バッチサーバーにデプロイする""" ... こんなファイルメンテする気が起こらないので、なんとか綺麗にしたいと思って調べたところ、fabric1.1から付いたクラスベースのtaskというのを
Python 3でお手軽並列計算 ~concurrent.futures を使った ngram 抽出~ - CAMPHOR- Tech Blog
この記事は CAMPHOR- Advent Calendar 2014 5日目の記事です。 こんにちは @Shtr28です。自然言語処理の研究とかしてます。 今日は研究してる時に便利だった concurrent.futures モジュールを紹介します。 Future は並列計算のパターンのひとつです。 今回はテキストを使って機械学習するときによく使う ngram を Future で並列計算します！ 日本語を形態素解析器 mecab で分かち書きして、一行ずつ ngram を計算します。 フルのコードはここ(gist)。 メインの並列化のコードはここ。 def multi_process(): # kgram に対して識別番号を順番にふるための dict kgram2id = defaultdict(lambda: len(kgram2id)) # 並列計算のプロセスプールを確保！ wit
複数プロジェクトを抱えるチームでのデプロイ自動化
複数プロジェクトを抱えるチームでのデプロイ自動化 1つのチームで，10以上のプロジェクト，コードベースを抱える場合にどのようにデプロイの自動化を進めたか，工夫したこと，考慮したことなどをまとめておく． デプロイツールには，Python製のfabricを採用しているが，他のツールでも同様のことはできそう．なお，fabricの基本的な使い方などは既にインターネット上に良い記事がたくさんあるので書かない（最後の参考の項を見てください）． fabricの選択 シェルスクリプトとCapistranoを考慮した． まず，シェルスクリプトは人によって書き方が違うため，統一が難しくメンテナンスコストも高い．また共通化も難しい． 次に，Capistranoは，裏でやってくれることが多く，学習コストも高い．プロジェクトによってはかなり特殊な環境へのデプロイも抱えているため，Capistranoの前提から外れる
みんなのPython Webアプリ編をHTMLで読めるようにしました | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 拙著「みんなのPython Webアプリ編」をWebでお読みいただけるようHTML化しました。スマホでも読めるよ:-)。 「みんなのPython Webアプリ編」は，Webアプリを開発するための方法を，Pythonを使い，基本的な事柄から積み重ね式に解説した書籍です。なお，HTML化にあわせて，本文を微妙に修正し，サンプルコードはPython 2.7で動くようにしてあります。 もともと，絶版になっていた書籍を，出版社にお願いして出版契約を解除してもらってPDFとして配布していたものを，つてがあってLindocで公開していました。Lindocがサービス止めるとのことで読めなくなってしまっ
和訳 : なぜPythonのメソッドに明示的にselfと書かねばならないのか
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー Pythonの生みの親Guidoパパのブログエントリを翻訳してみました。「Why explicit self has to stay - なぜPythonのメソッド引数に明示的にselfと書くのか」。Pythonのメソッド引数に書く「self」はしばしば，他言語からのPython移民を中心に「ウザイ」「キモイ」「消えてなくなれ」と攻撃の対象となることが多いのです。GuidoパパはPythonが生まれて10年，もう何度も似たようなことを聞かされ，そのたびに明快な反論を行ってきました。言語の設計者には，技術的な素養はもちろんのこと，情熱と根気，そして我慢強さが必要なんだなあとつくづく思い知
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gitric/gitric/api.py at master · dbravender/gitric
JavaScripterがPythonについて教わった
bitbucketの使い方