WerkzeugでFlaskを使ったPythonのWebAppをプロファイリングする
前回の記事に引き続きISUCONのために調べたことをまとめてみます． うちのチームは使用言語にPythonを選択していたので，ISUCON2やISUCON3の予選でも使われていたFlaskというフレームワークを使ったWSGI Application用のプロファイラを探したところWerkzeugのWSGI Application Profilerというものがあったので使ってみました． Flask Flaskは，WerkzeugをベースにしてJinja2をテンプレートに使った軽量なWAFです． Werkzeug WerkzeugはWSGI Applicationのutility libraryで，フレームワークという程ではないですがWSGIの実装を助けるようなrequest/responseオブジェクトの支援ツールやテスター，デバッガなどが含まれています． そしてこのWerkzeugの中にはb
Arrow: Better dates & times for Python — Arrow 🏹 1.3.0 documentation
Arrow: Better dates & times for Python Release v1.3.0 (Installation) (Changelog) Go to repository Arrow is a Python library that offers a sensible and human-friendly approach to creating, manipulating, formatting and converting dates, times and timestamps. It implements and updates the datetime type, plugging gaps in functionality and providing an intelligent module API that supports many common
Awesome Python：素晴らしい Python フレームワーク・ライブラリ・ソフトウェア・リソースの数々 - Qiita
元記事: Awesome Python Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Go Awesome Selenium Awesome Appium 管理パネル 管理インタフェース用ライブラリ ajenti - サーバ用管理パネル. django-grappelli - Django 管理インターフェースのためのジャズスキン. django-jet - 改良された機能を備えた Django 管理インターフェース用の最新のレスポンシブテンプレート. django-suit - Django Admin インターフェースの代替 (非商用の場合のみ無料). django-xadmin - Django 管理者のドロップイン置換. jet-bridge -
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
機械学習／Deep Learningの仕事が増える2017年、ソフトウェアエンジニアがFPGAを学ぶべき理由
ソフトウェアエンジニアがFPGA（field-programmable gate array）を使うハードルがさらに下がってきている。クラウドサービスでFPGAを活用できたり、Pythonで記述したニューラルネットワークをFPGAに高位合成できる研究成果が出てきたりしているのだ。 ソフトウェア開発者の立場でFPGAに取り組むイベント「FPGAエクストリーム・コンピューティング」を主宰する佐藤一憲氏、FPGAの高位合成によるディープラーニングについて研究している東京工業大学の中原啓貴氏（中原研究室）、そしてFPGAベンダーであるザイリンクスの神保直弘氏が、急激に常識が変わりつつあるFPGAの動向を語り合った。 本稿では座談会の中から、ソフトウェアエンジニアにFPGAや高位合成が求められる現状、そして、今後どのようなツールを使うべきか、ソフトウェアエンジニアがFPGAに取り組む際の課題などにつ
覚えるだけでPythonのコードが少し綺麗になる頻出イディオム - タオルケット体操
まえがき 今年の春から今まで、2年ぶりにPythonを沢山書いているわけなんですが、JavaScriptのクソに頭をやられて久しぶり書くだけあって基本的なところから色々と頭から抜け落ちていたわけです。 そんで何か思い出すたびに会社のwikiを使ってメモっていたのですが、せっかくなので少々訂正をしてブログにも書きます。 また、弊社はPython2を使っているので、2が前提の記述になっているところがいくつかあります。なるべくフォローしていますが、参考にする場合は自分が使っているバージョンを確認することをおすすめします。 また、今から新しくPythonでプロジェクトを始めようと思っている人は3系を使いましょう。 知ってる人は当然知ってる、でも結構長いことPythonを書いてても知らなかったりするような小技を載っけました。 なお、メタプログラミングとかの黒魔術っぽい記事のまとめはこちら: hach
Functional Programming HOWTO — Python 2.7.18 documentation
This document is for an old version of Python that is no longer supported. You should upgrade and read the Python documentation for the current stable release. Functional Programming HOWTO¶ Author A. M. Kuchling Release 0.31 In this document, we’ll take a tour of Python’s features suitable for implementing programs in a functional style. After an introduction to the concepts of functional programm
Falcon | The minimal, fast, and secure web framework for Python
# sample.py import falcon class QuoteResource: def on_get(self, req, resp): """Handle GET requests.""" quote = { 'author': 'Grace Hopper', 'quote': ( "I've always been more interested in " "the future than in the past." ), } resp.media = quote app = falcon.App() app.add_route('/quote', QuoteResource()) $ pip install falcon gunicorn $ gunicorn sample:app Fast Falcon is a blazing fast, minimalist Py
ウェブベースのPython実行環境「jupyter」を使ってみた話 - モノクロタイム
2015-06-21 ウェブベースのPython実行環境「jupyter」を使ってみた話 python こんにちは，れいじです． 先日SSIIに参加した時，チュートリアルセッションとして以下の題目で発表がありました． コンピュータビジョンの最新ソフトウェア開発環境 SSII2015 チュートリアル hayashi from Masaki Hayashi C++とPythonを中心に画像処理プログラムを組むときのメリットやデメリットについても話をしていただきました． 私は基本研究に関するコードはC++で書いています．Caffeを選んだのもC++で使用できるという理由が一つとしてあります． ただCaffeに関して転がっている情報は大体Pythonで書かれていたり，サンプルプログラムはPythonで書いてあるので，Pythonもそこそこ読めると幸せになります． ということで，大学院の授業でPy
Pythonにおけるプロファイリング ― コードの高速化のために | POSTD
ここHumanGeo社ではPythonを使うことが多く、それは極上の楽しみでもあります。美しく機能的なコードを短時間で記述するのにPythonはうってつけで、私個人にとっても一押しの言語です。仕事に限らずプライベートでも使っています。そんな素晴らしいPythonですが、欠点がないわけではありません。それはあまりにも遅いことです。幸いPythonには、コードをプロファイリングするための優れたツールがいくつかあるので、コードの美しさと速さを共存させることができます。 HumanGeoで働き出した頃、実行に長時間を要すプログラムのボトルネックを探り、何とかしてそれを速くさせるという仕事を担当しました。その内容は、 cProfile や PyCallGraph （ ソース ）、はたまたPyPy（高速なPython用代替インタプリタ）などの各種ツールを使って、プログラムを最適化するためのベストな方法
Scrapy 1.0が公開されました - orangain flavor
Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでItemの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの代わりにPythonのloggingを使うようになった CrawlerのコアAPIがリファクタリングされた いくつかのモジュール配置場所が変更された 他にも数多くの変更点がリリースノートに記載されています。 Scrapy 1.0の感想 大きな機能の追加よりも、APIの整理と安定性の向上がメインのようです。これまではバージョンを重ねるごとに便利になっていくものの、あまりAPIが安定していない印象でしたが、APIを安定させた区切りのリリースと言えるでしょう。1.0というメジャーバージョンに到
Pelican って何？
「Pelican」は、Python製静的サイトジェネレータです。 「reStructuredText」「Markdown」「AsciiDoc」といったマークアップ言語を用いて、 好きなエディタでコンテンツを記載し、作成したコンテンツを付属のCLIツールで手軽に公開する事ができます。 似たようなツールとして、Ruby製の Jekyll や Octopress、 Middlemanが有名ですが、なんとなく「Python製の静的サイトジェネレーターが無いかなー」と探していたところ出会ったのがPelicanでした。 Pelicanと出会った瞬間 触ってみて、Pelicanの良い所は「Pythonさえあれば動く！（ぴゅあぱいそん！）」「シンプル！」「動作が軽快！」ってところなのかもしれませんが、まぁ、とりあえず 名前がかっこいい って事で使い始めました。 （ロゴは適当ですが・・・） ちなみに「Pel
pandas - Python Data Analysis Library
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now!
第3回 Pythonを便利に使うフレームワーク、ライブラリ ～PyConの楽しみ方 | gihyo.jp
PyCon APAC 2013 参加レポートの最終回は、2日目のセッションと会場の雰囲気を中心にお伝えします。 Luigi, The Friendly Pipeline Plumber 2日目の午後一番の英語セッションです。PyCon APAC 2013のスタッフとしても活動するIan Lewisさんから、Luigiという、バッチ処理をパイプラインで書くためのフレームワークに関しての紹介がありました。 セッションは英語でしたが、日本語も流暢なIan Lewisさん Luigiとは LuigiはSpotifyが開発、公開している、バッチ処理をパイプラインで書くためのフレームワークです。fluentdなどから送られてくるログといった、リアルタイムの処理に向いたフレームワークではなく、あくまでバッチ処理を小さな処理に分けるためのフレームワークです。小さな処理に分けることで、テストを行うのが簡単に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IT業界・エンジニアの転職ならTech Stars Agent
http://www.gembook.org/2010-09-26.html
http://www.gembook.org/2010-09-20.html
How do I format a date in Jinja2?
spotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.
