【PythonのAPサーバー比較！！】NGINX Unit 、uWSGI、Gunicornのベンチマークを比較してみた | DevelopersIO
【PythonのAPサーバー比較！！】NGINX Unit 、uWSGI、Gunicornのベンチマークを比較してみた 2018年4月に正式リリースされた軽量Web/APサーバーNGINX UnitでPythonのAPサーバーを構築し、他のメジャーなAPサーバーとベンチマークを比較してみました。 はじめに サーバーレス開発部@大阪の岩田です。 NGINX Unitを使ってDjango REST Frameworkのアプリを動かしてみたので、構築手順やGunicorn、uWSGIとのベンチマークの比較についてご紹介します。 NGINX Unitとは？ NGINX UnitはNGINX社が開発した軽量Web/APサーバーです。 WebサーバーのNGINXはご存知の方も多いと思いますが、実はこんなミドルウェアもリリースされていたりします。 2018年４月に正式リリースされており、2018年9月現
Pythonで形態素解析器Sudachiを使う (SudachiPy) - け日記
仕事でSudachiをお試しする機会がありましたので、基本的な使い方を備忘録として整理しておきます。 Sudachi Sudachiはワークスアプリケーションズさんで開発されたOSSで、日本語に特化した形態素解析器です。分かち書き・品詞付け・正規化を行います。 github.com 大きな特徴は3つです。特に3番目は実務上もどかしい問題です。例えば"焼き肉"と"焼肉"、"醤油"と"しょう油"といった表現の違いを、Sudachiで正規化することで同じ単語であると認識できるようになります。 UniDicとNeologdがベースとした豊富な語彙 分割単位を3段階 (辞書単位から固有表現単位まで) から選択可能 送り仮名や字種の違いなども正規化 SudachiPy SudachiをPythonから使うためのライブラリとしてSudachiPyも開発されています (同じくワークスアプリケーションズさん
Flaskでバッチ処理がしたい - Qiita
この記事はニフティグループ Advent Calendar 2018の10日目の穴を埋めるための記事です。 時空が捻じ曲がって昨日は@ma2さんのエンジニアへの俳句のすゝめだったようです。 初めに 業務でAPI作る際にFlask触ることがあったので投稿。 使ってみると軽量なフレームワークだったのでdjangoと比べて非常に取っ付きやすく構成も自由でいい感じでした。 ただFlask-Extentionsの設定やModelを作りこんでいくとバッチ処理でも共通で使いたくなってきます。manage.pyみたいな。。。 公式を漁っているとCommand Line Interface/Custom Commandsという機能があるようで、Clickというコマンドラインインタフェースベースでカスタムコマンド(=バッチ)が作れるみたいです。 http://flask.pocoo.org/docs/1.0/
[Python+MySQL] RuntimeError: cryptography is required - ITips
RuntimeError: cryptography is required for sha256_password or caching_sha2_password ある日、PythonからMySQLに接続しようとしたらこのエラーが出た。 今回はこの cryptography is required のエラーについて紹介する。 どんなエラー？ cryptography is required は訳すと「暗号化が必要ですよ」。 何を暗号化するのかというとログインに用いるパスワード。 MySQLに接続する際に sha256_password 又は caching_sha2_password を使うならパスワードを暗号化しろと言っているわけである。 余談だが、WindowsのタスクマネージャからPythonプログラムを定期的に実行している場合、この cryptography is requir
![[Python+MySQL] RuntimeError: cryptography is required - ITips](https://cdn-ak-scissors.b.st-hatena.com/image/square/108357625994ee55beb84b866b5c1c813d0f3465/height=288;version=1;width=512/https%3A%2F%2Fitips.krsw.biz%2Fwp-content%2Fuploads%2F2018%2F12%2Fcode_1545140786.jpg)
DockerコンテナでFlaskを起動し, JSONデータのPOSTとGET - Qiita
仕様 ターミナルからcurlコマンドでjsonデータを送ると, 文字列が成型されて, 同じくjson形式でデータが返ってくる. 環境 Mac OS X 10.12 Docker for Mac 17.03 多分Linuxでも同様にできます. 1. Flask起動スクリプトの用意 Pythonの軽量WebフレームワークであるFlaskをつかって作成します. @app.route()で指定されたディレクトリにアクセスすると, defで定義したメソッドが起動し, returnで結果を返す, という流れです. from flask import Flask, jsonify, request import json app = Flask(__name__) @app.route("/", methods=['GET']) def hello(): return "Hello World!" @a
joblib.Parallel — joblib 1.5.dev0 documentation
joblib.Parallel¶ class joblib.Parallel(n_jobs=default(None), backend=default(None), return_as='list', verbose=default(0), timeout=None, pre_dispatch='2 * n_jobs', batch_size='auto', temp_folder=default(None), max_nbytes=default('1M'), mmap_mode=default('r'), prefer=default(None), require=default(None))¶ Helper class for readable parallel mapping. Read more in the User Guide. Parameters n_jobs: int
Pythonで並列処理(Joblib) - くらげになりたい。
Pythonで並列/並行処理するのは、Joblibがよいらしいので、使ってみた。ときの備忘録φ(..)メモメモ インストール $ pip install joblib 使い方 from joblib import Parallel, delayed def do_execute(param): # 関数の処理 if __name__ == "__main__": # マルチプロセス result = Parallel(n_jobs=-1)(delayed(do_execute)(param) for param in [1, 2, 3]) # マルチスレッド result = Parallel(n_jobs=-1, backend="threading")(delayed(do_execute)(param) for param in [1, 2, 3]) 参考にしたサイト様 Joblib
競技プログラミングで使う有名グラフアルゴリズムまとめ
0. はじめに AtCoderなどでは、グラフを扱った問題が多く出るが、その度に一から実装していると時間が掛かりすぎてしまうため、有名なものをあらかじめ持っておく必要がありそう。そこで、Pythonを用いて、ダイクストラ法、ベルマンフォード法、プリム法、クラスカル法、ワーシャルフロイド法を実装した。 コメント、意見等ある方は是非! お待ちしてます! 1. ダイクストラ法 1.1. ダイクストラ法(defaultdictで実装) defaultdictで実装すると、リストで実装するよりも、ノード数$N$が大きい際には高速に動作する。ただし、経路復元の関数は、うまく書けなかった......。 (2019/7/6 追記)結局できました。1.1.1. を参照してください。 import collections import heapq class Dijkstra: def __init__(se
Elixir＋Keras＝手軽に高速な「データサイエンスプラットフォーム」 ～Flowでのマルチコア活用事例～ - Qiita
この記事は、「Elixir Advent Calendar 2017」の25日目です Merry Xmas!（実に1日遅れですが…） Elixir Digitalization Implementors／fukuoka.ex／kokura.ex の piacere です ご覧いただいて、ありがとうございます 私は普段、福岡のスタートアップ企業のCTOとして、「ビッグデータ分析＋AI・ML開発の統括」と「Elixir・Phoenix／Kerasリードプログラマ」をしながら、福岡Elixirコミュニティ「fukuoka.ex」のMeetUp（偶数月定期開催）やプログラミング入門ハンズオン、もくもく会を主催しています ちょうど先週末、「fukuoka.ex #4 ～ Elixirのビッグデータ分析～」というテーマでMeetUpを開催したので、そこで扱ったセッションの一部をコラム化してみようと思い
人間のためのイケてるPython WebFramework「responder」、そして作者のKenneth Reitzについて - フリーランチ食べたい
この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります
奴隷制を連想させるとして、Pythonで「master」「slave」といった単語が削除される | スラド デベロッパー
Pythonのバグトラッカーに、「Avoid master/slave terminology」という要望が寄せられている。これは「多様性のため」に奴隷制度を連想させる「master」「slave」という単語を削除するほうが好ましいという提案だ（Slashdot、Motherboard、Register）。 そもそも「master」という単語は非常に多くの場所で使われており、たとえばバージョン管理システムGitでは「masterブランチ」という概念がある。そのため、これを変更するのは容易なことではない。また、master/slaveという単語は電子回路やソフトウェアアーキテクチャにおいて奴隷制とはまったく関係ない文脈で使われている。そして、「slave」を置き換えられる単語で適切かつ広く普及している単語はいまのところ存在しない。こういった理由から反対の声も出ていたが、最終的には「salve
Django Best Practiceへの道 #1
DjangoのWebアプリを開発している際、リファクタ/テスト拡充のために集めた情報をまとめます。 #1 Djangoプロジェクト/アプリケーション/設定ファイル構成 #2 Djangoテスト戦術 #2 補足編 #3 Django Model/View/From/Template戦術 戦略よりも、自分が入社した時既にあった前提に対応する為に考えた戦術を中心に書いていきます。また、自分の思考をダンプして記録しておくという目的もあるので、記述が冗長な部分もありますがご容赦ください。 前提 既に本番リリースされてる Django 1.5で作られてる 中/小規模Webアプリケーション(テーブルサイズ10 - 20) 開発/運用1人(achiku), アドバイザー/レビューアー1人(moquada) バックエンド処理ロジックは比較的シンプル Celeryを使った非同期タスクとして動く処理がある JS
最新のDjango本「Two Scoops of Django 1.11: Best Practices for the Django Web Framework」 - Pavement
PythonはRubyやPHPなんかと比べて日本語情報が少ないというのはよく聞く話です。 それはPythonの主要フレームワークであるDjangoに関しても同様で、 公式のチュートリアルはしっかり日本語化され懇切丁寧な内容となっているものの、 それ以外の書籍等に関しては「本命がない」という感じがします。 同じように、いわゆる「Django本がない」というのが下記の記事でも書かれています。 ベスト・オブ・Django本！ - akiyoko blog そこで紹介されていたのがこれ。（すみません、こちらにも貼らせて頂きます） Two Scoops of Django: Best Practices for Django 1.8 作者: Audrey Roy Greenfeld出版社/メーカー: Lightning Source Inc発売日: 2015/05/15メディア: ペーパーバックこの
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sqlalchemyのinsert高速化 - Qiita
Flask + SQLAlchemyプロジェクトを始める手順 - Qiita
Python並列処理(multiprocessingとJoblib) - Qiita
ワンライナーWebサーバ
Amazon.co.jp: みんなのPython 第4版: 柴田淳: 本
workshop_tutorialJP(旧チュートリアル)
