第5回 multiprocessingモジュールによるプロセス間通信 | gihyo.jp
multiprocessingモジュール multiprocessingモジュールは、Python2系列では2.6以降、3系列では3.0以降に標準となったモジュールです。このモジュールはthreadingモジュールに似たAPIでプロセス間通信などの機能を提供します。このモジュールにより、GILの問題を回避することができ、複数のCPUやCPUコアの性能を生かすことができます。また、このモジュールはローカルのみならず、リモートでのプロセス間通信も行うことが可能で、簡単に分散処理などを実装することができます。 まず、GIL（Global Interpreter Lock）とはPythonのインタプリタ上で一度に1つのスレッドだけが動作するよう保証するためのロックです。このロックによって、同時に同じメモリにアクセスするスレッドが存在しないことを保証します。 しかしながら、このロックによって、一度に
難しいことを簡単に学ぶ方法 ― 強力なスキルを新たに身に着けるための3つのステップ | POSTD
ここ数年、私はWeb開発と機械学習の自習に多くの時間を割いてきました。 学習のテーマは、Javascript、Node、ReactからPython、scikit-learn、ニューラルネットワークに至るまで多岐にわたりましたが、全てに対して私は一貫したアプローチで取り組みました。 そのアプローチとは、単純な（陳腐と言ってもいい）3ステップで進める、という手法です。しかし、 Web開発のシロウトだった私が5カ月で、プロだと自覚できるほどになった のはひとえに、このアプローチで臨んだ自習の成果だと思っています。 そこで私は、この自習法がほかの誰かのお役に立てるかもしれないと思い、少し記事を書いてみることにしました。 この記事は、何も分からないままやみくもに挑戦を始めた、2012年当時の自分自身に教えるつもりで書いています。 ステップ1：習うより慣れろ 新しいテクノロジを学ぶためにまず実行する最
Python文法詳解
Python Enhancement Proposals（PEP） 3138の執筆者でもある日本人著者が、プログラミング言語としてのPythonの文法や、組み込みのオブジェクトに焦点を絞って解説する書籍。最新のPythonを深く理解し、使いこなすために必要な基礎を知る1冊。シンプルさを特長とし、できるだけ機能を絞り、覚えやすく、使いやすい言語をモットーとしてきたPythonが、20年にわたる進歩の結果として得た高機能さと複雑さの中から、入門書やチュートリアルではあまり触れられないその内部や仕組みに関するトピックを盛り込んでいます。本書によって、最新のPythonを深く理解し、使いこなすために必要な基礎を知ることができるでしょう。 著者による正誤表 はじめに 第1章 イントロダクション 1.1 Python の特徴 1.1.1 読みやすさ 1.1.2 シンプル 1.1.3 高レベル言語 1.
Python logging 各種出力ハンドラーの使い方について
Pythonのloggingモジュールについてちょっと調べてみました。 Python loggingモジュールの基本的な使い方 コンソールへの出力とファイルへの出力を試しましたが、それ以外の 出力ハンドラーについても調べたのでメモしておきます。 よく使うハンドラーの種類とimport元 よく使うであろうハンドラーはこんなかんじでしょうか。 loggingパッケージ StreamHandler(コンソールへの出力) FileHandler(ファイルへ出力) logging.handlersパッケージ SMTPHandler(メール送信) RotatingFileHandler(容量によりローテーションするログファイルへ出力) TimedRotatingFileHandler(時間によりローテーションするログファイルへ出力) SocketHandler(TCPソケットへ出力) Datagram
Pythonの開発環境についてもう一度考えてみる - Qiita
【追記】この記事は2014年に書かれたものであり、内容については現在では歴史的意義以外の価値はありません。今からPython始めるならPython3でvenv使わないと怖い人たちに殴られるのでそうしましょう。 四ヶ月ほど前にはじパタでLTしたPythonの開発環境についてのスライドが、どういうわけか今更ホッテントリ入りしておりました。 詳しくはスライドを見てください。 でもって、ここから四ヶ月もたってないので大した変更とかもないんですが、いくつか頂いたコメントに答えつつ、Pythonの開発環境についてもう一度考えてみたいと思います。 2.7系でいいの？ Pythonってまだやっぱり2.7系のほうがいいのか? 知識の薄い言語の事情って分かんないな。 10分でわかるPythonの開発環境 by @who_you_me http://t.co/nKyFYEz3Gm @SlideShareさんから
Pythonデバッガ(pdb)とテスト(pytest)についてのメモ - c-bata web
はじめに 今までテストを書くどころかデバッガを使ったことがなかったのですが、id:Kesinさんの↓の記事を読んで、このままではマズイと思ったので勉強しました。 研究のプログラミングにおける悲劇を無くすためのGitとテスト デバッガ Pythonには標準でpdbというデバッガが付いてるらしい。 pdb — Python デバッガ Pythonのpdbモジュールでデバッグする こちらによると、 使い方はいろいろあるみたいだけど、とりあえず set_trace は便利なのですぐにでも使ってみるべき。pdb.set_trace() でデバッグ用の対話シェルが実行される。 とのこと。他のサイトでもプログラムの気になる所にpdb.set_trace()を埋め込んで使っていました。 import pdb pdb.set_trace() 使い方 PyCon JP 2012 hands-on セッション/
sqlalchemyのテーブル定義tips - Qiita
# -*- encoding:utf-8 -*- from sqlalchemy import (Column, String, Text, ForeignKey, \ create_engine, MetaData, DECIMAL, DATETIME, exc, event, Index) from sqlalchemy.schema import UniqueConstraint from sqlalchemy.orm import (sessionmaker, relationship, scoped_session) from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.dialects.mysql import INTEGER as Integer from datetime import
Pythonのコマンドライン引数処理の決定版 docopt (あとJuliaに移植したよ) - りんごがでている
Pythonをよく使う人にはよく知ってる人も多いのですが、docoptという便利ライブラリがあります。 docoptはargparseやoptparseのようなコマンドライン引数をパースするライブラリなのですが、その発想がコロンブスの卵なのです。 例えばPython標準のargparseだと、argparseのAPIを組み合わせてパーサを組み立てるわけです。するとパーサと一緒にヘルプも作ってくれて、"program --help"などとすると自動生成されたヘルプを表示してくれるようになります。 しかし、そのAPIを覚えるのが大変で、毎回ドキュメントを読まないと忘れちゃうわけです。 import argparse parser = argparse.ArgumentParser(description='Process some integers.') parser.add_argument
Dstatのプラグインの書き方 - Qiita
Dstatはメジャーなツールですが、プラグインの書き方についてはあまりドキュメントがなかったので、ここに書いてみようと思います。 Hello, World! dstat_hello_world.pyを作って、(CentOSの場合)/usr/share/dstat/にコピーします class dstat_plugin(dstat): def __init__(self): self.name = 'hello_world' self.type = 'f' self.width = 5 self.scale = 1000 self.vars = ('hello', 'world') #def check(self): # # Check anything def extract(self): self.val['hello'] = 1 self.val['world'] = 10000
pyenvオワコン、direnv最強 - None is None is None
社内勉強会で発表しようと思ったけど、寿司の運搬という重大任務を仰せつかって、流れてしまったスライドを転載 direnv is an awesome successorof ***env's. from Kenji Omoto （なお原稿では乱立する"***env"をマスコミは「目があって角が２本」としか認識していない国民的ロボットシリーズに、 anyenvをそれらを合体させたプラモ作例、 direnvを白くて角が１本のシンプルなデザインな新作に例えましたが、 大人の事情で削除しています。） pyenvはawesome Pythonには、プロジェクトそれぞれに専用の環境を作ってPythonのバージョンやライブラリを切り替えることができる、virtualenv, virtualenvwrappperというツールがあります。 Rubyなどの他の言語にも、virtualenvのようなツールがありま
SimpleHTTPServerの次の一歩としてFlaskを使う - Qiita
手元で実験のためにWebアプリのちょこっとしたプロトタイプを作るって時に、HTMLやCSSやJSなどを静的に配信したいだけだったら が楽ちんだということはだいぶ知名度が上がってきたみたいだけど、「あ、ちょっとデータを保存したい」とか思った時には静的配信だけだと力不足なんだよね。(GETパラメータに積んでログに残すという力技は除く) で、そういうシチュエーションになったので僕はFlaskで1ポモドーロ(25分)くらいで実装したんだけど、ふとFacebookを見たら似たようなシチュエーションでSocket使うとか言ってる人が居たのでこれはブログに書いておくべきことかーと思ったのです。 フレームワーク習得にかかる時間を大きく見積もり過ぎだよ。とりあえず25分間Quickstartをやってはどうか。Socketでサーバを実装するのに比べたら学習に掛かった時間はすぐにペイする。 http://fla
pythonbrewで複数バージョンのPython環境を管理する - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。長らくvirtualenv & virtualenvwrapperでやってきたんですが、そろそろPython2系とPython3系を共存させるに当たってvirtualenvでちまちま環境を切り替えたり細かいオプション設定したりするのにつかれたのでpythonbrewを使うことにしました。 参考 utahta/pythonbrew · GitHub 作者さんのブログ pythonbrewで構築するPython開発環境 | ninxit.blog pythonbrewで構築するPython環境 その２ | ninxit.blog Python3に乗り換える？待ってみる？でも試したいよ、戻れる前提ならね。そんな方法。 - When it’s ready. (a2c.get.diary) 設定 上のエントリにあるとおりに設定すれば済む話ではある。 下
Python初心者入門資料まとめ！ 【Pythonスタートブック書評】
統計の勉強をしていく中で、Pythonの数値計算を将来できるようになりたいと思うようになり、Pythonの勉強を少しずつ始めました。で、そんなダメ系エンジニアにも優しく、最初に読むといいと評判の『Python スタートブック』を読みました。 ついでにネットの無料の資料もいくつか集めてみたので良かったら、よかったらこのゴールデンウィークに新しい言語を勉強してみてください！ 😸 環境構築Python開発環境構築 徹底解説 Mac限定ですが、Pythonのモダンな開発環境の導入手順です。かなりシンプルに導入できるので、初心者でもスムーズに始められると信じていますw 🗻 動画Python入門 安定のドットインストール。新しい言語をやるときにはいつも大助かりです！ 🐮 文法 & TipsPython基礎文法最速マスター Python 2.6系の基礎的な文法が洗練されて、まとめられています。ほか
import フック・importlib - N->N->N
Python 3.1 で導入された importlib は一部が Python 2.7 にバックポートされています。import フックを自分で作成する必要のある人はあまりいませんが、自分の用途に使えるのか調べてみます。(3.1 で導入されましたが、以下は 3.3 で調べたものです。) PEP 302 [1] およびマニュアルより。 import をカスタマイズしやすく。これまでは __import__ を置き換えるしかなかった Python での import の実装を提供し、拡張などからも利用しやすく これまでは、import をカスタマイズしようとすると、組み込みの __import__ を独自の実装で置き換えるしかありませんでした。この場合、既存の import で足りる分は __import__ を呼び出したり、それも独自の方法で行うことになります。多くのライブラリがこれを行って
知ってるようで知らないPythonの特殊コーデック - Qiita
Pythonの文字列オブジェクトには、文字列を特定のコーデックでエンコード/デコード操作が可能ですが、その中で今まであまり知らなかったコーデックを紹介します。 base64 これはご存知の方が多いかと思いますが、文字列を Base64 文字列にエンコード/デコードします。
Python で HTTP/2 サーバーを書こう - Qiita
nghttp2 に含まれる Python API を使って Python で HTTP/2 サーバーを書く方法を説明します. Python API は nghttp2 C ライブラリを使った拡張ライブラリとして提供されています. HTTP/2 サーバーを提供するコードが asyncio モジュールを使っているため, Python 3.4 以降が必要になります. 拡張ライブラリをビルドするには, Python 3.4 の開発パッケージと Cython が必要です. Ubuntu 14.04 LTS では, python3.4-dev と cython パッケージが利用できます. configure スクリプトは利用可能な Python 環境を自動で選択しますが, デフォルトの Python が 3.4 でない場合が多いと思いますので明示的に Python 3.4 のインタープリターのパスを
CPythonのgrennlet(グリーンスレッド)の実装について - mfumiの日記
OSが管理するスレッドと違って，ユーザのプログラムによって管理されるスレッドのことをグリーンスレッドといいます．他にもマイクロスレッドとか軽量スレッドとかいったりすることもあるようです．ネイティブスレッド(OSが管理するスレッド)と比較したときのグリーンスレッドの特徴として． ・スケジューリングをユーザプログラム自身がおこなう ・一般にスレッドの切り替えコストはネイティブスレッドより低い ・一つのプログラム内において実行されるグリーンスレッドは一つ (マルチコアでも，OSから見るとあくまでユーザプログラムは一つなので，グリーンスレッドが並列実行されることがない）などが上げられます． greenletとは，PythonのC言語実装であるCPythonにおけるグリーンスレッドの実装の一つです．(2014/4/29現在，greenletはpython2.xのみをサポートしています．また，以下での
幅優先探索 | アルゴリズム[Ruby/Python][AOJ 0129]
『幅優先探索』をRuby/Pythonで解いてみました。AIZU Online Judgeで対応している問題は『Seven Puzzle』です。 🏀 概要深さ優先探査の説明は『通勤・通学中に理解する深さ優先探索と幅優先探索』、 『アルゴリズム図鑑：iOS & Androidアプリ』が分かりやすかったです。 要点は次のとおり。 根ノードで始まり隣接した全てのノードを探索。階層(根ノードからの距離が近い順)にルートを調べる 🐯 サンプル問題(AOJ)Seven Puzzle Aizu Online Judge。1-7までの数字と、1つ空白のあるパズルをとく問題。 😀 Rubyコード 01234567がそろった状態(ゴール)からスタートして、0を移動させる 幅優先探索で過去に到達していない状態になったら、手数(移動数)を記録 すでに到達済の状態であれば、スキップ(幅優先探索なら手数が同等か
新人プログラマに知ってもらいたいメソッドを読みやすく維持するいくつかの原則 - Qiita
エンジニア組織を強くするための本を出版しました Qiitaでエンジニアリングをめぐる様々なコミュニケーションの問題とその解決策や考え方を書いてきた。それらの背後にあるエッセンスをこの度書籍として出版するに至りました。 エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング この書籍は、エンジニアリングを「不確実性を削減する」という第一原理で捉え直し、様々なエンジニアリングとその間のコミュニケーションをめぐる現象を説明していくものです。 あわせて読みたい 新人プログラマに知ってもらいたいメソッドを読みやすく維持するいくつかの原則 新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡 ペアプログラミングして気がついた新人プログラマの成長を阻害する悪習 #この記事について この記事は、新人向けの研修内容を再編集してお送りします。 この記事の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Python-ml-jp 3380] Re: 解決