Python multiprocessing vs threading vs asyncio - JX通信社エンジニアブログ
エンジニアの鈴木（泰）です。 今回は、multiprocessingとthreadingとasyncioの違いとはなんだろう？という問に挑戦してみたいと思います。 この問の答えをグーグル先生に聞いてみると、非常にたくさんの情報がヒットします。しかしながら、どの情報も断片的なものばかりで（本記事もそうなのかもしれません）、色々と本を読んだりネットを漁ったりして、情報を補完しなければなりませんでした。 本記事は、僕が調べた限りの情報を集約し、この問に対する結論を１つの記事にまとめたものとなっています。 前提 マルチプロセスとは マルチスレッドとは Pythonにおけるマルチスレッド 本題 マルチプロセス（multiprocessingライブラリ）を利用したほうが良い場合 cpu_sec.py cpu_multiprocessing.py cpu_threading.py cpu_asyncio
初心者向けTellus学習コース
初心者向けTellus学習コース 本教材は2020年度に提供した教材のため、Tellusの画面やAPIが現在の仕様と異なっている部分がありますのでご注意ください。 2018年度にリリースした衛星データをクラウド上で分析できる日本発の衛星データプラットフォーム「Tellus」は、2019年度にTellusをより多くの方にご活用いただけるようeラーニング講座を応募者への抽選登録制で提供してまいりましたが、2020年3月から、プログラミングと機械学習の基礎が学習できる「Tellus Trainer」と「初心者向け Tellus 学習コース」の2つのeラーニング講座を公開制限なしで提供することとなりました。 本教材「Tellus初心者向け学習コース」では、Python初心者向け教材となる基礎編と、Pythonで学ぶ実践的な衛星データ解析となる地理空間情報解析編（応用編）に分かれます。 基礎編では、
【まとめ編】Responderを使ってDjangoチュートリアルをやってみた – 株式会社ライトコード
Responderを使ってDjangoチュートリアルをやってみた～まとめ～ ライトコード社長も今、イチオシのWEBフレームワークである「Responder（レスポンダー）」。 「Responderの具体的な実装例の記事を検索しても少ない」と感じた社長が、「それなら、充実しているDjangoのチュートリアルを、Responderでやってみよう！」とスタートした企画でした。 充実しているDjangoのチュートリアルを、Responderでやってみよう！ 【はじめての Django アプリ作成】 https://docs.djangoproject.com/ja/2.2/intro/ Django のチュートリアル「はじめての Django アプリ作成」を、Responderで追う形で進んでいきます。 内容としては、Djangoのチュートリアルと同じように簡単な「投票Webアプリ（Pollsアプ
ゼロから学ぶPython
この講義ノートについて これは、大学の学部二年生向けのプログラミングの講義ノートとして書かれたものである。講義の最初に30分程度説明をして、その後の60分実習をする形式とし、全部で14回の予定である。これまでプログラムをほとんどしたことがない学生を対象としている。Google Colabを使うことで環境構築をせず、ブラウザだけで実習形式で学ぶ。言語としてはPythonを用いるが、Pythonを学ぶことそのものを目的とせず、プログラミングの考え方や、計算機の仕組み、基本的なアルゴリズムの考え方などを学ぶことを目的とする。 なお、この講義ノートを元にした書籍が出版されている。 書籍版「ゼロから学ぶPythonプログラミング」 Kindle版「ゼロから学ぶPythonプログラミング」 はじめに 講義スライド (「Pythonの概要とGoogle Colabの使い方」と共通) なぜPythonを学
pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ
Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
Infrastructure as Codeのホープ、Pulumiを試す - サーバーワークスエンジニアブログ
AWSにおけるInfrastructure as Codeツールと聞いて皆さんは何を思い浮かべるでしょうか？ 多くの方はCloudFormationもしくはTerraformあたりを想像するのではないかと思います。 しかし！実は昨年、Pulumiという第三の選択肢がリリースされていました。 このツール、ずっと気になってはいたのですが、GW中にようやく試すことができたのでご紹介します。 何かがきっかけで人気急騰するポテンシャルを秘めたツールだと個人的には思っています。 ツールの概要 Pulumiの特筆すべきところは何と言っても プログラミング言語で展開リソースの定義を実施できる ことです。 CloudFormationもTerraformも、実態としてはInfrastructure as Yaml(or JSON）だったわけですが このツールは正真正銘のInfrastructure as C
Pythonの並列処理・並行処理をしっかり調べてみた - Qiita
「ビルトインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認ください。 使った環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Ubuntu Jupyter notebook（一部マジックコマンドなども利用しています） ※Windowsの場合、マルチプロセスなどで直接Jupyter上で動いてくれない（.pyファイルを経由すると動く）などのケースがあります。 参考 : Jupyter notebook never finishes processing using multiprocessing (Python 3) 並行
Python: seaborn を使った可視化を試してみる - CUBE SUGAR CONTAINER
今回は、Python の有名な可視化ライブラリである matplotlib のラッパーとして動作する seaborn を試してみる。 seaborn を使うと、よく必要になる割に matplotlib をそのまま使うと面倒なグラフが簡単に描ける。 毎回、使うときに検索することになるので備忘録を兼ねて。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildVersion: 18E226 $ python -V Python 3.7.3 もくじ もくじ 下準備 Relational plots scatter plot (散布図) line plot (折れ線グラフ) Categorical plots strip plot (ストリップチャート) swarm plot (スウォームチャート) box
ディープラーニング入門：Chainer チュートリアル
Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ
Python開発環境JupyterLabをローカルマシンにインストールしてみた | DevelopersIO
こんにちは。しもじです。 今回は以前からずっと気になっていたPython開発環境、JupyterLabをインストールしてみたので、ご報告したいと思います。 JupyterLabとは? Pythonをお使いの方で Jupyter Notebook をご利用の方もいらっしゃると思います。 起動するとwebページ中でノートを記述するようにコードを残すことができ、実行結果と合わせて1ファイルとしてシェア可能なので便利です。 Amazon SageMakerでも利用されています。 Jupyter Notebook Jupyter Notebookを開発、提供しているProject Jupyterが次世代版Jupyter Notebookとして開発しているのがJupyterLabです。 JupyterLab changelogによると、現在v1.0.0へのリリースに向けて作業が進んでいるようです。また
pyenv、pyenv-virtualenv、venv、Anaconda、Pipenv。私はPipenvを使う。 - Qiita
pyenv、pyenv-virtualenv、venv、Anaconda、Pipenv。私はPipenvを使う。Pythonpyenvpyenv-virtualenvvenvPipenv はじめに If a thing can be done adequately by means of one, it is superfluous to do it by means of several; for we observe that nature does not employ two instruments if one suffices. -- Thomas Aquinas (1225-1274) pyenv-virtualenv というツールを、私は長らく使ってきた。 pyenv-virtualenvは素晴らしいツールで、私はプロジェクトを切り替えるとき、Pythonの環境について一切
Python環境構築ベストプラクティス2019
Python環境構築ベストプラクティス2019 Published at: 2019-02-18 / Updated at: 2019-05-14 Web上には新旧さまざまなPython環境の構築の方法が乱れており, 正しい情報にたどり着けない人がいて不憫なので2019年2月現在のベストプラクティスをPythonを使いたい人の属性ごとに紹介したいと思います. 自分がどのような環境を作ればいいかわかったなら公式ドキュメントというほぼ絶対的な1次資料を元に最高の環境を作っていきましょう. For Beginners とりあえずPythonを勉強してみたい, 手軽に手元にあるデータを解析してみたいという人はこちらです. プログラムをガリガリ書いていくのではない場合, 自分のPCに環境構築する必要はありません. Googleが提供しているColaboratoryを使いましょう. 苦労することなくP
PythonのWEBアプリケーションの基本的なパフォーマンス改善（パフォーマンスを測定)｜shimakaze_soft
まずはWEBアプリケーションのパフォーマンスが良いか悪いかを測定していきます。そもそもパフォーマンスが良い、悪いとはどういう事を指すのでしょうか。以下にいくつか並べてみました。 ・処理能力（スループット）が高い ・メモリー消費量が少ない ・リクエストを送信してレスポンスが返ってくるまでの時間(レスポンスタイム）が短いいろんな指標があるものの、今回は以下の点について注目します。 ・リクエストを送信して、レスポンスが返ってくるまでの時間（レスポンスタイム）ここでは、ApacheBenchというパフォーマンス測定ツールを使用していきます。ちなみにタイトルで「Python」と付けているものの、ApacheBenchを使って測定をするのは、Python以外でも可能です。 ApacheBenchとはApacheBenchとは、ApacheというWEBサーバーに同梱されているWEBサーバーの性能測定ツー
Pythonで話題のWEBフレームワークresponderでサンプルのtodoリストを作成｜shimakaze_soft｜note
ResponderとはResponderは、2018年10月に公開されたPythonの軽量WEBフレームワークです。requestsとpipenvを開発されたKenneth Reitz氏が開発されたものであり、公開後わずか2ヶ月でスター数は2000をも超えています。 Responderの特徴とは ・FlaskとFalconの良いところを一つにまとめている ・非同期処理を簡単に書くことが可能 ・標準でGraphQLを扱うことが可能(grapheneを使用している) ・SPAとHSTSに対応 ・FlaskやFalconなどのWSGI対応アプリケーションを組み合わせてマウントすることが可能 Responderを用いて簡易的なtodoリストを作成今回はこのResponderを使って簡易的なtodoリスト作成してみます。 DBにはsqlite3、ORMにはSQLAlchemyを使用します。 使用環境
はじめての Responder（Python の次世代 Web フレームワーク） - Qiita
この記事は Python のモダンな Web フレームワークである「Responder」の入門チュートリアルです。 公式のチュートリアル「Quick Start!」に沿って進めていきます。 この記事のサンプルコードは GitHub で公開していますので、参考にしてください。 https://github.com/nskydiving/responder_quick_start Responder とは Responder は Requests や Pipenv の開発者として知られる Kenneth Reitz 氏 によって開発された Web フレームワークです。 Responder のコンセプトは、人気の Web フレームワークである Flask と Falcon の両方から良い部分を取り入れ、さらに Kenneth Reitz 氏の持つ新しいアイデアを加えることで、新しい一つのWeb
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonプログラミング入門 - 教材・講義動画
WSL2とDockerとVSCodeのRemote Containersで最高の開発環境をつくる｜はやぶさの技術ノート
[Pycon Kyushu 2019] Pythonでの開発を効率的に進めるためのツール設定![[Pycon Kyushu 2019] Pythonでの開発を効率的に進めるためのツール設定](https://cdn-ak-scissors.b.st-hatena.com/image/square/150dcd9526d363713bb2961f988d5de70515cbc7/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F781a2cfacc7e4cdf8da4ec7cb8452e43%2Fslide_0.jpg%3F12600091)
Hatena ID