pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ
Python: コマンドラインパーサの Click が便利すぎた - CUBE SUGAR CONTAINER
Python のコマンドラインパーサといえば、標準ライブラリに組み込まれている argparse が基本。 蛇足になるけど、バージョン 2.7 以前で使われていた optparse は将来的に廃止予定なので新たに使うことは避けた方が良い。 そして、今回紹介する Python のサードパーティ製コマンドラインパーサ Click は、既存のパッケージと比較すると最小限のコードで美しくコマンドラインインターフェースを実装できるように作られている。 どれくらい楽になるかといえば、もう argparse を使っている場合じゃないな、と思えるレベル。 Welcome to Click — Click Documentation (8.0.x) もくじ もくじ Click をインストールする 基本的な使い方 コマンドを定義する オプションを追加する 引数を追加する サブコマンドを作る オプションについて
[Python]scikit-imageによる画像処理 - Qiita
In [13]: I1 = io.imread('Lenna.bmp') In [14]: I2 = io.imread('Mandrill.bmp') In [15]: I3 = io.imread('Parrots.bmp') In [16]: io.imsave('output.tiff', [I1, I2, I3]) In [17]: I4 = io.imread('output.tif') In [18]: I4.shape Out[18]: (3, 256, 256, 3) In [19]: io.imshow(I4[0]) In [20]: io.imshow(I4[1]) In [21]: io.imshow(I4[2])
![[Python]scikit-imageによる画像処理 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1dc4af9bd8f00e310ec8ceb12de53c9e71578e7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEc2Npa2l0LWltYWdlJUUzJTgxJUFCJUUzJTgyJTg4JUUzJTgyJThCJUU3JTk0JUJCJUU1JTgzJThGJUU1JTg3JUE2JUU3JTkwJTg2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iMmIxYmE5YWQ5YzAwMzMyZDVjOWExMWZhNzk1ZmI2ZQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDM4YTY0ZDdkYWRmMTQxNDhkYTFiMzYzY2M5NjlkNjA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1ce6f8a7c7f75dd0cddcd31023234f92)
Pythonにおける非同期処理: asyncio逆引きリファレンス - Qiita
Pythonのasyncio、またasync/awaitについてはあまり実践的な例が出回っていなかったため、収集した情報をもとに用例ベースの逆引きリファレンスを作ってみました。 ただ、この辺はほんとに情報がなくて何が真実なのか謎に包まれている点があるので、情報をお持ちの方はぜひご連絡をいただければと思います。 今回紹介する例は、以下のgistにまとめてあります。実装時の参考にしていただければと思います。 icoxfog417/asyncio_examples.py はじめに Pythonにはthreading、multiprocessing、asyncioとどれも並列処理に使えそうなパッケージが3つあります。これらの違いをまず押さえておきます。 これらのパッケージの違いは、そのまま「マルチスレッド」、「マルチプロセス」、「ノンブロッキング」の違いに相当します。まず、マルチスレッドとマルチプ
PythonプロジェクトのドキュメントをSphinxで作成する - Qiita
Pythonのプロジェクトでドキュメントを書く、といったらSphinx、というくらいSphinxはメジャーなツールになっています。そのため、ここではPythonのプロジェクトドキュメントをSphinxで作成する手順について解説します。 Sphinxのインストール Sphinxについては、日本ユーザー会のサイトで詳しく解説されています。当然、インストールの手順も記載されています。 Sphinx-Users.jp 上記の解説ではeasy_installを使用していますが、pip install Sphinxや、Anaconda/Minicondaを使っていればconda install Sphinxでも導入可能です。 ※2015/8/2現在、Sphinxが依存するBabelの最新版2.0ではPython3環境において不具合があります。これを回避するには、一旦pip uninstall babe
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Pythonで「線形回帰」と"確率版の線形回帰"である「ベイズ線形回帰」 - Qiita
モチベーション Pythonで機械学習アルゴリズムを1から書く系のことがしたい 「機械学習」でググると評判の良い技評のページがあり勉強を兼ねて。古いページですが、解説がわかりやすかったので読んだこと無い方はオススメです。 以下、上記ページの自己理解のための再まとめです（詳細は文末に記載したオリジナルページを参照してください） 線形回帰の求め方の流れ 基底関数 「線形回帰」では，まず「基底関数」というものを定める 文字通り、関数を表現するベースとして使うもの 基底関数に特別な条件はないので自由に好きな関数が使える ただし、選び方によってモデルの性能や得られる関数の形などが決まるので、基底関数は解きたい問題にあわせて選ぶ必要がある 中でもよく使われる基底関数2種類が以下（それぞれの詳細は後述） 多項式基底
Python: line_profiler でボトルネックを調べる - CUBE SUGAR CONTAINER
前回は Python の標準ライブラリに用意されているプロファイラの profile/cProfile モジュールについて書いた。 blog.amedama.jp 今回は、同じ決定論的プロファイリングを採用したプロファイラの中でも、サードパーティ製の line_profiler を使ってみることにする。 line_profiler は profile/cProfile モジュールに比べるとコード単位でプロファイリングが取れるところが魅力的なパッケージ。 また、インターフェースについても profile/cProfile に近いものとなっている。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G31 $ python --version Python 3.5.2 イン
Pythonで作成したライブラリを、PyPIに公開/アップロードする - Qiita
便利なツールを作成したら、ぜひみんなにも使ってもらいたいものです。PythonではPyPIというパッケージを登録するサイトがあり、ここに登録することでpip installなどでインストールすることができるようになります。 本文書では、その手順を紹介したいと思います。 注意: 古い方法について ・・・と思ってGoogleで検索すると、現在では推奨されない古い方法がたくさん引っかかります。以下は古い方法の代表例なので、注意をしてください。 setup.pyでdistutilsを使っている 現在はsetuptoolsを使うのが推奨です .pypircにdistutilsの記載がある 現在は必要ありません python setup.py registerやpython setup.py sdist uploadを使っている これらは平文のHTTP/認証されていないHTTPSの通信を利用するため、
Raspberry Pi 入門 4日目 – Suicaの履歴を読み取る – ハイパードライブ – Raspberry Pi 入門 –
前回の続きです。前回はRaspberry PiとPaSoRiを繋げてSuicaのIDmを取得しました。今回はSuicaの履歴を読み取ります。 Felicaの「ブロック」について FeliCaには暗号化された領域と暗号化されていない領域があります。われわれ一般ピーポーが勝手にアクセスできるのは暗号化されていない領域だけです。 Suicaでは暗号化されていない領域に直近20件の履歴が記録されています。各履歴レコードは「ブロック」と呼ばれ、1ブロック＝1履歴です。この暗号化されていない領域からブロックを読み取る命令を「Read Without Encryption」といいます。（詳細はSonyのFelicaカード ユーザーズマニュアルをご覧ください） Pythonでブロックを読み取る 前回使用したPython用NFCライブラリ「nfcpy」を今回も使用します。まず最初にソースコード全体をお見せし
「わかりやすさ」に注目した、機械学習による技術ブログの検索 - Qiita
新しい技術を身に付けたい！と思って検索をしても、検索上位に来る記事が「わかりやすい」かというとそうではない、ということはよくあります。 記事のビュー数、またQiitaのいいね数やはてブ数は、この参考にはなりますが体感として高ければいいというものでもない印象です。 そこで、こうした文章の「評判」だけでなく、文章そのものの構成や書き振りなどに注目して、その「わかりやすさ」を評価できないか？ということで実験的に行ってみたものが以下の「Elephant Sense」になります。 chakki-works/elephant_sense (Starを頂ければ励みになりますm(_ _)m) ※名前の由来は、象の感覚って実はものすごいらしいという話から 開発に際しては基本的な自然言語処理/機械学習の手続き踏んで行ったので、その過程を本記事でご紹介したいと思います。 ゴール 事前にQiitaの記事を対象に、
TF-IDF で文書をベクトル化。python の TfidfVectorizer を使ってみる | コード７区
文書をベクトル化 文書の特徴をベクトルで表すことを考えてみます。 単純な方法として、単語の出現頻度を要素とするベクトルが考えられます。 これでも、それなりに特徴を捉えてはいますが、たとえば「です」「ます」のように、どの文書にも存在する、ありふれた単語（さほど重要でない）に大きく引きずられてしまいます。 その弊害を避けるため、特定の文書にだけ現れる単語と、ありふれた単語に差をつけます。つまり、各単語の希少性を考慮にいれることを考えます。 そこで登場するのが TF-IDF です。 TF-IDF TF は Term Frequency、単語の出現頻度 IIDF は Inverse Document Frequency、逆文書頻度（これが希少性） 単語の出現頻度と希少性をふたつ掛け合わせた値が TF-IDF で、下記の計算でもとめます。
Pythonのモジュールについてまとめてみたよ
Pythonのモジュールについて復習＆まとめてみました。 基本Pythonでは拡張子が「py,pyc,pyo」のファイルをモジュールとして読み込むことができます。 モジュールはimportによって読み込まれた時点で実行され、モジュールオブジェクトとしてアクセスできるようになります。 Pythonにおけるグローバルスコープはモジュールに限定されており、 意図的に書き換えない限り実行されたコードが他のモジュールの値に影響を及ぼすことはありません。 また、グローバルスコープに宣言されたオブジェクトはモジュールオブジェクトの属性としてアクセスすることができます。 これはグローバル変数やモジュール変数と言ったりします。 このあたりについて詳しく知りたい方は以下をを参照ください。 Pythonのスコープについてhttps://note.crohaco.net/2017/python-scope/ Py
Pythonで、URLルーティング機能だけがあるWSGIフレームワークを自作してみた - メモ的な思考的な
以前、 WSGI準拠のWebサーバ WSGIアプリケーション を自作しました。 これらの自作により、「Webサーバを作りながら学ぶ 基礎からのWebアプリケーション開発入門」の第3章以降もPythonで書く見通しが立ちました。 gihyo.jp 第3章以降では、URLルーティングやクッキー・セッションなどの機能が登場します。 ただ、それらの機能を WSGIアプリケーションを1つ作り、すべてを入れる WSGIフレームワークとWSGIアプリケーションの2つを作り、機能を分担する のどちらの形で実装するか悩みました。 それでも、せっかくなので、後者のWSGIフレームワークを自作してみようと考えました。 そこで今回、URLルーティング機能だけがあるWSGIフレームワークを自作してみました。 なお、学習用途で作ったため、セキュリティ面は考えていませんのであしからず。 目次 環境 復習：単純なWSGI
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
argparse – コマンドラインオプションと引数の解析 - Python Module of the Week
argparse モジュールは optparse に置き換わるものとして Python 2.7 で追加されました。 argparse の実装は optparse へ簡単に追加されない機能を提供しますが、後方互換性のない API の変更を必要とします。そのために optparse に置き換わる新たなライブラリとして設けられました。 optparse もそのままサポートされますが、新しい機能が実装されることはないと思われます。 optparse と比較する¶ argparse の API は optparse が提供するものとよく似ています。そして、多くのケースでは argparse はクラス名やメソッドを変更すると、そのまま置き換えて使用できます。そうとは言え、そのままでは使用できない互換性のない新機能も少しだけあります。 既存のプログラムをアップグレードするかどうかは、基本的にケースバイケ
スーパーファミコンのソフトをTensorFlowで学習させてみる！ - Qiita
学習方法 ゲームキャプチャ + アクションで報酬(game score)を与えそれを学習させる。 game scoreの取得については、ROMのバイナリ情報を解析する必要があります。 この辺はあまり詳しくありませんが海外にROMの情報が出ているとのことです。 ニューラルネットワークアーキテクチャ 学習関数は定番のReLU。教科学習のアルゴリズムは勾配降下法(Adam)でやってます。 ReLU 勾配降下法 ニューラルネットワークの外観 手順 ⅰ.エミュレータの準備 エミュレータの動作に関しては処理が複雑なのでgitにあげておきます。 https://github.com/tsunaki00/siva_game ※ 他のマシンで試してないので動くかわかりません。 エミュに興味あるかたは海外のgitなどをぐぐってみてください！ ⅱ.ROMの抜き出し 上記にも記載しましたが、ROMの抜き出し方法は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonプロファイリング基礎 - Qiita
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
