Unladen Swallow 回顧録 - YAMAGUCHI::weblog
はじめに QINSB is not a Software Blog: Unladen Swallow Retrospective Unladen Swallowのコミッター、Reid KlecknerによるUnladen Swallowプロジェクト振り返りです。Unladen Swallow自体はPythonの高速化を目指した一大プロジェクトとして一時期かなりPython界を賑わせたわけですが、2009年後半以降はなりを潜めてしまいました。 unladen-swallow - A faster implementation of Python - Google Project Hosting 色々と裏事情があったようですが、メインコミッターのReidがその事情を語ってくれています。 Unladen Swallow 回顧録 これはPyCon参加中に書きましたが、更新は続けました。とにかく、は
ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo
データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball
ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本（と一部本じゃないもの）をまとめてみました（注：もちろん全部読んでいます）.*1. なお, あくまでワタシ個人（@shinyorke）の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません（とだけ最初に断っておきます）. サクッとまとめると 「レベル感（はじめて・経験者）」だけででなく,「エンジニア面を鍛える or 理論を固める」の軸で考えると良い書籍・学び方に出会える確率上がる エンジニアでも理論でもどっちから初めても良い, がどちらかが得意な方が絶対幸せ（≒片方だけじゃお話にならない可能性） 個人的なオススメは「機械学習図鑑」「前処理大全」「機械学習のための特徴量エンジニアリング」そして「試して学ぶ機械学習」です. おしながき サクッとまとめると おしながき 対象読者&執筆者について
Profiling Native Python Extensions
One of the cool new features in py-spy is the ability to profile native Python extensions written in languages like C, C++ or Cython. Almost all other Python profilers[1] only show program activity that is in pure Python code, and native code will instead show up as spending time in the line of Python that calls the native function. Using native profiling tools like perf can get you a sense of wha
Django Vanilla Views - Beautifully simple class based views
Django Vanilla Views Beautifully simple class-based views. View --+------------------------- RedirectView | +-- GenericView -------+-- TemplateView | | | +-- FormView | +-- GenericModelView --+-- ListView | +-- DetailView | +-- CreateView | +-- UpdateView | +-- DeleteView Django's generic class-based view implementation is unnecessarily complicated. Django vanilla views gives you exactly the same
_%25E3%2582%2592%25E4%25BD%25BF%25E3%2581%2586)
Python をビルドするときに LTO (Link Time Optimization) を使う - methaneのブログ
タイムラインで Ruby が LTO で速くなるという話題を目にしたので、 Python でどう使うんだったっけ？と思って調べてみました。 ちょうど configure オプションに --with-lto を付けるパッチが投稿されていました。 Issue 25702: Link Time Optimizations support for GCC and CLANG - Python tracker このパッチだと PGO (Profile Guided Optimization) と LTO を併用することしかできないようで、 PGO 使うと1割位速くなるものの、プロファイル取得のために Python のテストケース舐めるのでビルドにすごい時間がかかってしまいます。 PGO なしで LTO だけ使わせてってコメントしておきました。 さて、このパッチを当てれば PGO+LTO ができるはず
機械学習プロジェクトのマネジメントの入り口 -『仕事ではじめる機械学習』を読んだ - - だいくしー(@daiksy)のはてなブログ
仕事ではじめる機械学習 作者:有賀 康顕,中山 心太,西林 孝発売日: 2018/01/16メディア: 単行本（ソフトカバー） ちょうど仕事で機械学習を用いた機能開発のプロジェクトの進行管理をしていて、目次をみたところ良さそうに思ったので読んでみました。 オライリーのEbookでPDF版を買ったのですが、まもなく紙版も出るようです。 まえがきには、CourseraのMachine Learningコースを受講するか、『ゼロからつくるディープラーニング』を読んでおくと良い、とありました。ぼくは直前に『ゼロからつくるディープラーニング』を読んだあとでしたが、いきなり1冊目に読んでも問題ないのではと思います。難しい数式などはあまり出てきません。とはいえ、ある程度の機械学習についての知識を持っているのが前提になっているので、少なくとも機械学習を取り扱う際によく出てくる用語の意味などはある程度知って
Pythonとパッケージングと私
1. Preface setup.cfg pyproject.toml conclusion Pythonとパッケージングと私 Atsushi Odagiri 2017-09-08 2. Preface setup.cfg pyproject.toml conclusion お前誰よ • Atsushi Odagiri • Open Collector, Inc. • Repoze/Pylons/Pyramid 3. Preface setup.cfg pyproject.toml conclusion パッケージングの基本 • pypi パッケージリポジトリ • pip インストーラー • setuptools/wheel パッケージャー • virtualenv 仮想環境
Pythonのモジュールを隔離する :: return0 note
とりあえず以下のようなディレクトリ構成を前提とする。 main.py foo/ mod1.py mod2.py : : bar/ modx.py mody.py : : この時、fooとbarは互いに決して参照しあわない、つまりfoo配下のモジュールは例外なくbar配下のモジュールをインポートせず、その逆もまた真という状況を作ることを考える。これをコーディング規約やコード解析によるチェックなどではなく、あくまでも「import文でインポートできない」という状態を実現するにはどうすればいいかについて考えてみたのだが、sys.path_hooksかsys.meta_pathを使えばどうにかなった。 詳しいことはPEP 302を参照してほしいが、Pythonのsysモジュールにはpath_hooksとmeta_pathという変数が定義されており、どちらもモジュールのインポートにフックを仕掛けられ
Pythonでリストをflattenする方法まとめ - Soleil cou coupe
参考 1段ネストしたリストをflattenする方法 Making a flat list out of list of lists in Python - Stack Overflow 2段以上ネストしたリストをflattenする方法 Flatten (an irregular) list of lists in Python - Stack Overflow Right Foot In: More on python flatten 色々方法があるみたいなので書留め。 1段ネストしたリストをflattenするとは つまり、 l = [[1,2,3],[4,5,6], [7], [8,9]] を [1,2,3,4,5,6,7,8,9] にするということ。 reduceを使った方法 reduceを使ってリストを畳み込むことができる。 reduce(lambda x,y: x+y,l) 組込み
inforno :: Python:お手軽にPluggableにする
Pythonで自分用の小物アプリを結構書き溜めてるんですけど、実はそのほとんどにプラグインシステムみたいなのをつくってたりします。 たとえばファイルの整理自動化みたいなの。ファイルの移動前に処理を追加する、てな部分をプラグインにしてあるわけです。 まぁ機能的にはCPANのClass::Componentっぽいもんですね。ですがそこまで高機能なのはいらないので、シンプルに自分が必要な部分だけまとめてみました。 1from inspect import getmembers, ismethod 2import types 3 4class Pluggable(object): 5 def __init__(self): 6 self.hooks = {} 7 8 def load(self, *config): 9 self.load_config(*config) 10 self.load_
Python初心者によるPythonのいいところ、はまりどころのまとめ - Webtech Walker
Python勉強し始めて一ヶ月くらいたったんで一度復習を兼ねてまとめてみようと思います。僕が今までPHPとかPerlとかJavaScriptを使っていて、Pythonはこうやるのかーとか、これは便利だなーと思ったところ、開発していてはまったところなどピックアップしてみました。 初めてのPythonを読んで初心者向け勉強会に参加した程度の知識です。とりあえず初めてのPythonがかなりいいのでこれ読むだけで大体基礎は習得できた気がします。基本的な文法の説明だけでなく、大事なことは何回も繰り返し書いてあったり、Pythonの思想などにも触れているのでなぜこういう実装になっているかということも理解できます。これオススメ。 尚、このエントリーではPythonのバージョンは2.5をベースにしてます（主にGoogleAppEngineで使ってるので）。間違えなどあったらツッコミお待ちしてます。 文法、
一歩上行くPythonistaが読むべきコード | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー まあいろいろあると思うけど，あんまり古いのだとスタイルがアレでダメだし，今風でとりあえず読んでてためになるし面白いなー，と思うのはGoogleで働いてるPeter Norvingさんのコードかな。短めで読みやすいし。 How to Write a Spelling Collector(スペル修正プログラムを書く方法) Solving Enery Sudoku Puzzle(数独パズルを解く) この人は他にもPython IAQ(Infrequentry Asked Question,滅多にでない質問集)とかJava IAQとか，How to Write a (Lisp) Intrepr
Fabric デプロイツールのPythonicな書き方 - Ian Lewis
Fabric は指定したコマンドを各ホストで実行する実行モデルです。この場合は特にホストの指定がなかったので、全部ローカルで、一回実行することになります。 これは結構つまんないので、本当の例を見ましょう。これは最近、仕事で作ったコマンドです。 nginx サーバーでメンテ画面を出すようなコマンドです。 各ロードバランサーで実行します。 from fabric.api import run, cd, abort, require, sudo, env from fabric.decorators import runs_once, roles from fabric.contrib.console import confirm ... @roles('loadbalancers') def start_maintenance(): """ メンテナンス画面に切り替える """ _produc
((Pythonで) 書く (Lisp) インタプリタ)
Peter Norvig / 青木靖 訳 このページには2つの目的がある。コンピュータ言語の実装について一般的な記述をすることと、Lispの方言であるSchemeのサブセットをPythonで実装する具体的な方法を示すことである。私はこのインタプリタをLispy (lis.py)と呼ぶ。何年か前に私はJavaとCommon LispでSchemeインタプリタを書く方法を示した。今回の目標は、アラン・ケイが「ソフトウェアのマクスウェル方程式」と呼んだところの簡潔さと取っつきやすさを可能な限り実現するということだ。 SchemeのサブセットLispy の構文と意味論 コンピュータ言語の多くは様々な構文的な決まり(キーワード、中置演算子、カッコ、演算子優先順、ドット記法、セミコロンなど)を持っているが、Lisp族言語の1つとして、Schemeの構文はすべてカッコ付きの前置記法であるリストを基本とし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gcd() in Python - GeeksforGeeks