シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
年末年始の新幹線をPythonで予約する - ふしみのブログ
年末年始の新幹線はすぐに予約で一杯になってしまう。最近はエクスプレス予約のWebサイトを使えばスマホやPCから即時予約できるようになったが、年末年始の「都合が変わって1週間前など新幹線を予約したい」みたいな状況では難しい。ぼくはエクスプレス予約の割引額が増えるJ-WESTカードを持っているのだけど、特にキャンセル待ちなどに優遇があるわけではないので、CYBER STATIONという空席確認Webサイトでじっといい時間の空席が現れるのを待つしかない。 というわけでPythonで解決しよう。 この記事は ふしみ Advent Calendar の10日目の記事です。 CYBER STATIONは (見た目的にも) パースがとても簡単そうなので、素直なスクレイピングが通用しそうだ。予約サイト (エクスプレス予約) は自動操作が難しそうだが、Pythonに空席状況を監視してもらって、空席が見つかっ
【Python】もうprintデバッグはいらない？ / PySnooperで楽々デバッキング - フリーランチ食べたい
Hacker NewsとRedditでバズっていたPythonのデバッグツールが便利だったので紹介です！ PySnooperというライブラリです。 Hacker News - PySnooper: Never use print for debugging again Reddit - PySnooper: Never use print for debugging again ※追記 想像以上にたくさんの方に読んでいただき、printデバッグなど他のデバッグ方法との比較について追記として文末に補足しました。釣りタイトルですみませんでした…🙇 何ができるライブラリか 一言で言うと「デバッグがめちゃくちゃ簡単にできるライブラリ」です。 github.com 例を見たほうがわかりやすいと思うので見てみましょう。 インストールは pip で行えます。 pip install pysnooper
matplotlib入門 - りんごがでている
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
機械学習のライブラリ dlib - Qiita
機械学習のC++ Pythonのライブラリの１つdlibに気づいた。 PythonにはScikit-learnという強力なライブラリがあるが、 選択肢の１つとして考えておこう。 機械学習のライブラリ dlibのアルゴリズムの選択ガイド 機械学習のライブラリ dlibのアルゴリズムの選択ガイドが 図にしてありました。 こちらはscikit-learnのガイド ![Choosing the right estimator] (http://scikit-learn.org/stable/_static/ml_map.png) dlibの記事 SlideShare 20160417dlibによる顔器官検出 YouTube [dlib vs OpenCV face detection] (https://www.youtube.com/watch?v=LsK0hzcEyHI) YouTube Fa
再帰型ニューラルネットワーク: RNN入門 - Qiita
再帰型ニューラルネットワーク(RNN)は自然言語処理の分野で高い成果をあげ、現在最も注目されているアルゴリズムの一つです。しかしながら、その人気が先走りして実際にRNNがどのように動くのか、構築するのかを解説する書籍は限られているように思います。この投稿はその部分にフォーカスを当てて友人のDenny（WildMLブログの著者）と一緒に書きました。 さてRNNベースの言語モデルを解説したいと思います。言語モデルの用途は2つあります。1つ目は文章が実際にどのくらいの確率で現れるのかのスコアリングをすること。このスコアは文法的に、セマンティクス的に正しいかどうかの判断基準となります。このようなモデルは例えば機械翻訳などに使われています。次に2つ目ですが、言語モデルは新たなテキストを生成することができる点 (ちなみに個人的にこちらの方がよりCoolな用途だと思っています)。また、英語ですがAndr
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
PythonによるDeep Learningの実装（Dropout + ReLU 編） - Yusuke Sugomori's Blog
久しぶりのブログ更新となります。 今回は、Dropout + ReLU のコード（python）を紹介します。 最近の Deep Learning 界隈は、もっぱらDropoutと新しい活性化関数の組み合わせが多いみたいですね。 しばらく触れないでいる内に、以前は最前線だった Deep Belief Nets や Stacked Denoising Autoencoders がすっかり下火になってしまったようで…。 Dropout + ReLU や Dropout + Maxout などが流行っているみたいですが、これは結局、いかに疎な（sparseな）ニューラルネットワークを構築できるかが学習の鍵になっている、ということなのでしょう。シンプルが一番というべきなのでしょうか…。 ともあれ、Dropoutは実装が難しくないのは嬉しい限りです。 ReLU (Rectified Linear U
A Neural Network in 11 lines of Python (Part 1) - i am trask
A bare bones neural network implementation to describe the inner workings of backpropagation. Posted by iamtrask on July 12, 2015 Summary: I learn best with toy code that I can play with. This tutorial teaches backpropagation via a very simple toy example, a short python implementation. Edit: Some folks have asked about a followup article, and I'm planning to write one. I'll tweet it out when it's
Scrapy 1.0が公開されました - orangain flavor
Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでItemの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの代わりにPythonのloggingを使うようになった CrawlerのコアAPIがリファクタリングされた いくつかのモジュール配置場所が変更された 他にも数多くの変更点がリリースノートに記載されています。 Scrapy 1.0の感想 大きな機能の追加よりも、APIの整理と安定性の向上がメインのようです。これまではバージョンを重ねるごとに便利になっていくものの、あまりAPIが安定していない印象でしたが、APIを安定させた区切りのリリースと言えるでしょう。1.0というメジャーバージョンに到
Polymer Project
The Polymer library is in maintenance mode. For new development, we recommend Lit. The Polymer library provides a set of features for creating custom elements. These features are designed to make it easier and faster to make custom elements that work like standard DOM elements. Similar to standard DOM elements, Polymer elements can be: Instantiated using a constructor or document.createElement. Co
Protocol Buffers 使ってみた - Twisted Mind
protobuf - Google Code Google が発表した素敵な素敵な Protocol Buffers 。 個人的にはかなり良い印象、以下チュートリアル終了までの流れ。 インストール編 $ cd ~/src $ curl -O http://protobuf.googlecode.com/files/protobuf-2.0.0beta.tar.bz2 $ tar xvfj protobuf-2.0.0beta.tar.bz2 $ cd protobuf-2.0.0beta $ ./configure --prefix=/opt/google $ make $ sudo make install $ cd python $ export PATH=/opt/google/bin:$PATH $ sudo /opt/local/bin/python setup.py insta
Pythonアンケート - 西尾泰和のはてなダイアリー
元ネタ：[Python-ml-jp 4322] Pythonistに聞く10個の質問 http://www.python.jp/pipermail/python-ml-jp/2008-April/004319.html ライブドアアンケートって簡単にアンケート作れて面白いなぁ。このグラフのUIもいい！というわけで作ってみました Pythonのコーディングスタイル：インデントはどうしていますか？ http://lislog.livedoor.com/r/7034 Pythonのコーディングスタイル(空白編)：「if(x+y)*2==4:」に空白を入れるならどこ？ http://lislog.livedoor.com/r/7035 Pythonのコーディングスタイル(空白編2)：qsort([1,2,3],cmp,reversed=True)に空白を入れるならどれ？ http://lislog
emacsのpython環境 - niitsuma blog
.emacs https://gist.github.com/niitsuma/85b8472bed9890eb89fa 以下は古い情報を念のために残しておく emacs python mode 導入方法 http://tnt.math.metro-u.ac.jp/~tetsushi/nzmath/emacs-python-mode.html refcard http://python.about.com/b/2007/09/24/emacs-tips-for-python-programmers.htm python.el vs python-mode.el python.elの方がいいらしい http://mail.python.org/pipermail/python-3000/2007-October/010778.html さらにそれぞれの設定方法 http://gunnarwr
Python の嫌いなところ - kなんとかの日記
ちょっと古いけど。 デブサミ会場で、雑談していると「PythonはDISらないんですか」と柴田さんから。なんか自虐的じゃない？ とは言うものの、Pythonは基本的に良い言語で、 不満な点はかなり微妙だ。一般人にはどーでもいいような点だと思う。 一応リストを。 式と文の区別が明確。 インデントベースだとeRubyのようなテンプレートが難しい ブロックを含む式を持てない。Haskellみたいにブレースを使えば式にできるといいのに reduceがなくなる generator難しい。yieldを書くと戻り値が変化するってのはどうよ list comprehensionが難しい。英語人には人気みたいだけど Matz日記：PythonをDisる。 「Python は基本的によい言語」には同意。Rubyist でも、使ってもないのに Python を DIS る人がいるのは残念。インデントベースが嫌い
時間城年代記:メタクラスで遊ぶ（１）
今の世の中、オブジェクト指向プログラミングは当たり前だ。 しかし、じゃ「メタクラスは？」と聞かれて即答できる人は、ある程度の勉強家だろう。 なぜか……昨今の「オブジェクト指向プログラミング言語」の主流格であるC++にもJavaにも、メタクラスは存在しないからだ。 無論、Smalltalkerなら「当然」なので、鼻で笑われるだろう。 なんせ、クラスを作るには、メタクラスのインスタンスを作らなければならないからだ。 つまり、メタクラスとは、クラスオブジェクトのクラス、すなわち「クラスのクラス」だ。 正式には、あるオブジェクトがあると、そのクラスのクラスがメタクラス、ということになる。 クラス自身がオブジェクトである言語でなければ、メタクラスが存在するわけない、という意味はご了解できただろうか。 Perl風Smalltalkを標榜するRubyには、メタクラスは当然ある。 では、我らがPython
時間城年代記:メタクラスで遊ぶ（２）
実は前回は、メタクラス（カスタムメタクラス）で一番力を発揮する__new__メソッドの話と、__call__メソッドの話をわざと省いた。 いや、えらそうなコトを言っておきながら、自分でも少し混乱していたので、こっそりと色々試していたのだ。 で、確認終了したので、ここにまとめる。 (2007.3.2修正しました) ■__new__メソッドについて メタクラスの話に入る前に、確認を兼ねて__new__組み込みメソッドについて。 Pythonでクラスを定義する場合は、__init__メソッドで初期化するのが普通だが、生成過程を制御したい場合には、__new__組み込みメソッドを使用する。 __new__は、__init__と全く同様に引数を設定し、クラスオブジェクトの関数呼び出しの形で使用される。 ただし、二点ほど注意することがある。 一点は「戻り値を設定しない」__init__とは異なり、__
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kyoto University Research Information Repository: プログラミング演習 Python 2019
Pythonによる機械学習入門 ～Deep Learningに挑戦～
tse - Pythonによるテキスト整形ユーティリティ
