はてなブックマーク

AdventarのPython Advent Calendar 2015 25日目の記事です。 はじめに 本記事ではLuigiを用いたジョブパイプライン構築の簡単な実例として、Pytestのテスト再実行について記述する。 Luigiとは LuigiはPython製のジョブパイプライン構築ツールである。Luigiを用いることで、ジョブパイプライン構築に必要な以下の事柄をPythonコードで表現することができる。 タスクの実行 タスク間の依存関係 タスク実行結果の保存 HadoopやSparkのジョブ実行、データベースからの/へのデータロードなど、それなりに時間がかかるタスクを構成要素としたジョブパイプラインの構築をメインターゲットとしているようで、それらのツールと連携するためのモジュールはデフォルトでサポートされている(http://luigi.readthedocs.org/en/stab

Python その2 Advent Calendar 2015の11日目の記事です。 はじめに 本記事では、pytestを使用した際に得たTipsを逆引き形式でまとめている。 また以下のリポジトリに本記事の内容を含んだサンプルプロジェクト(Python3.5.0/pytest2.8.4で確認)を置いているため、合わせて参考にして頂ければ。 https://github.com/FGtatsuro/pytest_sample pytestの特徴 pytestはその名のとおり、Pythonで書かれたテストライブラリ。同様のライブラリとしては、unittestやnoseがある。 上記2つのツールに精通していないため、それらと比較した形での評価は下せないが、個人的には以下のような点が特徴的だと感じた。 独自のassertメソッド(ex. assertEquals)を定義せずに、Python標準のa

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

昨日の記事に引き続き、今度はPython3で文字列を扱う場合の自分なりの方針をまとめてみる。 個人的結論 ほとんどの場合は文字列を扱い、標準入出力とも文字列でやり取りする。 ただし外部プログラムからバイト列が渡される、などバイト列を扱わなければいけないこともありうる。逆に言うと、そういう場合を除いてはバイト列を扱わない。 これが良い悪いということではなく、現状自分の書くコードではバイト列を扱わなければならないケースが少ないというだけ。 バイト列と文字列 バイト列は特定のエンコード方式でエンコードされており、リテラルではb'a'のように表現する。一方、文字列はUnicodeのコードポイントを並べたものであり、リテラルでは'あいう'のように表現する。 さらっと書いたが、この時点でPython2との扱いの違いが分かる。 「Python3のバイト列」は「Python2のバイト文字列」と扱いが似てい

タイトルは適当。使っている(た)Jenkinsプラグインを/pluginManager/installedの上から順に(なのでまとまりは皆無)メモしていく。 観点が少し偏っているかも知れないが、大目に見て頂けると幸い。 Android Emulator Plugin Androidのテスト実行が必要という平凡な理由。 設定で指定したAPIレベルが実行環境になければAndroid SDKを自動的にダウンロードする機能がついており便利。 Gradleにも同じ機能を持つプラグインが存在しているため、場合に応じて使い分けるのもアリだろう。 Artifactory Plugin 自前のライブラリをprivateなmavenリポジトリに上げる際に使用していた。最近はGradleのサブモジュールとしてライブラリを扱うことが多く出番減少。 build timeout plugin ジョブにタイムアウトを設

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

$ rbenv install -v 2.1.4 ... In file included from dmydln.c:1: ./include/ruby/ruby.h:56:20: error: stdarg.h: No such file or directory In file included from ./include/ruby.h:33, from main.c:13: ./include/ruby/ruby.h:56:20: error: stdarg.h: No such file or directory In file included from ./include/ruby/ruby.h:1694, from ./include/ruby.h:33, from main.c:13: ./include/ruby/intern.h:32:22: error: vara

QEMUのユーザーモードをDockerコンテナ上で使おうとした際に発生した問題のメモ。 環境 Debian wheezy on Docker QEMUインストール時に発生するエラー バイナリで提供されているユーザーモードQEMUをインストールする。このパッケージは、インストール時にbinfmt(ネイティブとは異なるアーキテクチャ向けのバイナリをQEMU経由で実行するために必要)の設定を行ってくれる。しかしDockerコンテナ上では、その際に行われるmountコマンドの実行がエラー終了する。 (docker host)$ docker run -it <image> /bin/bash (docker container)$ apt-get install -y qemu-user-static ... mount: permission denied update-binfmts: war

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

resignFirstResponderを呼び出すことで、現在イベントを最初に受け取る状態になっている(=ファーストレスポンダになっている)のを解除することができる。 UITextFieldであれば、ファーストレスポンダ=キーボードが表示されている状態、と考えてよいのだろうか。(まだ正確な理解には至らず) 一方、キーボード以外の場所をタップした場合の挙動は、TapGestureRecognizerを使って実装する。 XCodeの右下のパレットからTap Gesture Recognizerを選択し、該当するビュー(キーボードを表示する際に下にあるビュー)にドラッグ&ドロップする。 その後、Tap Gesture Recognizerをメソッド(以下の図ではonSingleTap:)にバインドする。 onSingleTap:の実装は以下の通り。 UIViewのendEditing:を呼ぶと、

他者に自分の作ったアプリをビルドして試してもらいたい、というケースは公私ともに割とよくあるケースであり、そんな時にはできる限り手間がかからずに試せるようにしたいもの。 その点を考えると、Android Studioのビルド管理ツールに採用されているGradleは非常に便利だと感じる。 依存関係の解決が非常に楽かつ強力: Mavenリポジトリ+libs以下にjarを置く従来の方法に加え、以前はライブラリプロジェクトとしてimportする必要があったコンポーネント(GooglePlayServiceなど)まで解決できる。それらを設定ファイル(build.gradle)でほぼ同じように指定できる。 Gradle自体のインストールを利用者に求めない。Gradleラッパーにより、Gradleがなければ自動的にダウンロードする。 (ref. http://www.gradle.org/docs/cur

日本語を扱うPythonプログラマ(with Python2)にとっての最大の天敵(過言)、UnicodeEncodeError。 昨日横の人がその餌食となり、その解決の手助けをしているうちに自分の中でPython2での文字列処理の方向が少し整理できた。(近いうちにPython3バージョンもまとめたい) 個人的結論 バイト文字列/ユニコード文字列のどちらを扱っているかを常に意識しておく。 (基本的に)プログラム内ではユニコード文字列を扱い、標準入出力とやり取りする際(ex. print)にはバイト文字列に変換する。 バイト文字列とユニコード文字列 バイト文字列は特定のエンコード方式(ex. utf-8)でエンコードされており、リテラルでは'あいう'のように表現する。一方、ユニコード文字列はUnicodeのコードポイントを並べたものであり、リテラルではu'あいう'のようにuをつける。 (py

Ansibleでシェルの設定ファイル(以下、bashを使用する前提で記述する)に設定の追加が必要なソフトウェア(rbenvやnodebrew, VirtualenvWrapperなど)をインストールする場合、以下のように書いても上手く動作しない。 # ~/.bashrc(~/.bash_profile) にrbenvの設定を追記する - name: Set rbenv config copy: src=files/bashrc dest=~/.bashrc # ~/.bashrcに書き込んだ設定を読み込む - name: Load rbenv setting shell: source ~/.bashrc executable=/bin/bash - name: Install ruby 2.1.2 shell: rbenv install 2.1.2 && rbenv rehash &&

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

# 1. __new__でインスタンスをreturnしない場合 # ref. https://docs.python.org/2/reference/datamodel.html#object.__new__ class A(object): def __new__(cls): print('new') # return super().__new__(cls) def __init__(self): print('init') super().__init__() >>> A() new # __new__は呼ばれ、__init__は呼ばれない # 2. サブクラスで親クラスの__init__を明示的に呼び出さない場合 class B(A): pass ... >>> B() new # クラスAの__new__は呼ばれ、__init__は呼ばれない 特に2のケースは、クラスが継承して使

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

w3m.vimは,w3mでWebページにアクセスした結果をvim上で操作できる,すんばらしいプラグイン(当社比). これにより,いちいちブラウザに移ることなく,コンソールでWeb上のリファレンスを開きながら開発することができる. 最近ちょこちょこ弄っているPySideは,pydocがまともに書かれていない. そのためhelp(PySide.〜)としても殆ど情報が得られずに,どうしてもWeb上のリファレンスを見にいかねばならず,コンソール←→ブラウザの移動が地味にストレスだった. w3mによりその状況が改善され,かなりテンション上がった.(その結果として,周囲にかわいそうなものを見る目で見られたが,それは瑣末事だ.) ただ,w3mは現時点(2013/07/07 13:00時点)では縦分割したウインドウにページを開くことに対応していない.(横分割はW3mSplitコマンドで可能) ソースコード

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?