はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この文について これから説明することの主旨は、単に Python のドキュメント 16.6. logging — Python 用ロギング機能 の初めの方にさらっと全部書いてあります。 ただ、なぜかあまり浸透していないようなので、説明する順番と表現のしかたを変えて、自分なりに例示をしてみようとおもいます。 Python の実行環境が手元にある状態で、試しながら読むとよいかもしれません。 1. どこから呼んでも同じ logging.getLogger で取得できる logger は、名前が同一ならば Python プロセス内を通して常に同一となります。 例を示すと getLogger('x') を 2 回呼んで別々の変数に代入したとしても、比較してみると同じオブジェクトであることがわかります。 import logging logger1 = logging.getLogger('x') l

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

経緯 最近、私はデータウェアハウスの構築や選定について色々と調査している。 時間を経て成長してきた組織では、年月を経て様々なデータベースが存在することが普通である。 それらのデータベースには特性や得手不得手や所在の差異 (OLAP, OLTP, KVS, ドキュメントストア, クラウド, オンプレミス...) があり、それぞれの差異には合理的な意味がある。 一方で、データ分析者にとっては、それら各データベースに存在するデータをあたかも 1 つのデータベースとみなして分析できるほうが都合が良い。 異なるデータベースを 1 つのデータベースとして扱う方法 Embulk を活用して、データウェアハウスとなる DB にデータを定期的にインポートする。 Presto を活用して、複数のデータベースに分散クエリを走らせ Presto Server 上で結合処理する PostgreSQL の FDW を

備忘録: docker run で `--restart=always` を付け忘れたコンテナに後から `--restart=always` をつけるにはDocker Usage: docker update [OPTIONS] CONTAINER [CONTAINER...] Update configuration of one or more containers Options: --blkio-weight value Block IO (relative weight), between 10 and 1000 --cpu-period int Limit CPU CFS (Completely Fair Scheduler) period --cpu-quota int Limit CPU CFS (Completely Fair Scheduler) quota -c, -

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

他にも、左右のテキストの順序を変えることができる文字 RLM など、 色々と複雑な制御文字がある。 このような特性を利用してファイル名やパス名などを偽装する攻撃 が存在する。 Unicode の透明な文字を知っておくことは、セキュリティにおいても重要だと思う。 このような攻撃に使われそうな（使えそうな）、透明な文字一覧を探してみた。 The Unicode Consortium の配布する資料、 Wikipedia 、自分が Python で書いた簡易的な探し方などを用いて探した。 まず結果 U+9 U+A U+B U+C U+D U+20 SPACE U+85 U+A0 NO-BREAK SPACE U+2000 EN QUAD U+2001 EM QUAD U+2002 EN SPACE U+2003 EM SPACE U+2004 THREE-PER-EM SPACE U+2005

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Webkit の Bugzilla で強烈なバグが報告されていると、同僚に教えて頂いた。 あまり話題になっていないものの、単純ゆえに強烈なバグだと思ったので Qiita にも公開しておく。 https://bugs.webkit.org/show_bug.cgi?id=151354 にそのバグ報告が上がっている。 最初に Google+ でやりとり があった模様。 URL のクエリ文字列から値を取り出す関数が正常に動作していないことから発覚したようだ。 その後は、簡単なテストケースに落とし込まれ jsfiddle というサイトにテストケースが公開されている。 Safari でこのページを開くと、実際に JavaScript を実行して確認できるようになっている。 続報 (2015.12.14) この記事を上げてすぐに Bugzilla の方で進展があった。 Yusuke SUZUKI さん

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

nginx の reuseport オプションとは nginx 1.9.1 からの新機能で、 SO_REUSEPORT というソケットのオプションを有効化するもの。 https://www.nginx.com/blog/socket-sharding-nginx-release-1-9-1/ SO_REUSEPORT とは Linux Kernel 3.9 以降の機能で、 1 つのポートを複数のプロセスで bind できるようにするもの。 SO_REUSEPORT (since Linux 3.9) Permits multiple AF_INET or AF_INET6 sockets to be bound to an identical socket address. This option must be set on each socket (including the firs

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

2016-03-27 追記: Docker 社も xhyve を採用し始める Windows版とMac版のDockerアプリが限定ベータで登場 この記事によれば、 Docker for Mac ベータ版として、 xhyve を Docker Host に使ったものが公開されているようだ。 このベータ版が正式なものとなるのが非常に楽しみだ。 (新たなコードベースで書かれたものなのか、 Docker 社が新たに開発したドライバーなのか、私はまだ検証していない。近々検証する予定。) 2016-03-19 追記: Homebrew 経由でインストールするのであれば、この記事を書いた時よりも、インストールするのが楽になっている。 docker-machine-driver-xhyve というパッケージが登録されていて、 とくにこの記事で書いているような変更をしなくとも、正常に扱えている。 (少なくと

経緯 Dockerfile を何度も編集して apt-get install していると、 パッケージのダウンロードに大きく時間を喰ってると体感することが多かった。 特に既存のイメージを継承しない新しいイメージを作るときは、 git のような基本的なパッケージまで再取得する。 ミラーかキャッシュか かといって apt-mirror を使ったフルミラーを建てるのもなかなか手軽ではないと感じたので、 apt-cacher-ng でキャッシュ用のプロキシサーバを建てることにした。 apt-cacher-ng では取得したパッケージのみをキャッシュするので、 apt-mirror のように導入初期に大量にパッケージを取得する必要はない。 自分の使用範囲では apt-cacher-ng の方が合っているので apt-cacher-ng を選択した。 きっと適切な使い分けがあるのだろうと思う。 Doc

HTML の表をスクレイピングするのは結構だるい作業です。 私は以前は、単純な HTML であれば、うまく特徴を見つけて awk や sed を作ったり、 Perl の正規表現で取り出したり、 Google Chrome のコンソールから XPath を使って取り出すような苦労をやっていました。 ところで pandas というとデータ解析用のツールとして主流ではあるのですが、 意外にも HTML からのデータ入力も可能になっていて、これが表のスクレイピングにはかなり楽だということがわかりました。 なので紹介してみます。 サンプルに使うページ 以下で示すサンプルに国税庁の所得税の税率のページを使うことにしました。 https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2260.htm （2019.9.28 移転したようなので、URLを

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

直すのが大変そうな時も pyformat や isort など補助してくれそうなツールがある。 2015-08-11 追記 (既に修正済み): PEP 257 周りの説明で事実の誤認があった。 hacking だけでは PEP 257 のチェックはしないようだ。 flake8-pep257 をインストールすることでチェックできる。 エディタの補助 可能な限りはやく気がつくため、エディタのプラグイン等で自動チェックできるなら、した方がいい。 以下は代表的なエディタでの flake8 でチェックするプラグイン。 これらの機能を取り込んだ IDE 化するプラグインもあるので、好きな方を使おう。 Vim ... vim-flake8 Emacs ... flymakes-python-pyflakes Sublime Text ... Python Flake8 Lint Atom ... lin