PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
chardetで文字コードを自動変換する - ももいろテクノロジー
curlなどで取得したテキストを自動的にターミナルの文字コード（たとえばUTF-8）に変換したい場合がある。 このような場合には、Pythonのchardetモジュールが使える。 chardetは、Mozilla Firefoxで使われている文字コード判定アルゴリズムをPythonモジュールとして移植したものである。 chardetのインストール DebianやUbuntuでは最初からインストールされている。 $ sudo apt-get install python-chardet Reading package lists... Done Building dependency tree Reading state information... Done python-chardet is already the newest version. 0 upgraded, 0 newly
Pythonで日本語を含んだリストと辞書をpretty printしたい件 – taichino.com
Pythonでコード書いてると、１回は残念だなぁと思うポイントとして表題の件があると思います。具体的には以下です。 # リストも辞書も出力がお世辞にも良いとは言えない。。 >>> print ['あ', 'い', 'う'] ['\xe3\x81\x82', '\xe3\x81\x84', '\xe3\x81\x86'] >>> print {'title':'ねじまき鳥', 'author':'村上春樹'} {'author': '\xe6\x9d\x91\xe4\xb8\x8a\xe6\x98\xa5\xe6\xa8\xb9', 'title': '\xe3\x81\xad\xe3\x81\x98\xe3\x81\xbe\xe3\x81\x8d\xe9\xb3\xa5'} 日本語がバイト表現な上、全要素が１行で表示されています。これではちょっとprintデバッグするにも萎えますよね。複雑
Python 2 と Python 3 のユニコード文字列、バイト列の違いメモ - 銀月の符号
Python 3 の数値をバイト列に変換する方法は bytes([i])*1。いままでとあきらかに違うことを知ったのが発端。 >>> bytes([97]) b'a' ユニコード文字列、バイト列の違いを調査開始。 型の名称とリテラル表記 Python 2.6 は新旧両方の書き方ができるものも。 Python 2.5以前 Python 2.6 Python 3.0 and 3.1 ユニコード文字列型 unicode unicode str バイト列型 str str or bytes*2 bytes 可変バイト列型 （なし）*3 bytearray bytearray ユニコードリテラル u'a' u'a'*4 'a' バイトリテラル 'a' 'a' or b'a'*5 b'a' メソッド メソッド関連は大差ない。 Python 3 では Python 2 の string.maketran
sys.stdout のエンコードを変更する in Python3.0 - @kei10in の日記
課題 sys.stdout のエンコードを変更したい！！！ 説明 sys.stdout のエンコードの変更は，Python2.6 までは >>> sys.stdout = codecs.getwriter('utf-8')(sys.stdout) >>> print u'ほげ' ほげ ってやります． これを，Python3.0 でやると， >>> sys.stdout = codecs.getwriter('utf-8')(sys.stdout) >>> print('ほげ') Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python30\lib\codecs.py", line 356, in write self.stream.write(data) File "C:\P
PythonのUnicodeEncodeErrorを知る - HDEラボ
Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。 特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。 そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。 なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ
PythonでMacOSX上のファイル名を取得するとカナとかの濁点が分割される問題をまた考えてたら簡単な関数できた - 牌語備忘録 -pygo
『Shiroさん Gauche について語る - Higepon’s blog』の動画で、Gaucheの作者shiro氏（こんな人に師事したい）の「PerlからSchemeにほとんど書き（乗り）換えちゃった」的な発言に感化され、自分もPythonで色々やってみることにした。魔人ブウと村人A以上にレベル違うけど(||ﾟДﾟ) 過去にPythonでリネーマーでも作ろうかと思案したが、MacOSX上のファイル名を取得すると『ほげほげ』が『ほけ"ほけ"』みたいに濁点が分割される問題が面倒でサジ投げたことがある。 こことかあそことかで調べてみたけど、正規化とかユニコードとかわけわからなかった(´･ω･`)。それでも何とかなるだろうと信じてファイルネームの修正を試みることにした。（ここが参考になった『http://www.kharakawa.com/kh.log/archives/2008/03/py
2008-05-15 - 新みのる日記 - Pythonの日本語環境まわりのノウハウ
最近、pythonの記事が増えてきたことは非常にうれしい。 そこで、自戒的な意味も含めてpythonで日本語の扱い方をまとめてみる。 間違ってたりしたらご指摘お願いします。ぺこりm(__)m ※ 実験の環境はWindows XP SP2 Python 2.4.4で行ってますが、ほかのOS環境でも同じと思う。 章構成はこんな感じで。 pythonと文字コード Pythonの3つのエンコード まとめ Pythonと文字コード なにはともあれ文字コード まず、日本語ならぬ文字コード処理をするためには、 USC,Unicode,UTF-8,UTF-16,EUC,Shift-JIS,JIS X 0208, JIS X 0213 などなどの違いを正しく理解していないといかんね。 (そもそも書いてるおまえが正しく認識してるのかよという話はおいといてｗ) よく文字コードとかエンコード、character
2008-01-08 - プログラミング日記 ] エンコーディング指定
odz buffer: Pythonのエンコーディング (http://d.hatena.ne.jp/odz/20080106/1199638622) 入出力周りのエンコーディングの設定の方法が書かれていた。この例で、エンコーディングを取得する前半と入出力のエンコーディングを設定する後半に分けて考える。 import sys, locale, codecs enc = locale.getpreferredencoding() sys.stdout = codecs.getwriter(enc)(sys.stdout) sys.stdin = codecs.getreader(enc)(sys.stdin) 『Pythonチュートリアル』には以下のコードが載っていた。 import codecs, sys sys.stdout = codecs.lookup('utf-8')[-1](sy
![2008-01-08 - プログラミング日記 ] エンコーディング指定](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3f936d071e853f5cfdaade115e7f794c6edc26e/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
Python のエンコーディング - odz buffer
% cat /usr/lib/python2.5/site-packages/sitecustomize.py import sys sys.setdefaultencoding('UTF-8') % cat enc.py import sys print >>sys.stderr, 'sys.stdout.encoding: %s' % sys.stdout.encoding print >>sys.stderr, 'sys.getdefaultencoding(): %s' % sys.getdefaultencoding() print unichr(0x3042) % python enc.py sys.stdout.encoding: UTF-8 sys.getdefaultencoding(): UTF-8 あ % python enc.py | cat sys.stdout.
エンコーディング変換の高速化 - odz buffer
ref:404 Blog Not Found:perl tips - Encodeを速く使う方法 当然の話だけど、対象の文字列が長くなると、Encode::encode も、$e->encode も大差ない。 ちょっといじって試してみる。 use strict; use warnings; use Benchmark qw/cmpthese timethese/; use utf8; use Encode; use Jcode; use Unicode::Japanese; use Smart::Comments; my $str = join '', ( 'a' .. 'z', ( map { chr } ord('ぁ') .. ord('ん') ) ); $str = $str x shift if @ARGV; my $bytes = encode_utf8($str); my $u
Python の日本語 - veryberry_cafeの日記
この結果の差はなんだろう。 C:\py\python >>> import sys >>> sys.stdout.encoding #標準出力のエンコード 'cp932' >>> sys.stdin.encoding #標準入力のエンコード 'cp932' >>> sys.getfilesystemencoding()#ファイルシステムのエンコード 'mbcs' >>>cp932は、MS932とも呼ばれる。Shift_JISのこと。shift_jis(ms932)などと書かれる。じゃぁmbcsって？ 1文字が複数バイトで表現される文字の集合。また、そのような文字集合に割り当てられた文字コードの体系。日本語や中国語などの文字セット/コードのように、1文字を2バイトで表現する文字セットやコード体系を特にDBCS(Double Byte Character Set)という。 MBCSとは Pyt
PEP-0263 — j-lab
オリジナルヘッダ PEP: 0263 Title: Defining Python Source Code Encodings Version: 43264 Last-Modified: 2006-03-23 21:13:19 +0100 (Thu, 23 Mar 2006) Author: Marc-Andre Lemburg <mal at lemburg.com>, Martin v. Lowis <loewis at informatik.hu-berlin.de> Status: Final Type: Standards Track Python-Version: 2.3 Created: 06-Jun-2001 Last-Modified: 2006-05-18 Post-History: 翻訳 Title: Python ソースコードのエンコーディング定義 Version
Unicodeオブジェクトへの変換コスト - odz buffer
unicode(s, enc) より s.decode(enc) が早くて decoder(s)[0] は もっと早いという話を聞いたので試してみた。 #!/usr/bin/env python # coding: cp932 from timeit import Timer import codecs decoder = codecs.getdecoder('cp932') setup = 'from __main__ import decoder' print Timer("unicode('日本語', 'cp932')", setup).timeit() print Timer("'日本語'.decode('cp932')", setup).timeit() print Timer("decoder('日本語')[0]", setup).timeit() 結果 2.018347583
Python でUTF-8, shift_jis, euc_jpなど日本語を使う方法
[Home] [Setting up Mac OS X] [Python]: [ファイルを読む] 日本語を使う Pythonで日本語を使う Python 2.4以降では、標準で日本語を扱うことができます。 PythonのソースコードをUTF-8で書くには 日本語を扱うPythonのスクリプトの中では、UTF-8の文字コードを使うのが 楽です。 Mac OS Xのターミナルで日本語を扱う場合は、 ここの「4. Terminalの設定を変える」の 指示に従ってください。 以下、ソースコードの簡単な例を示します。 #!/usr/bin/env python # -*- coding: utf-8 -*- import re jtext = u'子猫が隠れんぼをしています' print 'jtext has', len(jtext), 'Japanese characters.' if re.se
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonと文字幅(Unicodeの正規化)
404 NOT FOUND | Kagayaku
Unicode HOWTO