[B! Python] EulerDijkstraのブックマーク

HOME > 電算 > Python と文字コード

HOME > 電算 > Python と文字コード Python と文字コード Python で行き当たりばったりに日本語処理をしてきたが、これではいかんと思っていくらかまとめてみた。（当然、このメモには間違いや誤解があろうと思う）「python は『abc』を使うのが基本で『あいう』を使うのが例外だ」と考えると、「あいう」に対してできないことが多すぎて難しく見える。しかし、「『あいう』に対して使えるようなやり方なら『abc』にも問題なく使えて、ただ、『abc』には特権的に無作法な書き方が許されているのだ」と考えれば、ずっと簡単に理解できるように思う。まとめユニコードは「文字コード」(バイト表現と文字の対応関係)ではない utf-8 は「文字コード」である Python の unicode 型は「文字コード」にとらわれない型で、CPU やメモリ上で用いられる Python の str

EulerDijkstra 2013/03/30

Pythonの文字列について、Unicode型とSｔｒ型について、プリミティブな文字列Str型はdecodeして、Unicode型に変更する。

Python

リンク

Beautiful SoupでHTMLやXMLをparseしよう - そこはかとなく書くよ。

Beautiful SoupはHTMLやXMLをparseしてくれるパーサーライブラリです。でも、Beautiful Soupは単なるパーサーじゃなくてちょっと賢い奴なんです。今回、このBeautiful Soupのドキュメントを翻訳しました。 http://www.tdoc.info/beautifulsoup/ 下に軽く紹介していますが、詳しくはこのドキュメントをご覧ください。 Beautiful Soupをざっくり紹介 Beautiful Soupがどういうやつかって？例えばこんなHTMLがあったとしましょう。 <HTML> <body> 改行<br> したいよね <br/> <! --あれ、空白が入ってるちょっと変なコメント--> <p> bodyが閉じてないよ？ </html> 結構変なHTMLですよね。でも、巷にはこういうのも結構あるんです。で、これをtest1.htmlだと

EulerDijkstra 2013/03/30

”Beautiful SoupはHTMLやXMLをparseしてくれるパーサーライブラリです。でも、Beautiful Soupは単なるパーサーじゃなくてちょっと賢い奴なんです。”

Python
IT

リンク

Scrapyのおぼえがき - ぬるぽ日記

Python ScrapyはPythonの軽量スクレイピングライブラリです。Scrapy | An open source web scraping framework for Python PythonのスクレイピングライブラリというとBeautifulSoupが一般的なようですが、ちょっと調べてみた感じだと、XPathが分かるならScrapyのほうが簡単っぽいです。 [Tutor] Scrapy vs. Beautiful Soup If you altready know XPath then scrapy would definitely be worth a try, if not I'd stick with BS. スクレイピングの対象とするサイト今回はYahoo!カテゴリを実験に使わせて頂きました。図書館事件みたいなことにはならないよう控えめに…。Yahoo!カテゴリ