RequestsとBeautiful Soupでのスクレイピング時に文字化けを減らす - orangain flavor
多様なWebサイトからスクレイピングする際、Webサイトによっては文字化けが発生することがあります。 RequestsとBeautiful Soupを組み合わせる場合に、なるべく文字化けを減らす方法を解説します。 Beautiful Soupはパーサーを選択できますが、ここではhtml.parserに絞って解説します*1。 結論 以下の2点を守ると概ね幸せです。 Content-Typeヘッダーのエンコーディングを参照するコードは下の方に掲載しています。 1. Chardetをインストールしておく。 $ pip install chardet 2. RequestsのResponseオブジェクトをrとしたとき、BeautifulSoupのコンストラクターには（r.textではなく）r.contentを渡す。 import requests from bs4 import Beautiful
KitchenAidスタンドミキサーで自家製ソーセージを作ってみた
KitchinAidのスタンドミキサーが我が家にやってきたので、さっそく家製の燻製ソーセージを作ってみました。 KitchienAidのスタンドミキサーとは Williams SonomaやBed Bath & Beyondなどのキッチン用具のお店や売り場に、必ず並んでいるのがKitchenAidのスタンドミキサーです。 一見大きくて重いミキサーなのですが、写真のようなパン作りはもちろん、 豊富なアタッチメントが売られていて、 野菜のみじん切り パスタ アイスクリーム ジューサー ソーセージ…etc パワフルなミキサーの動力を利用したアタッチメントで、 様々な料理を作ることが出来る、そんなキッチン向けマルチツールです。 クラシカルなデザインが非常に可愛く、沢山の色が展開されていて、 お店に並んでると「ああ、素敵だなぁ」とうっとりするマシンです。 “3年くらい悩んでいるけど、なかなか買わずに
【翻訳】整然データ｜Colorless Green Ideas
効果的なデータ分析に関して、「整然データ」という概念を提唱した論文 “Tidy Data” の全訳。整然データは、Rなどでデータ分析を容易にする有用な概念である。 ここに公開するのは、以下の論文の全訳である。 Wickham, H. (2014). Tidy data. Journal of Statistical Software, 59 (10). doi:10.18637/jss.v059.i10 この論文は、「整然データ」(tidy data) という概念を提唱したものである。これは、Rなどでデータ分析を容易にする有用な概念になっている。 なお、この概念についての簡単な解説として、「整然データとは何か」という文章を用意したので、先をそちらを読んでもよいだろう。また、“tidy” という英語をなぜ「整然」という日本語に訳したかについては「なぜ“tidy data”を「整然データ」と訳
整然データとは何か｜Colorless Green Ideas
整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
