PythonでCSVファイルの文字コードを変換する方法【初心者向け】
エンコードとは エンコード(encode)とは、データを一定の規則に従い目的に応じた情報に変換することです。 日本語では、符号化を指します。対義語は復号(デコード、decode)です。 文字コードとは 文字コードとは、文字や記号をコンピューターで扱えるよう、個々に割り当てられた固有の符号です。英数字を表す文字コードにはASCIIがあり、1バイトで1文字を表します。 日本語には仮名、カタカナ、漢字などがあり、1バイトでは表現しきれません。そのため、マルチバイト(複数バイト)の文字コードを用います。Shift_JIS、EUC-JPなどの文字コードがあります。 UTF-8とは、ユニコード定義された文字集合を表現できる方式の一つです。1文字を1～6バイトの可変長で表現し、世界的に普及しています。 [PR] Pythonで挫折しない学習方法を動画で公開中 Pythonの標準エンコーディングとは Py
Pythonで書き出したCSVが文字化けする
Pythonのcsvモジュールを用いてUTF-8のエンコーディングでCSVファイルを書き出した後、Microsoft Excelでそれを読み込みたい時があります。その時、普通に書き出したファイルはShift-JISとして読み込まれてしまうようで、文字化けしてしまいます。 その場合、UTF-8でファイルをopenする際に、BOMを付加するようなencodingを指定することで、問題を回避できます。 以下のように'utf_8_sig'というencodingを指定してCSVファイルをopenすることで、BOMを付加することができます。 import csv with open('hoge.csv', 'w', encoding='utf_8_sig') as f: writer = csv.writer(f) writer.writerow(['にほんご', '日本語💛'])
Pythonのrequestsモジュールでの文字コード対策 - かんちゃんの備忘録
【Webスクレイピング Advent Calendar 2017 4日目の記事です。】 Pythonのrequestsモジュールは、 「Requestsは、人が使いやすいように設計されていて、Pythonで書かれている Apache2 Licensed ベースのHTTPライブラリです。」 と公式サイト1文目に記述されているほど、扱いやすいHTTPライブラリです。 そんなrequestsモジュールですが、日本語HTMLを対象に取得する際に文字化けを起こすことがしばしばあります。 その対策や原因について備忘録としてまとめます。 対策まとめ モジュールのバージョンなど レスポンスヘッダに文字エンコード情報がないため起こる文字化け 文字化けの原因 対策 大量のページをダウンロードするときは、cChardet BeautifulSoupと組み合わせて使う まとめ 参考にしたサイト 対策まとめ req
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
