【Windows】黒魔術で Python が CP932 関係で UnicodeDecodeError を出さないように強制する
Windows 上の Python (Python3) で open() 関数を使ったときに出る UnicodeDecodeError (ex: UnicodeDecodeError: 'cp932' codec can't decode byte 0x** in position **: illegal multibyte sequence) といえば、Python が標準でファイルの文字エンコーディングをかの悪名高い Shift-JIS (CP932) として読み込んでしまうことが原因であることはそれなりに知られているかと思います。 このエラー、自分で書いたコードなら全ての open() 関数の引数に encoding='utf-8' を追加してあげれば回避できますが、使おうとしたライブラリからそのエラーが出る場合はこちら側から制御できないので絶望するしかありません。 この記事 いわく
rubyで㈱などの機種依存文字をUTF-8に変換する
“㈱"や"㈲"などの文字をCSVなどからShift_JISで取り込み、rubyでUTF-8に変換するときにUndefinedConversionでハマった。 "㈱".encode('UTF-8', 'Shift_JIS') > "\x87\x8A" from Shift_JIS to UTF-8 > /User/sanojimaru/workspace/example/lib/string.rb:849:in `encode': "\x87\x8A" from Shift_JIS to UTF-8 (Encoding::UndefinedConversionError) Shift_JISは一部の機種依存文字に対応していないので、CP932(Windows-31J)を使えば良い。 "㈱".encode('UTF-8', 'CP932')
テキストファイルの標準エンコーディングは？ - やねうらおブログ(移転しました)
テキストファイルのエンコーディングとして何を基本とすべきかというのは悩ましい。 日本語のみならutf-16で幸せになれるのかと思ったら、JIS2004で追加された907字のうち304文字がサロゲートペアであって、2バイトで表現できない。 どうせ16bitで表現しきれないのなら、utf-32は保存領域がもったいない感があるので仕方ないのでutf-8を選択する。 utf-8だと相手に解釈してもらうためには、BOMをつけるほうが好ましい。 そこで、秀丸で標準保存形式としてutf-8(BOMつき)を設定しておく。 秀丸の拡張子関連づけで、".txt"を秀丸と関連づけておく。 よし、これでテキストファイルを新規作成して、秀丸で開くと…。 utf-8(BOMなし)と解釈される。一体どうなっているのか。 Windowsではエクスプローラーからファイルを新規作成するときにテンプレートを設定しておくことが出
竹形誠司 ブログ:Java+MySQL+Tomcat:Windows-31Jを理解しないIE
JSP帳票アプリケーション 実践開発入門 JSP業務アプリケーション 短期開発入門 Java+MySQL+Tomcatで始めるWebアプリケーション構築入門 Java+MySQL+Tomcatで作る 掲示板とブログ ↑のタイトルを見て反射的にWindows 3.1（Windows95の前のバージョン）を思い浮かべた方は結構なキャリアの持ち主であると拝察される:-) 今の世の中でWindows-31Jといえば、IANAというインターネットの標準化団体が定めた文字コードの名前だ。この文字コードはShift_JISに①（←丸付き数字）や㈱（←カッコ付きの株）など、かつて機種依存文字と呼ばれたもの（標準化されたのでもはや機種依存ではない）が追加されている。国際標準化に敏感なJavaなどの言語では、文字コードがShift_JISと指定された場合は丸付き数字などを受け付けない（文字化けする）ので、“W
サロゲートペア入門：CodeZine
はじめに Windows VistaのJIS2004対応により、WindowsのUnicode環境で使用できる日本語漢字の数が増えました。従来、12238字（Windows XP）だったのが13145字（Windows Vista）になり、907字追加されることになりました。これによって、JIS第3水準、JIS第4水準の漢字がすべてサポートされることになったのです（Windows XPまでは一部サポート）。 またWindows XPでも、パッチさえ当てれば、Windows Vistaと同じように追加907字を加えた13145字の漢字が使用できるようになりました。 ところが、この追加された907字の中には「サロゲートペア」という特殊な文字が304字あり、これらは今までのUnicodeの文字とは扱いが少し違います。この点について解説していきたいと思います。 対象読者 Unicode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mpyw-yattemita/excel-csv-compatibility-check: ExcelとCSVの互換性を確認しました
全角チルダ問題
utf8なテキストをコマンドプロンプトで表示する - もぎゃろぐ