[B! unicode][python] kenjiro_nのブックマーク

Pythonで半角1文字、全角2文字として文字数（幅）カウント | note.nkmk.me

Pythonで半角を1文字、全角を2文字として文字列の文字数（文字幅）をカウントしたい場合、標準モジュールunicodedataの関数east_asian_width()を使う。 6.5. unicodedata — Unicode データベース — Python 3.6.3 ドキュメントこのunicodedata.east_asian_width()を使うことでUnicode文字に割り当てられたEast Asian Widthの値が取得できる。この値を使うと、その文字が半角か全角かを判定できる。ここでは、以下の内容について説明する。 East Asian Widthとは unicodedata.east_asian_width()の使用例半角を1文字、全角2を文字としてカウントするコード例注意点なお、半角も全角も1文字として文字数をカウントしたい場合は組み込み関数len()を使

kenjiro_n 2023/10/26

いわゆる全角半角の話だが便宜上フォントタグを付加。

リンク

Pythonのchardetモジュールが、"testあ"という文字列（UTF-8）の文字コードを"Windows-1254"だと判定する

"testあ"のUTF-8表現は、74 65 73 74 e3 81 82 (1バイトデータの表記は全部16進、以下同様, python3風に書くとb'\x74\x65\x73\x74\xe3\x81\x82')で、chardetが判定するのは「文字列」ではなく、このバイト列です。ちなみにこのバイト列をUTF-8, Shift_JIS, EUC-JP, ISO-8859-1, Code Page 437, Windows-1254で解釈すると、以下のようになります。 UTF-8 testあ (まぁ、当たり前) Shift_JIS (不正) EUC-JP (不正) ISO-8859-1 testã (81 82 は制御コードにあたるので見えないが不正ではない) CP437 testπüé Win1254 testã‚ (81は未定義なので本来は不正、chardetは未定義にあたるバイトが現

kenjiro_n 2020/08/18

せめて"testあいうえお"と書いてほしかった、という回答が返ってきていました。

リンク

Python UTF-8のCSVファイル読み込み (UnicodeDecodeError対応) - Qiita

PythonでCSV(UTF-8)を読み込みするとエラーが発生したときの対応。 encodingでUTF-8を指定した。Python3 公式CODEC一覧 UTF-8は指定なしで読み込めるらしいけど、環境によるのかな。今度まじめに調べたら記事更新しよう。 shiracamusさんからコメントで教えて頂きました。デフォルトはOS標準になるとのことです。環境 Windows10 Python3.6.0 発生したエラー UnicodeDecodeError: 'cp932' codec can't decode byte 0x86 in position 35: illegal multibyte sequence

kenjiro_n 2018/08/08

リンク

Pythonで出力したCSV(UTF-8)がExcelで読み込めなくて困った話 - 唯物是真 @Scaled_Wurm

Pythonで出力したUTF-8のCSVを渡したら「文字化けしてExcelで読めない」と言われて困りました原因は文字コードがUTF-8の時によく問題になるBOM(バイトオーダーマーク)ですバイトオーダーマーク - Wikipedia UTF-8のファイルにはBOMが付いている場合と付いていない場合があります ExcelはBOMが付いていないと正しく読み込んでくれませんなので、例えばメモ帳で開いて保存し直すと、BOMが付いてExcelでも開けるようになります今回の問題とは逆にBOMがついていると動かないこともあって、以前BOMが付いたUTF-8のファイルをChromeに渡したら何故か動かなくて悩みました Google Chrome のユーザースクリプトで名前やバージョン番号が反映されない - 唯物是真 @Scaled_Wurm ちなみにPythonだと文字コードにutf-8ではなくu