Python 3.13 から「兆」が 10 の 6 乗になっている - ﾏｸﾞﾏｸﾞ (起動音)
この記事は 2024 TSG Advent Calendar 3日目の記事です。昨日の記事は @__dAi00 さんの記事 AivisSpeechを使ったDiscordボットの作成 ①AivisSpeechをGoogle Cloud Runにデプロイする でした。12/5 公開予定の続編も楽しみです。 今回は、初日に公開した以下の記事の副産物です。 import unicodedata # Python 3.12 まで 1000000000000.0 # Python 3.13 から 1000000.0 print(unicodedata.numeric("兆")) 大変だ。Python 3.13 から「5000 兆円」が 50 億円になってしまう（？） unicodedata.numeric メソッドと Unicode 例によって Unicode が関係してきます。前編でも触れたとおり、
Python3 でファイルの文字コードを変換する - Qiita
Python3 でファイルの文字コードを変換する方法を２つ紹介します。 今回は文字コードが「shift-jis」の CSV ファイルがあり、それを「utf-8」に変換するコードを書いてみます。 動作環境 Mac OS X 10.11.5 Python 3.5.1 codecs を使って文字コードを変換する codecs を使って文字コードを指定してファイルの読み書きができます。 # -*- coding:utf-8 -*- import codecs def main(): # Shift_JIS ファイルのパス shiftjis_csv_path = './download/shift_jis_data.csv' # UTF-8 ファイルのパス utf8_csv_path = './download/utf8_data.csv' # 文字コードを utf-8 に変換して保存 fin =
python2.6でdictionaryをjson化した際、日本語が\uXXXXにエスケープされないようにする CodingFirst
C言語、Perl、JavaScript、最近はPythonも。出来上がったものより、プログラムを書くことが好き。あと、スイーツ。 Python2.6でdictionaryをjson文字列化したときに 日本語が\uXXXXとUTF-16な文字列にエスケープさせないようにするのに苦労した。 (忙しい人は、最後の要するに～の部分をご参考に) Pythonでdictionaryをファイルに読み書きするとき、 テキストファイルで一番簡単なのはJSON文字列化する手だろう。 テキストにすると、エディタで編集できるし、diffもとりやすいし、gitやsvn管理した際に履歴も追いやすい。 だけど、JSON文字列化がむずかしい。 日本語が\\uXXXXとUTF-16な文字としてエスケープされてしまう。 これだと日本語部分をエディタで編集できなくなってしまうので、 いろいろ試してみた。 まず、dictiona
Python, convert 4-byte char to avoid MySQL error "Incorrect string value:"
I need to convert (in Python) a 4-byte char into some other character. This is to insert it into my utf-8 mysql database without getting an error such as: "Incorrect string value: '\xF0\x9F\x94\x8E' for column 'line' at row 1" Warning raised by inserting 4-byte unicode to mysql shows to do it this way: >>> import re >>> highpoints = re.compile(u'[\U00010000-\U0010ffff]') >>> example = u'Some examp
python3で日本語を含むURL(日本語URL)にurllibでアクセスする際、htmlで勝手にencodeされてエラーするので回避策をメモ - Qiita
内容 文字列の中の日本語に対して、処理をして置換する方法 "http://ほげふが/qiita.com" -> 「ほげふが」を処理した結果で置き換える urllibのurlonenで日本語含むURLを使いたい時のちゃんとした(?)対応 追記：ご指摘頂いた方法が今回の対応として正しいと思われたため最後に追記しました。 背景 urllibを使ってスクレイピングして「エヴァンゲリオン」画像を集めようとしたらはまった はまったのは、「UnicodeEncodeError」。python苦手。。。 つまづいた内容 Traceback (most recent call last): ・・・ response = urllib.request.urlopen(link) File "/Users/mix/.pyenv/versions/3.5.0/lib/python3.5/urllib/reques
5分で理解するPython文字コード - Y's note
概要 Pythonの文字コード指定による日本語文字化けの問題は誰もがハマるところ。 この記事では文字化けの解決方法を簡単にまとめたものになります。 実行環境はMacです。UnixやLinuxでもPath以外の箇所は同じように動作すると思います。 間違いの指摘などあればよろしくお願いします。 注意すべきこと 簡単にいうと以下の4点になりそうです。 1. ファイルの文字コード指定 2. ファイル内部の行頭での文字コード指定 3. Pythonの内部コードはUnicode(オブジェクト)として扱っている。 4. printなどの出力関数では端末の設定に合わせた文字コードが利用されている ※1,2の文字コード指定は一致させます。 1.ファイルの文字コード指定 サンプルとしてUTF-8で指定する例を挙げます。ファイル名はencode.pyです。 nkf --guess encode.py UTF-8
PythonのUnicodeEncodeErrorを知る - HDEラボ
Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。 特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。 そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。 なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ
Python2で文字列を処理する際の心掛け - Qiita
日本語を扱うPythonプログラマ(with Python2)にとっての最大の天敵(過言)、UnicodeEncodeError。 昨日横の人がその餌食となり、その解決の手助けをしているうちに自分の中でPython2での文字列処理の方向が少し整理できた。(近いうちにPython3バージョンもまとめたい) 個人的結論 バイト文字列/ユニコード文字列のどちらを扱っているかを常に意識しておく。 (基本的に)プログラム内ではユニコード文字列を扱い、標準入出力とやり取りする際(ex. print)にはバイト文字列に変換する。 バイト文字列とユニコード文字列 バイト文字列は特定のエンコード方式(ex. utf-8)でエンコードされており、リテラルでは'あいう'のように表現する。一方、ユニコード文字列はUnicodeのコードポイントを並べたものであり、リテラルではu'あいう'のようにuをつける。 (py
japaneseCharset - Pythonのお勉強
Pythonで日本語を使う 主にPython 2.xについての話題です。 ソースの書き方編 ソースコードの1行目か2行目でソースコード自体の文字コードを指定する。 # coding: utf-8 # coding: cp932 # coding: euc-jp emacsenなどとの互換性を考慮して以下のようにしてもよい。 # -*- coding: cp932 -*- なお cp932 は Windows の機種依存文字を含む Shift_JIS のことである。それから以上のコメントは純粋にソースコードの文字コードを指定するだけであって、他の部分（入出力など）には一切の影響を及ぼさない。 複数の環境で動かすスクリプトの文字列は、次のように u を使って書く。 s = u"日本語" 文字コードの変換を行う場合は errors 引数を指定し、変換できない文字が見つかった場合の処理を明示する。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python 2.7: Save unicode string to file not using '\uXXXX' but using UTF-8.
Cannot compile 8 digit unicode regex ranges in Python 2.7 re
Python2のstr/unicodeとencode/decode - Qiita
Pythonにおける日本語処理