ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~
NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになると思います。 このように文字列の正規化形式が異なる場合、単純な比較演算子での評価は困難であり、文字列によっては想定外の挙動を引き起こす可能性があります。 特にMacファイルシステムではNFDを正規化方式と採用しているため、NFC/NFD問題が度々引き起こされています。先日(2023年03月27日)リリースされた「macOS 13.3 Ventura (22E252)」では、ファイル名に濁音や半濁音が含まれるファイルがFinderから開けなくなる
７.２ ASCII の NUL と DEL の本来の意味 - 文字コードに関する覚え書きと実験
文字コードについて調べたことや実験したこと， テストプログラム，データファイルなどを随時掲載する予定です． ただし筆者の理解不足や誤解により誤りがあるかもしれませんので， ご利用は自己責任で． このページの主な更新は Blog でお知らせします． 表示確認ブラウザ：FireFox 22.0，IE8． ０．目次 シフトJIS Shift_JIS と Windows-31J (CP932) の違い シフトJIS ２バイト文字の判定 謎の検索ワード集 (シフトJIS編) 「Shift_JIS(SJIS，Windows-31J，CP932) ３バイト文字」 「Shift_JIS(SJIS，Windows-31J，CP932) サロゲート(ペア)」 「UTF-8 4バイト文字 Shift_JIS(SJIS，Windows-31J，CP932) 変換」 「Unicode(UTF-8，UTF-16) か
Go言語のstring, runeの正体とは？ - golang - The Round
Ikedaです。 Goのstringとruneについて曖昧な知識のまま使ってきたが、そろそろちゃんと理解しようと思って下記事を読みました。 Strings, bytes, runes and characters in Go - The Go Blog ざっくりと抜粋。 stringは実質read-onlyなbyteスライス。中身はUTF-8とは限らない GoのソースコードはUTF-8で書くルール ソースがちゃんとUTF-8で書かれていればリテラルで初期化されたstringはUTF-8になるはず len(string)はbyte数返す string[n]はインデックスnのbyte(int8) const sample = "日本語" for i := 0; i < len(sample); i++ { fmt.Printf("%x ", sample[i]) } ↓結果 e6 97 a5
pythonの正規表現で日本語を扱う – taichino.com
先日、正規表現が使えるようになってきたと書いたものの、今まで日本語に対して正規表現を使うのは、どうせ上手く動かないだろうという様な先入観で使っていなかったのですが、調べてみるとただの食わず嫌いだった事が解りました。 利用シーンは色々考えられると思うのですが、例えば日本語文書中の単位付き数詞(１００g、20個等)から数値と単位を両方抜き出すという処理を考えます。折角なので数値・単位共に半角全角文字がどちらも使われていて、正規表現が使いにくそうな状況を想定します。結論から言うとunicode文字列を使えばこのような状況でも上手く正規表現を使う事が出来ます。 使い方は簡単でパターンと検索対象の文字列をunicodeで用意し、searchやmatch等を呼ぶ際にunicodeフラグを指定すればOKです。unicodeフラグは省略形のre.Uも用意されています。先ほど想定した問題に対する正規表現を書
Python bite: 文字集合非対応文字の変換 | Inside ASCADE
Python 自体に咬まれたわけではないですが、 Python での実装中の話なので Python bite の括りで書きます。 入出力の文字集合体系（所謂「文字コード」） が一致している場合は問題無いのですが、 これらが一致していない場合、 出力文字コードが対応していない文字が入力に含まれていると咬まれます。 例えば Unicode の入力をベースに Shift_JIS の出力を生成するような場合、 '\uFF5E'（所謂「全角チルダ」）のような文字が使用されていると、 変換に失敗します。 % python > import codecs > import sys > sys.stdout = codecs.getwriter('shift_jis')(sys.stdout) > print u'\uff5e' Traceback (most recent call last): Fil
Unicodeの「横棒」文字 - 今川館
[日本語の横棒記号に絶望した] http://taichino.com/programming/1384 [従来の文字コードとUnicodeの対応に関する諸問題] http://euc.jp/i18n/ucsnote.ja.html ↑Unicodeでは横棒文字がたくさん定義されている。 しかし、人が画面に入力する横棒なんて、見た目が同じならどれを使っていてもどうでもいいので、分けられるとプログラムが面倒になるという話。 一応、上記リンクから半角文字以外を抜き出したのが以下の変数。 KANA_DASH_PATTERN = ( ur'\u2010' ur'\u2011' ur'\u2012' ur'\u2013' ur'\u2014' ur'\u2015' ur'\u207b' ur'\u208b' ur'\u2212' ur'\u30fc' ur'\uff0d' ur'\uff70' ur
perl - use CGI; use Encode; # 非英語Webプログラミング3原則 : 404 Blog Not Found
2009年06月23日15:30 カテゴリLightweight Languages perl - use CGI; use Encode; # 非英語Webプログラミング3原則 これは、実はPerlに限らず未だに事実だったりするのですが.... Perl でフォームデータから UTF-8 日本語文字をとりだす方法 (プログラミングの小石・大石) UTF-8 のフォームによっておくられたデータのなかから日本語文字をとりだすことは，日本の Perl CGI プログラマならたいてい必要になることである． ところが，その方法は意外に確立されていないようにみえる． しかし、元発言の方法は先祖帰りすぎるので。 Perlプログラマー以外にも、Webプログラマーであれば有用なentryです。 PerlでWebプログラミングする場合の三原則 QueryはCGIモジュールで処理する 文字コードはEncode
#06 文字コードのバッドノウハウ［最終回］ | gihyo.jp
ソフトウェアなどを使いこなすために、ストレスを感じながらもしぶしぶ覚えなければならないようなノウハウ、「バッドノウハウ」がテーマの本連載、最終回の今回は文字コードのBKを取り上げたいと思います。 文字コードとバッドノウハウ 文字コードは、Web開発を行う上で避けては通れない分野です。文字化けを起こさずに、コンテンツをブラウザに正しく表示させることはWeb開発の基本といえます。 しかしながら、文字コードには歴史的な紆余曲折がいろいろあり、膨大なバッドノウハウが人類の英知として蓄積されています。今回は、その膨大なるBKの一部を紹介したいと思います。 機種依存文字は滅びず 文字コードのBKといえば、機種依存文字の存在を忘れてはなりません。インターネットの世界では、古くから「①などの丸付き数字は機種依存文字だから使うな」といわれています。これらの文字はその昔「NEC特殊文字」と呼ばれ、Macとの
Kanconvit - 簡体字と日本語漢字の相互変換ツール
Kanconvit（カンコンビット）とは、 中国語の簡体字と日本語の漢字を相互に変換するツールです。 日本人が、中国語のページを日本語の漢字で見ると意味が分かりやすくなります。 翻訳をするまでもない、こともあるかもしれません。 また、中国人が日本語のページを見るときも同様かも。 そんな感じで、もしかしたらちょこっとお役に立つかもしれないツールです。 目次 文字変換ライブラリ「Kanconvit.pm」（Perlモジュール） テキスト変換ページ「Kanconvit CGI」 変換API「Kanconvit API」 変換ラッパーCGI「Kanconvit Wrapper」 参考文献 Kanconvit.pm 中国語の簡体字と日本語の漢字を相互に変換する Perl モジュールです。 SYNOPSYS: use Kanconvit; my $ck = Kanconvit->new(); $jt
簡体字と日本語漢字の相互変換ツール Kanconvit を公開
簡体字と日本語漢字の相互変換ツール Kanconvit を公開 2009-06-14-1 [Release][Programming][Bookmarklet] Hack部（ハック部）の合宿で、中国語の簡体字と日本語漢字の相互変換ツール Kanconvit を作りました。 オフィシャルな読みは「カンコンビット」ということでよろしくです。 まあ別になんでもいいんですが。 - Kanconvit - 簡体字と日本語漢字の相互変換ツール http://kanconvit.ta2o.net/ 簡体字と日本語漢字の違い分かりますか？ 下図では、右が簡体字で左が日本語漢字（Kanconvitで変換したもの）です。 左だと漢字だけ見るだけでも中国語の意味がなんとなくわかりそうでしょ？ Kanconvit ダイジェスト - 文字変換ライブラリ「Kanconvit.pm」（Perlモジュール） http:/
javascript - にKanconvitを移植してみた : 404 Blog Not Found
2009年06月15日16:30 カテゴリLightweight Languages javascript - にKanconvitを移植してみた コードが以外にコンパクトだったので、JavaScriptにも簡単に移植できそうだなと思ったら、あっという魔に出来上がったので。 [を] 簡体字と日本語漢字の相互変換ツール Kanconvit を公開 Hack部（ハック部）の合宿で、中国語の簡体字と日本語漢字の相互変換ツール Kanconvit を作りました。 /lang/javascript/kanconvit/trunk ? CodeRepos::Share ? Trac Demo: 漢字 中華料理協議会 简体字 中华料理协议会 DHTML Source Bookmarklets Kanconvitしたいページを開いた状態で使って下さい。 漢字から簡体字 简体字から汉字 工夫のしどころ 変換
絵文字が開いてしまった「パンドラの箱」第1回--日本の携帯電話キャリアが選んだ道
Unicodeが携帯電話の絵文字を収録へ 絵文字ってなに？そう聞かれても多くの人は、ああ、それはと答えられるはず。そう言えばちょっと前に『メールのハートマークにだまされるな！ 8割の女性は「恋人以外にも使う」』（RBB NAVI）なんていうニュースもありました。携帯電話の個人普及率が9割を上回る（平成20年内閣府消費動向調査）この国において、絵文字はごくありふれたものになっている現実があります。 2008年の11月27日、Googleが携帯電話で使われる絵文字を国際的な文字コード規格、Unicodeに収録しようというプロジェクト進行中であることを発表しました。では、このニュースは何を意味するのでしょう。そして私たちに何をもたらすのでしょう。今回から3回に分けて考えてみようと思います。 まず歴史を振り返ってみましょう。じつは絵文字を使ったのは携帯電話が最初というわけでありません。先行するもの
PythonEncode - MoriMoin
こんなエラーがおきたとき >>> print hoge Traceback (most recent call last): File "<stdin>", line 1, in ? UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-7: ordinal not in range(128) デフォルトで設定されてる文字コードを変えると解決します。 で、その設定のしかたですが、 1. 環境変数LANG に端末が扱うエンコードを設定する。(たぶん LANG=ja_JP.utf-8 か、 ja_JP.eucJP のどちらかでいけるとおもいます) 2. 1は端末に出力(ただprintする時)するときだけに対応するので、 hoge = file(’hoge’, ’w’) print >>hoge, u
Escape Codec Library: ecl.js
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to change text encoding of Localizable.strings file in Xcode 4?
Unicode Terminology: English - Japanese
http://www.cocoadev.com/index.pl?UniCode
GitHub - google/emoji4unicode: Automatically exported from code.google.com/p/emoji4unicode