UNF プロジェクト日本語トップページ - OSDN
Unicode正規化ライブラリ(NFC,NFD,NFKC,NFKD)。 対応言語: C++(unf)、Ruby(unf-ruby)、Common Lisp(cl-unf) ※ C++及びRuby版はUTF-8を、Common Lisp版はUTF-32を扱う ※ 2011/11追記# Ruby版のUNFであればknuさんによる https://github.com/knu/ruby-unf_ext の使用をお勧めします ※ 現在は https://github.com/sile/unf に移行済みです ダウンロード 最新リリース cl-unf 0.0.2 (日付: 2012-01-05) unf 0.0.4 (日付: 2011-11-19) unf 0.0.3 (日付: 2011-11-03) cl-unf 0.0.1 (日付: 2010-09-22) unf 0.0.2 (日付: 2010
Unicode正規化
正しい並び替えでは、表示は(A)のままですが、間違った並び替えでは、正規結合クラスが互いに等しいMACRONとACUTEを並び替えたため、表示は(B)のように、eの上のアクセント記号の位置が入れ替わってしまいます。 正規分解・互換分解 ある文字列の正規分解 (Canonical Decomposition) を得るには、まず、それぞれの文字を正規マッピングによって再帰的に、可能な限り、分解します。すなわち、1回分解した後に現れた文字がなおも分解可能であればさらに分解します。分解マッピングがその文字自身である場合は、分解不可能なので、そのままです。 しかし、分解しただけでは必ずしも正しい結果が得られません。つまり、結合文字の順序の一意性を保証するため、分解後の文字列に対して正規順序アルゴリズムを適用しなければなりません。このように、正規マッピングによる再帰的分解と、正規順序アルゴリズムによ
漢字1文字が最大8バイト、Unicodeの「IVS」とは？
「漢字1文字は2バイト」という常識が、大きく変わろうとしている。現在改正中の「常用漢字表」に対応するためには、Unicodeの4バイト文字を使用する必要があるが、それだけでは済まない恐れがある。今後、戸籍や住民基本台帳で使われている文字がUnicodeに追加されると、漢字1文字が最大8バイトになるかもしれない。文字コードに詳しい京都大学人文科学研究所附属東アジア人文情報学研究センターの安岡孝一准教授が、問題の核心を解説する。（日経コンピュータ） 先日公開した『新常用漢字表が迫るUnicode移行、「シフトJIS」では対応不可能』の読者から、「今後のシステムでは漢字1文字を最大4バイトで処理すればいいのか」という質問を頂いた。実は、UTF-8あるいはUTF-16で漢字を表す場合、最新のUnicodeにおけるIVS（Ideographic Variation Sequence）を考慮すると、漢
XML Cleansing
If you accept data from various sources, and want to produce XML that can be consumed, one thing you need to be careful about is character set issues. On the input side, people often lie or make mistakes. Many don’t specify an encoding, and while XML’s default is utf-8, it is common to find iso-8859-1 or even win-1252 data. On the output side, if you want to produce something that can be consumed
Unicode の文字列をエスケープする JavaScript - bkブログ
Unicode の文字列をエスケープする JavaScript Unicode の文字列を \uXXXX (UTF-16) と \xXX (UTF-8)、&#DDDD (数値文字参照)、Base64, Quoted-printable、 URL などの形式でエスケープする JavaScript です。
UTF-8-MAC - MacWiki
UTF-8-MAC とは[編集] UTF-8-MAC とは、Mac OS X に付属する iconv にて利用できる文字エンコードの一つで、 Normalization Form D (NFD) で符号化した UTF-8 のことを指します。 一般に UTF-8 とだけいった場合には、Normalization Form C (NFC) でエンコードされたものを意味します。 Unicode 標準では、NFC は正規結合(Canonical Composition)、 NFD は正規分解(Canonical Decomposition)として規定されています。 たとえば、「が」の字を NFC で表現すると U+304C (HIRAGANA LETTER GA) ですが、 NFD では U+304B U+3099 (HIRAGANA LETTER KA + COMBINING KATAKANA-
アップロードされたファイル名の Unicode 正規化 - OZACC.blog
先日まで知らなかったのだが、Unicode では濁点や半濁点の付いた文字、例えば「が」を表すのに二種類の方法があるそうだ。NFC とか NFD とか詳しくはこの辺りを読んでもらうとして、一般的には NFC が使われているのだがMacOS X のファイルシステムでは NFD で正規化された Unicode が使われている。 で、時々この違いが問題になる。例えば Web でアップロードされたファイルのファイル名を扱う場合。Struts なんか使っちゃって、FormFile#getFileName() で取得するファイル名は Mac からアップロードされた場合に文字化けしてしまう可能性がある。 そんなときに使うのが、Java 6 から導入された java.text.Normalizer。詳しくは以下のページを参照。Java SE 6 じゃじゃ馬ならし Unicode の正規化 要約すると、 St
Matzにっき(2007-03-12)「あいうえお」はインド由来
<< 2007/03/ 1 1. [Ruby] Rubyist Magazine - Rubyist Magazine 0018 号 2. ストレートタイプのスマートフォン「NOKIA E61」レポート 3. ITmedia エンタープライズ：TopCoderで世界と渡り合う日本IBMの異才 - 夷藤勇人 4. My Sleepless Nights in the Big Apple: Apple、サブノート市場へ再参入へ 5. ITmedia Biz.ID：失敗しないプロジェクトマネジメント -- Appleやはてな、Googleに学ぶ3つのヒント 6. 平成19年度「情報大航海プロジェクト（モデルサービスの開発と実証）」に係る委託先の公募について 7. [言語] PyCon 2007 Review 8. [Ruby] deep_science:Re:バザール「オープンソース、そして「R
Unicode::Japanese - Convert encoding of japanese text - search.cpan.org
NAME Unicode::Japanese - Convert encoding of japanese text SYNOPSIS use Unicode::Japanese; use Unicode::Japanese qw(unijp); # convert utf8 -> sjis print Unicode::Japanese->new($str)->sjis; print unijp($str)->sjis; # same as above. # convert sjis -> utf8 print Unicode::Japanese->new($str,'sjis')->get; # convert sjis (imode_EMOJI) -> utf8 print Unicode::Japanese->new($str,'sjis-imode')->get; # conve
シフトJIS / EUC-JPとUnicodeとの妥当な変換表: Netsphere Laboratories
2004.10.17 新規作成。2004.12.19 加筆。2005.04.02加筆。 最近、コンピュータで扱う文字列の文字コードがUnicodeでなければならない場面が増えてきた。UnicodeとシフトJIS、EUC-JPを変換する機会が多い。この変換は変換表で行うが、変換表が実際的なものでなければ、文字化けが発生することになる。 おかしな変換表は、これまでは、特にLinuxなどの上で動作するオープンソースソフトウェアで多く見られた。おそらく規格原理主義者が多かったためだろう。そもそも、規格どおりに変換表を作ると、実用的な変換表にはならない。しかし、最近ではまともな変換表を実装しているものも増えてきて、うまく選ぶだけでいいようになってきている。 変換表の違いをまとめたページはよく見かけるが、実際にどのような条件を満たして変換するものを選べばいいか不明なので、まとめてみた。 変換表に求めら
Encode - 規格のバグまでは直せません : 404 Blog Not Found
2006年05月10日11:00 カテゴリLightweight LanguagesLogos Encode - 規格のバグまでは直せません それが規格だからです。 b:note: Encodeのナゾ 最近会う機会が無いので、トラックバックします。 $moji = "～"; Encode::from_to($moji, "euc-jp", "utf8"); print $moji; で出てきた文字をWindowsのメモ帳とか秀丸でみると、～の波形が反対になった文字になってしまいます。 ここでいう「～」はU+FF5E、Fullwidth Tildeのことです。 その答えは、「Unicode Consortiumが用意したJISX0212とUnicodeの変換表がそうだったから」ということになります。Encodeのせいではないのです。詳しくは、 Japanese <-> Unicode Map
UTF-8 vs. ISO-10646 : 404 Blog Not Found
2006年03月11日13:07 カテゴリLightweight Languages一日一行野郎 UTF-8 vs. ISO-10646 これだとLiberalなUTF-8ですね。 [を] UTF-8 の文字にマッチする正規表現 UTF-8の文字にマッチする正規表現の素直版。 新旧、というのか、LiberalなUTF-8とStrictなUTF-8の違いは、RFC2044とRFC2279を見ればはっきりします。要はU+11000より上を認めるかどうかということです。今のところUnicode.orgの定義では、U+0000 - U+10FFFF しか認めていないので、そちらの定義に従うと、むしろこの正規表現はさらに短く $RE_UTF8CHAR_STRICT = qr/(?:[\x00-\x7f]|[\xC0-\xDF][\x80-\xBF]|[\xE0-\xEF][\x80-\xBF]{2}
[を] UTF-8 の文字にマッチする正規表現
UTF-8 の文字にマッチする正規表現 2006-03-09-1 [Programming] UTF-8の文字にマッチする正規表現の素直版。 レガシーなのに対応するとき用にメモ。 [\x00-\x7f]|[\xC0-\xDF][\x80-\xBF]|[\xE0-\xEF][\x80-\xBF]{2}|[\xF0-\xF7] [\x80-\xBF]{3}|[\xF8-\xFB][\x80-\xBF]{4}|[\xFC-\xFD][\x80-\xBF]{5} 1 2 3 4 5 60xxxxxxx 110xxxxx10xxxxxx 1110xxxx10xxxxxx10xxxxxx 11110xxx10xxxxxx10xxxxxx10xxxxxx 111110xx10xxxxxx10xxxxxx10xxxxxx10xxxxxx 1111110x10xxxxxx10xxxxxx10xxxxx
UCD Documentation File Replaced
The UCD Documentation File You Requested Has Been Replaced The documentation file you are looking for has been replaced by another document in the latest release of Unicode. The table below lists the files in http://www.unicode.org/Public/UCD/latest/ which have been replaced, including the versions of the Unicode Standard in which they are present, and a link to the replacement file thereafter. Th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
page moved
naoya.dyndns.org is offline
Perl 5.8.x Unicode 関連
http://www.opengroup.or.jp/jvc/cde/ucs-conv.html
Unicode標準入門
http://oss.timedia.co.jp/index.fcgi/kahua-web/show/MySQL%C6%FC%CB%DC%B8%EC%A4%CE%CE%B9/%A5%E6%A5%CB%A5%B3%A1%BC%A5%C9%A5%C7%A1%BC%A5%BF%A5%D9%A1%BC%A5%B9%A1%A6%A5%C6%A5%AD%A5%B9%A5%C8%A5%D5%A5%A1%A5%A4%A5%EB