絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
Jōyō kanji variants: The curious case of 叱 and [censored] | The Nanbanjin Nikki
I’m working on a reliable, machine-readable edition of the Jōyō kanji data, and this came up. Can you spot the difference between 𠮟 and 叱? Me neither. Let’s look at the reference image: …Welp. The left one is a left-to-right stroke stopping at the end, in the model of 七 “seven”; the right one is right-to-left, sweeping at the end, as in 匕 “spoon / sitting person”. But, still. These government peo
Twitter時代の文字の数え方 | 配電盤
入力「×」のブラウザでは、「𠮷」が2文字とみなされるため、2文字目まで、つまり「𠮷野」までしか入力できません。 Mozillaの文書には、Unicode code pointsで数えると書いてあるので、そのうち改善されるのかもしれませんが、現時点ではTwitterのために「maxlength="140"」を使うことはできません。 pattern属性 Firefox 21とChrome 27、IE 10、Opera 12.15は、「pattern=".{0,3}"」（任意の文字からなる0から3文字）のような正規表現を使った検証にも対応していますが、やはり「𠮷野家」は4文字とみなされてしまいます。 JavaScript 追記：javascript – でBMP以外のUnicode文字をきちんと扱う（404 Blog Not Found） JavaScriptでは、文字列strの長さをst
UnicodeNormalizerをリリースしました。 - やればできる子の日記
JavaScriptによる、Unicode規格のNormalizeを行うライブラリをリリースしました。 (はじめてCodeReposを使わせていただいてます) コードはこちら↓ http://coderepos.org/share/browser/lang/javascript/UnicodeNormalizer ドキュメントとデモはこちら↓ http://svn.coderepos.org/share/lang/javascript/UnicodeNormalizer/index.html テストはこちら(実行に10分くらいかかります)↓ http://svn.coderepos.org/share/lang/javascript/UnicodeNormalizer/test.html 使い道ですが、日本語圏だと主にユーザの文字入力を正規化するのに使うんじゃないかと思います。多くのサービ
auとSoftBankのShift_JISからUnicodeへの変換規則 - スコトプリゴニエフスク通信
共にEncode::JP::Mobileのdat/*-table.yamlのデータで検証。 SoftBankのShift_JISからUnicode規則が分かったのでスッキリした。これでShift_JIS(cp932)⇔Unicode⇔UTF-8を機械的に変換できる。 def softbank_sjis_to_unicode(sjis): high = sjis >> 8 low = sjis & 0xff if high == 0xf7: if low else: base = 0xe200 elif high == 0xf9: if low else: base = 0xe300 elif high == 0xfb: if low else: base = 0xe500 else: raise ValueError("not softbank emoji") if low elif lo
ものかの：Photoshop CS2 同じフォルダに同一名称のファイルがある事態になると、保存操作時に断りもなく勝手にファイルを削除してしまう
InDesignは2019（v14）からメジャーバージョンアップ時にBoost.Regexも更新するようにしたようで、正規表現のUnicodeバージョンも更新されるようになりました。 CC 2018（v13）まで Unicode 5.1 CC 2019（v14） Unicode 9.0 2020（v15） Unicode 12.0 2021（v16） Unicode 13.0 2022（v17） Unicode 13.0 2023（v18） Unicode 14.0 2024（v19） Unicode 15.0, 15.1 正規表現のUnicodeバージョンの調べ方 Unicodeのバージョンにとくに影響するのは、\dや\sといった略記法です。InDesignの「\d」はUnicodeカテゴリーの「Nd」に相当するので、各UnicodeバージョンのNd文字をinddに並べて、\dでマッチす
Unicode正規化
正しい並び替えでは、表示は(A)のままですが、間違った並び替えでは、正規結合クラスが互いに等しいMACRONとACUTEを並び替えたため、表示は(B)のように、eの上のアクセント記号の位置が入れ替わってしまいます。 正規分解・互換分解 ある文字列の正規分解 (Canonical Decomposition) を得るには、まず、それぞれの文字を正規マッピングによって再帰的に、可能な限り、分解します。すなわち、1回分解した後に現れた文字がなおも分解可能であればさらに分解します。分解マッピングがその文字自身である場合は、分解不可能なので、そのままです。 しかし、分解しただけでは必ずしも正しい結果が得られません。つまり、結合文字の順序の一意性を保証するため、分解後の文字列に対して正規順序アルゴリズムを適用しなければなりません。このように、正規マッピングによる再帰的分解と、正規順序アルゴリズムによ
UTF-8-MAC - MacWiki
UTF-8-MAC とは[編集] UTF-8-MAC とは、Mac OS X に付属する iconv にて利用できる文字エンコードの一つで、 Normalization Form D (NFD) で符号化した UTF-8 のことを指します。 一般に UTF-8 とだけいった場合には、Normalization Form C (NFC) でエンコードされたものを意味します。 Unicode 標準では、NFC は正規結合(Canonical Composition)、 NFD は正規分解(Canonical Decomposition)として規定されています。 たとえば、「が」の字を NFC で表現すると U+304C (HIRAGANA LETTER GA) ですが、 NFD では U+304B U+3099 (HIRAGANA LETTER KA + COMBINING KATAKANA-
perl - Encode 中級 : 404 Blog Not Found
2008年05月08日04:00 カテゴリLightweight Languages perl - Encode 中級 以前書いた 404 Blog Not Found:perl - Encode 入門 は大好評でしたが、 ウェブで利用される文字コード、UnicodeがASCIIを上回る--グーグルが明らかに:マーケティング - CNET Japan UnicodeがASCIIを追い越し、World Wide Web上で最も多く利用されている文字コード体系になったとGoogleのシニアインターナショナルソフトウェアアーキテクトMark Davis氏がブログで述べている。 という時代に完全対応するには、入門以上の知識がちょっと必要になります。 例えば、本blogをホストしてくれているlivedoor blogの文字コードはEUC-JP。「時代はUnicode」だと言っても、こうした事情もまだ
[R3]miniturbo.org - 携帯電話での文字コード対応表 まとめ#extended
このリストを見る限り、最近の機種は殆どが対応しているようです。SO506iCがEUC-JPに対応しているのは意外でした。 各社の仕様書を見比べると、Shift JISは全社とも対応していて、DoCoMoのXHTML対応機種に限りUTF-8にも対応していることが記載されていました。また、SoftBankの携帯電話はメール及びウェブの文字コードを手動選択できるようです。各社の仕様書を以下にリンクいたしましたので、ご覧ください。 iモード対応HTMLの概要 iモード対応XHTMLの概要 EZWeb サーバ設定・文字コード指定 SoftBank Developers Support Site なお、検証への誘導をしていただいた真琴さんと、多くの機種を検証していただいたreaさん、サンプルを怪しみながらも協力してくれた僕の友人、それからわざわざコメントorトラックバックしていただいた皆々様方に深く感
Windowsの機種依存文字
Windowsでは、JIS基本漢字（JIS X 0208）コードの保留領域である09区〜15区および85区〜94区の一部、ならびに、JIS漢字の範囲外である95区〜114区の一部に、機種依存文字を配置しています。これらの文字は、このままインターネットで使用してはいけませんが、ユニコードに含まれていれば、文字参照を用いて記述できます。 NEC機種依存文字 PC-9800シリーズなど、NECのパソコンが日本で主流だったころに独自に定義されていた文字が13区に割り当てられています。 Windows以外のコンピュータをお使いの方は、画像ファイルでご覧ください。 区点 JIS SJIS +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +A +B +C +D +E +F 13区 2D20 873F
M+ と IPAフォントの合成フォント
ホーム フォント紹介 M+フォントは高品質デザインでぜひ日常的に使いたいのですが、漢字がたりない‥‥そこでIPAゴシックから漢字を補完しました。どなたでも無料でお使いになれます。 2020-04-15Clampフォントを修正しました。詳細は変更履歴をご参照ください。 2020-03-07MigMix／Miguフォントをバージョンアップしました。変更点「M+ TESTFLIGHT 063a に同期」「Clampフォントを追加」など‥。詳細は変更履歴をご参照ください。 2015-07-12MigMix／Miguフォントをバージョンアップしました。変更点「M+ TESTFLIGHT 060に同期」など‥。詳細は変更履歴をご参照ください。 Webサイトをスマートフォン対応しました。画像をSVGにしたのでページを拡大表示すると（PCの場合Webブラウザの横幅を変えると）一部画像を大きく見ることが可能
中国語の文字コード - mizuno_takaakiの日記
百度で仕事をしていると、中国側のスタッフとも頻繁にメールのやりとりが発生します。すると、中国語のメールを受け取ることも多いです（日本語・中国語両方わかるスタッフが、僕にCCして中国語でメールを出す場合など）。ThunderBirdは別に中国語だって表示できるし問題ないのですが、中国語（簡体字）の文字コード（GB2312）の場合は、ちょっと見慣れないフォントになります。Windowsだと「MingLiU」というフォントです。そこまではいいのですが、中国にも日本語ができるスタッフが何人もいて、彼らとメールでやりとりをしていると、そのフォントで、なおかつ日本語で書かれたメールが来るときがあります。時には、中国語と日本語が両方書かれていることもある。UTF-8なのか？と思ったけど、その場合はフォントが変わるし、文字コードを調べてもGB2312になっているのに、日本語が表示されていて、なんでだろう、
iza：イザ！
エラー内容 以下のいずれかの理由により、該当するコンテンツを表示することができませんでした。 コンテンツの公開が終了した。コンテンツが削除された。 指定したURLが間違っている。その他、やむをえない事情があった。 ご不便をお掛けして申し訳ございません。 何卒よろしくお願いいたします。 イザ！ イザ！トップへ戻る
UAX #15: Unicode Normalization Forms
Summary This annex describes normalization forms for Unicode text. When implementations keep strings in a normalized form, they can be assured that equivalent strings have a unique binary representation. This annex also provides examples, additional specifications regarding normalization of Unicode text, and information about conformance testing for Unicode normalization forms. Status This documen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エディタ
GitHub - moriyoshi/mbstring-ng: mbstring extension using ICU instead of libmbfl
The Gamera Homepage
鐃緒申鐃緒申鐃瞬居申とは - はてなキーワード
use Encode::JP::Mobile; » SlideShare
