絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
A composite approach to language/encoding detection
A composite approach to language/encoding detection Shanjian Li (shanjian@netscape.com) Katsuhiko Momoi (momoi@netscape.com) Netscape Communications Corp. [Note: This paper was originally presented at the 19th International Unicode Conference (San Jose). Since then the implementation has gone through a period of real world usage and we made many improvements along the way. A major change is tha
絵文字が開いてしまった「パンドラの箱」第1回--日本の携帯電話キャリアが選んだ道
Unicodeが携帯電話の絵文字を収録へ 絵文字ってなに？そう聞かれても多くの人は、ああ、それはと答えられるはず。そう言えばちょっと前に『メールのハートマークにだまされるな！ 8割の女性は「恋人以外にも使う」』（RBB NAVI）なんていうニュースもありました。携帯電話の個人普及率が9割を上回る（平成20年内閣府消費動向調査）この国において、絵文字はごくありふれたものになっている現実があります。 2008年の11月27日、Googleが携帯電話で使われる絵文字を国際的な文字コード規格、Unicodeに収録しようというプロジェクト進行中であることを発表しました。では、このニュースは何を意味するのでしょう。そして私たちに何をもたらすのでしょう。今回から3回に分けて考えてみようと思います。 まず歴史を振り返ってみましょう。じつは絵文字を使ったのは携帯電話が最初というわけでありません。先行するもの
絵文字のユニコード符号化: 符号化提案用のオープンソースデータ
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
“情報化時代”に追いつけるか？ 審議が進む「新常用漢字表（仮）」： 第3部 印刷文字から符号化文字へ第10回 ふたたび常用漢字表の改定を考える
● 「情報化時代に対応する漢字政策」の至上課題 前節は『議員氏名の正確な表記』に掲載された議員のWebページを調べた結果、これらの議員の氏名表記では「そのものの形」に強くこだわるもの、そして漢字と仮名の違いさえも包摂しようとするものの2種類に分かれることが分かった。その上で、このうちの漢字と仮名を包摂する表記は、実はインターネット上の「名前」を対象としたRFC標準で規定されているUnicode正規化と、「より一般的な文字に置き換える」という意味で、全く同じ振る舞いであることを指摘した。そして、より一般的な文字を名前に使うという考え方は、インターネットや国会議員のような特殊な世界にとどまらず、戸籍法でも「子の名には、常用平易な文字を用いなければならない」と規定しているのと同じであることを述べた。 今度の常用漢字表の改定ではJIS文字コードと整合性を保つため、いわゆる康煕字典体を一部追加せざる
グーグル、絵文字を世界共通化へ--オープンソースプロジェクト開始
グーグルは日本の携帯電話の絵文字を、世界に広める存在になりたいようだ。 11月27日にGoogle Japan Blogに投稿されたエントリによると、グーグルは日本の携帯電話の絵文字の全てを、ユニコードの文字として共通符号化する考えだという。 絵文字はもともと日本の携帯電話会社が固有のものを使っており、異なる通信会社同士で絵文字を送り合うことはできなかった。現在では各キャリアが協力して、お互い似たような絵文字がある場合には、変換して表示している。 グーグルはこれを拡大し、絵文字をユニコードとして標準化することで、どの通信事業者間で送った絵文字も同じように表示される世界を実現したいという。さらに、「検索エンジンで絵文字を探せば、結果が返ってくる」（グーグル ユニコードソフトウェアエンジニアのMarkus Scherer氏)ようにもしたいとのことだ。 このグーグルの野望を実現するためには、現在
絵文字の符号化は何が難しいのか？ - Cafe Babe
安岡先生から，さっそく「以前『ケータイの絵文字と文字コード』(情報管理, 2007年5月)を書いたときに、ざっと対応表を作りかけて、結局、挫折した覚えがあるんですけど…。だって、動く絵文字があるんですもの。」という素晴らしい的確な突っ込みが入った．実は，絵文字の符号化にはいくつかの難しい問題がある．それをざっと列挙してみよう． 各キャリアの絵文字はほぼ独立に開発されているので，必ずしも一対一対応していないし，冗長性があるし，round trip conversionが定義できない場合もある．同一キャリアに対してround trip conversionを定義するのは容易だが，キャリア間の変換を定義するのは難しい． 絵文字はUnicodeでは私用領域（Private Use Area）に割り当てられている． 絵文字はアニメーションするものがある（爆） 絵文字には色の区別がある．しかし，今まで
JRubyからJavaへのアクセス方法：CodeZine
はじめに 本稿は、JRubyに固有の特徴を説明し、JRubyをJavaのクラスを利用するための簡易な言語として使えるようにします。JRuby一般の解説については『JRubyチュートリアル』などを参照してください。本稿はJRuby 1.0.2について書かれましたが、JRuby 1.0.3にも適用できます。対象読者 読者は、RubyとJavaの基礎知識があると仮定します。文字エンコーディング JRubyは、文字をUTF-8扱いするか、それとも1バイトずつの列として扱うか、二通りの指定が-Kオプションや$KCODEで可能です（少なくともJRuby内部で指定を受理する部分はそのように作られています）。しかし、今のところ、その指定はほとんど意味をもっていません。 正規表現やinspectメソッドは、指定にかかわらず、文字列をつねに1バイトずつの列として扱います。getsやputsなどでも文字列をバイ
character-sets
Last Updated 2022-07-14 Available Formats XML HTML Plain text Registry included below Character Sets Registration Procedure(s) Expert Review Expert(s) Martin Dürst Reference [RFC2978] Note These are the official names for character sets that may be used in the Internet and may be referred to in Internet documentation. These names are expressed in ANSI_X3.4-1968 which is commonly called US-ASCII or
アップロードされたファイル名の Unicode 正規化 - OZACC.blog
先日まで知らなかったのだが、Unicode では濁点や半濁点の付いた文字、例えば「が」を表すのに二種類の方法があるそうだ。NFC とか NFD とか詳しくはこの辺りを読んでもらうとして、一般的には NFC が使われているのだがMacOS X のファイルシステムでは NFD で正規化された Unicode が使われている。 で、時々この違いが問題になる。例えば Web でアップロードされたファイルのファイル名を扱う場合。Struts なんか使っちゃって、FormFile#getFileName() で取得するファイル名は Mac からアップロードされた場合に文字化けしてしまう可能性がある。 そんなときに使うのが、Java 6 から導入された java.text.Normalizer。詳しくは以下のページを参照。Java SE 6 じゃじゃ馬ならし Unicode の正規化 要約すると、 St
シフトJISを捨てられるか? - 記者のつぶやき：ITpro
これまで，Windows Vistaの文字の扱いに関する事柄を何度か取り上げてきた。同じキャラクタ・コードで，Windows XPのときと文字の形が変わったり，Unicodeでしか扱えない文字があったりするという話題だ。今回は，エンコーディングについて考えてみたい。 これまでの記事でも書いてきたが，文字処理とエンコーディングに関する問題は，何もWindows Vistaに始まったわけではない。Windows XPやWindows 2000など，既存のWindowsでも同様だ。例えば，「鴎」の旧字である「シナカモメ」は，Unicodeでしか扱えない文字だが，Windows XP以前のMS-IMEでも入力できる。石鹸の「鹸」の旧字もそうである。これらの文字を扱うには，アプリケーション・ソフトが，文字列をUnicodeで処理しなればならない。シフトJISに変換した瞬間に，文字情報が無くなってしま
Vistaで化ける字，化けない字
11月30日に企業向けには出荷が始まったWindows Vista。そのVistaで，“文字化け”が起こるらしい。文字化けといっても，Webアクセス中にたまに見かける全く読めない文字の羅列になることはほとんどなく，その多くは似た文字が表示される程度である。ここでは，本来表示されるべき文字の形が少し違ったものが表示されるケースも“文字化け”として扱う。 Microsoftは，Windows 98日本語版の発売以来，Windows 2000，Windows Me，Windows XPまでCP932（本名はWindows Codepage 932，いわゆるMS漢字コード）とJIS X 0212をサポートしてきたが，最新のWindows VistaではJIS X 0213に乗り換えた。いや，乗り換えたというのは，ちょっと語弊がある。CP932とJIS X 0212に加えて，JIS X 0213もサ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
