文字コード考え方から理解するUnicodeとUTF-8の違い | ギークを目指して
UnicodeとUTF-8の違いを理解していない方が結構居るようなので、文字コードの考え方を元に解説してみようと思う。 文字コードとは何か？ 文字コードとは、コンピュータ上で文字を扱うために、文字に対して割り当てられた数値のことであり、文字と数値の対応付けと呼べる。 この対応付けの種類は沢山あって、Shift-JISであったり、UTF-8であったりする。 以上！と言いたいけど、文字コードはこんなに単純ではない。文字コードを複雑にする要素は沢山あるが、今回の記事ではUnicodeとUTF-8の違いに焦点を絞って解説してみたいと思う。 文字コードの構成要素 文字コードの世界は以下の2つの要素で構成されている。 この違いを意識しておかないと混乱を招くだろう。 （１）．文字集合 – 表現したい文字の範囲（”あ”、”い”・・・といった文字の集合体） （２）．符号化方式 – 文字集合を構成する個々の文
新しい絵文字250種類を含むUnicode 7.0が登場、追加される全絵文字の名称一覧はこんな感じ
世界規模で文字コードを制定している団体であるユニコードコンソーシアムが最新バージョンとなるUnicode 7.0を発表し、その中には250種の絵文字が含まれていることが明らかになりました。 The Unicode Blog: Announcing The Unicode Standard, Version 7.0 http://unicode-inc.blogspot.jp/2014/06/announcing-unicode-standard-version-70.html New Emoji http://emojipedia.org/new-emoji/ ◆Unicodeと絵文字の関係 スマートフォンなどで表示されている絵文字の多くは文字コードの業界規格であるUnicode(ユニコ－ド)に定められており、すべてに固有のコードが割り当てられています。たとえばメールなどで使う人も多いと思
Unicode 6.0を含めた絵文字変換を実現する « NAVER Engineer's Blog
こんにちは。検索サービス開発2チームの斎藤です。休日は都内の美術館や博物館を巡り歩いています。 先日は池袋の古代オリエント博物館に行き、ハムラビ法典(のレプリカ)を見てきました。楔形文字はアシの筆を粘土板に押し当てて記述するものですが、ハムラビ法典は閃緑岩の石柱に彫られたそうです。「法典は石柱に彫ってね」と役人に無茶ぶりされて、当時の職人も「用途がちがーう」とか愚痴ったのかなぁ・・・と妄想してしまいました。 さて私の普段の業務ですが、NAVER LINEプロジェクトで絵文字やスタンプ関連の開発に携わっています。ちょうど楔形文字の話もしたところですので、このエントリでも絵文字の変換処理について解説させていただきます。 ドコモ/au/ソフトバンクの携帯電話(以下、フィーチャーフォン)で長く使われてきた絵文字も、2010年にUnicodeコンソーシアムによってUnicode 6.0で正式に定
Unicode絵文字と各キャリアの絵文字の対応表 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
ケータイ同士の絵文字対応表は各キャリアが公開しているが、Unicode絵文字と各キャリアの絵文字の対応表が見当たらなかったので*1、作ってみた。 以下の図は、「LionのMailから各キャリアのケータイに絵文字*2を送るとどのように表示されるか」を表していると考えて差しつかえない*3。前回のエントリで述べたように、LionのMailからケータイに絵文字を送る場合、相手の環境で表示できないものが1文字でも含まれているとcharset=UTF-8で送信され、すべての絵文字が「・」や「?」になってしまうので、事前にぬかりなくご確認を。 *1:Emoji Symbols: Background Data（http://www.unicode.org/~scherer/emoji4unicode/snapshot/utc.html）はあるのだけれど、絵文字の画像がリンク切れだったりする。 *2:図の
絵文字フォント - EmojiSymbols Font
インターネット上での利用に特化したwebフォントです。 Webページ・Webサービスの利用であれば、個人・商用問わず無料でご利用いただけます。 フォントをご自身のWebサーバへアップロードしてご利用いただけます。 Unicode6.0で制定された携帯絵文字に対応した826の絵文字を収録しています。（2012年10月現在） Webフォントはwoff形式を用意しました。 パソコン・タブレット・モバイルなど、幅広い範囲でご利用いただけます。 絵文字はテキストとして表現されているため、簡単に内容を修正・装飾することができます。 Web以外の利用（商業印刷物・雑誌収録・電子出版・映像・ソフトウェア/ハードウェア組込）は有料オプションにて対応。 Download Font
Unicode 6.1で追加された13の顔文字 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
今年1月に出たUnicode 6.1では、13の顔文字が追加された。Mountain LionのAppleカラー絵文字は、これらをサポートしている。追加分については以前のエントリでも触れたが、今回は、既存の顔文字との関係を把握できるように、Unicodeの顔文字（Emoticons）ブロックに含まれる「人の顔」の絵文字について、例示字形とAppleカラー絵文字の実装を並べてみた。 上図左側、モノクロのものがUnicodeの例示字形。そのうち黄色地がUnicode 6.1の追加分。もともと似たものが多く含まれるUnicodeの顔文字に、似た仲間がさらに増えた。 これらすべては文字ビューアの「絵文字＞人々」から入力できるので、追加分をケータイ宛のメールに使ったりしないよう注意が必要だ。本当は（顔文字に限らず）文字ビューアで「どのキャリアのケータイで表示できるか」を確認できるのが親切だと思うのだ
絵文字バリエーション・シーケンスとは何か - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
たとえば、仕事用のメールの署名に「☎」という文字を入れていたら、iPhoneではそれが絵文字の赤電話として表示されてびっくり。というような経験をしたことがある人は、たぶん少なくないと思う。こういうことが起きるのは、「絵文字じゃない文字」と「絵文字」がUnicodeでは同じ符号位置に包摂されていて、どちらが表示されるかはフォント（の優先順位）次第だからだ。 ケータイ絵文字をUnicodeに収録する際、Appleはすべての絵文字に独立した（通常の文字とは別の）符号位置を与えたかったようだが、それはかなわなかった。そこで次善の策として、「絵文字じゃない文字」と「絵文字」をプレーン・テキストで区別するメカニズムをUnicodeに提案した。それが絵文字バリエーション・シーケンス（EVS）だ*1。EVSはUnicode 6.1に入り、Mountain Lionでサポートされた。下図は、Mountain
SoftBank iPhoneのShift_JISによる文字化け - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
前回の続き。やや細かい話になるが、SoftBank iPhoneのShift_JISによって具体的にどのような文字化けが引き起こされるかを見ていくこととする。 SoftBank iPhoneのMailは、Windows外字をcharset=Shift_JISで送信する。これを表示できるかどうかは受信側のメーラーによる*1。下図は、件名と本文に「iPhoneから①」と入力したメッセージをSoftBank iPhoneのMailから送信し、LionのMailで受信した例。MacのMailは（SoftBank iPhoneのMailとは逆に）charset=Shift_JISを比較的厳密に解釈し、「①」という「Shift_JISに含まれないはずの文字」が存在することで、そのメッセージをShift_JISとしてデコードするのをやめてしまう。その結果、英数字以外のすべての文字が化けている。このような
絵文字だョ! 符号化文字集合(後編) - mixi engineer blog
同僚の女性からクッキーをすすめられても、「サードパーティークッキーは拒否します」とキッパリお断り申し上げたiPhoneアプリ開発担当の七尾です。というか、どう考えてもホワイトデーの(ry さて先週に引き続き、iOS開発でUnicode絵文字を扱う際の注意点について書いていこうと思います。 Combining Character/結合文字 サロゲートペアの他にも同様に気をつけなければいけないのが、結合文字です。 アルファベットに対しての修飾文字を付けたり、数字を四角で囲ったりした文字があります。 そういった文字は結合文字と呼ばれ、iPhoneで入力できる文字でいうと、 1を四角で囲った文字 = 0x31 0x20E3 2を四角で囲った文字 = 0x32 0x20E3 というようになります。 結合文字の文字数を取りたい場合は、特定の修飾文字を読み飛ばせば良いだけなので、 以下のようにさらっと対
Unicode::Japanese::JA
NAME Unicode::Japanese::JA - 日本語文字コード変換 概要 use Unicode::Japanese; use Unicode::Japanese qw(unijp); # convert utf8 -> sjis print Unicode::Japanese->new($str)->sjis; print unijp($str)->sjis; # same as above. # convert sjis -> utf8 print Unicode::Japanese->new($str,'sjis')->get; # convert sjis (imode_EMOJI) -> utf8 print Unicode::Japanese->new($str,'sjis-imode')->get; # convert zenkaku (utf8) -> hank
daily dayflower - 半角←→全角変換，Unicode::Japanese に未公開機能が…
2008-10-21 追記 いまだに（ありがたいことですが）検索で飛んできたりブクマされたりというのがちょいちょいあるので，最新動向を書いておきます。 id:tokuhirom さんが Lingua::JA::Regular::Unicode という Pure Perl Module をリリースなさいました（→ http://d.hatena.ne.jp/tokuhirom/20081018/1224300947）。 あなたが作っているアプリで文字列まわりを Unicode::Japanese インスタンスですべて持ちたいわけでなければ（そして，たいていのばあい，持つ必要はないのですが），この Lingua::JA::Regular::Unicode を使うのがベターです。依存性もなく，とても軽量ですので。 2008-10-21 追記おわり ウェブアプリを作っていると，ユーザが入力した半角
Components of Unicode 6.0.0
Components of The Unicode Standard Version 6.0.0 This page lists the components of Version 6.0.0 of the Unicode Standard, as well as Version 6.0.0 with Corrigendum 8. The version numbering and the role of each component are explained in Versions of The Unicode Standard. See Unicode 6.0.0 for a summary of the contents of this version. That page also provides chapter-by-chapter links to the core spe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これからの絵文字の実装指針、UTR #51“Unicode Emoji”とはなにか 
「Unicode 9.0」が6月21日にリリース、72種類の絵文字を追加 
「絵文字に平等をサポートしてください」人種差別の指摘にゆれるUnicode 
「 【Visual系】ライブ 」 - NAVER まとめ
ユニコードに採用されなかった絵文字2 - 世界の特殊文字ウィキ
Appleカラー絵文字は時計に弱い - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
http://www.unicode.org/Public/6.0.0/charts/CodeCharts.pdf
「Unicode 6.0」が策定、絵文字が国際標準に