[B! UTF-8] dangkicchiのブックマーク

Unicode ～UTF-8、UTF-16との違い～（文字コード関連） | 読み物 | ウナのIT資格一問一答

UnicodeとUTF-8、UTF-16との違いはなんでしょうか？ここでは、あまり詳細にはこだわらず、これらの概念を整理してみたいと思います。まずUnicode。これは文字集合です。アルファベットや記号はもちろん、漢字やひらがな、ハングルやヘブライ文字など、世界中で使われている文字を集めたものです。次にUTF-8とUTF-16。これらはUnicodeで定義されている一つ一つの文字を、どのように符号化するかという文字符号化方式（エンコーディング）です。たとえば、Unicodeで定義されている「あ」という文字を、UTF-8とUTF-16で符号化すると下記のようになります（16進数表記）。 Unicodeという一つの文字集合に対して、異なる文字符号化方式UTF-8、UTF-16が存在し、符号化した結果も異なります。どうしてUnicodeという一つの文字集合に対して、異なる文字符号化

dangkicchi 2013/11/19

リンク

/ - 海豹日記

{今年|今月|今週|今日}も何%過ぎましたゆく河の流れは絶えずして、しかももとの水にあらず (鴨長明:荘子) FESTINA LENTE ゆっくり急げ (ローマ帝国初代皇帝アウグストゥス) 立派にできたのであれば、それは十分早くできたことになる (ローマ帝国初代皇帝アウグストゥス) 海豹日記へようこそこのサイトは、個人的な覚書を残しておくサイトです自分は、よくこんなことをします何かの困りごとや興味の赴くままに、いろいろ調べる数か月後に、そのことを忘れてしまって、同じことについていろいろ調べる。しかし、そのうち、数か月前の自分が、同じことを同じように調べていたことに気づくそれは不毛なので、覚書を残しておこうというわけです (主人公のアリスに掴まれて、チェス盤のはるかかなたまで持ち上げられたことのあるチェスの王さまが、当時のこと思い出し) 王さま「あの瞬間の恐怖といったら、わ

dangkicchi 2013/09/18

java
UTF-8

リンク

BOM 付き UTF-8のトラブル - yanok.net

入力としてUTF-8のテキストファイルをとるJavaプログラムでうまくいかないことがありました。テキスト形式で入力されたデータを処理するプログラムなのですが、ファイル中に存在するはずのデータがないといってエラーになる。テキストエディタで開いても、ExcelやLibreOffice Calcで開いてみても、ファイルに異常は見当たらないし、問題のデータもきちんと記述されているようにしか見えない。実はこのエラーの原因は、入力のテキストファイルにBOMが付いていることでした。BOMがどういうものかは『プログラマのための文字コード技術入門』をご覧ください。 Javaで書かれた処理プログラムがUTF-8のテキストを読み込む際に、BOMを消費せずに単なるUnicode文字のように扱うため、1行目のデータの先頭にゴミが付いた状態になっていたのです。それで、見えないゴミ付きのデータになってしまい、意図

dangkicchi 2013/09/18

UTF-8
Java

リンク

JavaでUTF-8のBOMに対処する - 万象酔歩

この記事は「 Javaでファイルオープン：文字コードや追加モードなど」の補助記事です。 JavaでBOM付きUTF-8ファイルを読む媒体上の文字コード規格、UTF-8には、規格策定者の迷いのため一時期、先頭に３バイトのBOMと呼ばれる、バイト並び識別マークを置く仕様がありました。現在はBOMはまず使われることはありませんが、Windows付属の「メモ帳」という簡易エディタでUTF-8ファイルをうっかり作成してしまうと、ファイル先頭に BOMが付いてしまいます。残念なことにJavaではBOM付きのUTF-8ファイルをまともに読むことができません。先頭がBOMの場合スキップする方法対処法は色々考えられますが、ここでは、BufferedInputStreamを被せ、先頭がBOMの場合スキップし、BOMでない場合先頭まで巻き戻す形を示します。 import java.io.*

dangkicchi 2013/09/18

Java
UTF-8

リンク

programming はじめにプログラム

dangkicchi 2012/12/05

リンク

(3キャリア)携帯絵文字抽出正規表現パターン - とあるプログラマの備忘録

なんだかすごいタイトルだなｗ今日絵文字の抽出ロジックを書く機会があったのですが、思ったより探し物が見つからなかったので記述間違っていたら教えてください。 ■絵文字領域(docomo) sjis:[\xF8\xF9][\x40-\x7E\x80-\xFC] utf8:\xEE[\x98-\x9D][\x80-\xBF]■絵文字領域(au) sjis:[\xF3\xF4\xF6\xF7][\x40-\x7E\x80-\xFC] utf8:(?:\xEE[\xB1-\xB3\xB5\xB6\xBD-\xBF]|\xEF[\x81-\x83])[\x80-\xBF]■絵文字領域(softbank) sjis:[\xF7\xF9\xFB][\x41-\x7E\x80-\x9B\xA1-\xFA] utf8:\xEE[\x80\x81\x84\x85\x88\x89\x8C\x8D\x90\x9

dangkicchi 2012/08/30

リンク

UTF-8絵文字コードの正規表現 - Kimura.Memo

UTF-8なフォームから送られてくる絵文字のUTF-8コード正規表現（ｉモード・EZweb・SoftBank・Emobile全部） (?:\xEE[\x80\x81\x84\x85\x88\x89\x8C\x8D\x90\x91\x94\x98-\x9D\xB1-\xB3\xB5\xB6\xBD-\xBF]|\xEF[\x81-\x83])[\x80-\xBF] EZwebの公式UnicodeのUTF-8だけの場合 \xEE[\x91-\x97\xAA-\xAE][\x80-\xBF] 全部ひっくるめると、 (?:\xEE[\x80\x81\x84\x85\x88\x89\x8C\x8D\x90-\x9D\xAA-\xAE\xB1-\xB3\xB5\xB6\xBD-\xBF]|\xEF[\x81-\x83])[\x80-\xBF] でいいか。