[B! charset] k1mのブックマーク

daily dayflower - 半角←→全角変換，Unicode::Japanese に未公開機能が…

2008-10-21 追記いまだに（ありがたいことですが）検索で飛んできたりブクマされたりというのがちょいちょいあるので，最新動向を書いておきます。 id:tokuhirom さんが Lingua::JA::Regular::Unicode という Pure Perl Module をリリースなさいました（→ http://d.hatena.ne.jp/tokuhirom/20081018/1224300947）。あなたが作っているアプリで文字列まわりを Unicode::Japanese インスタンスですべて持ちたいわけでなければ（そして，たいていのばあい，持つ必要はないのですが），この Lingua::JA::Regular::Unicode を使うのがベターです。依存性もなく，とても軽量ですので。 2008-10-21 追記おわりウェブアプリを作っていると，ユーザが入力した半角

k1m 2006/09/13

cpan
charset

リンク

UTF-8 vs. ISO-10646 : 404 Blog Not Found

2006年03月11日13:07 カテゴリLightweight Languages一日一行野郎 UTF-8 vs. ISO-10646 これだとLiberalなUTF-8ですね。 [を] UTF-8 の文字にマッチする正規表現 UTF-8の文字にマッチする正規表現の素直版。新旧、というのか、LiberalなUTF-8とStrictなUTF-8の違いは、RFC2044とRFC2279を見ればはっきりします。要はU+11000より上を認めるかどうかということです。今のところUnicode.orgの定義では、U+0000 - U+10FFFF しか認めていないので、そちらの定義に従うと、むしろこの正規表現はさらに短く $RE_UTF8CHAR_STRICT = qr/(?:[\x00-\x7f]|[\xC0-\xDF][\x80-\xBF]|[\xE0-\xEF][\x80-\xBF]{2}

k1m 2006/09/13

LiberalなUTF-8とStrictなUTF-8の違い

リンク

http://www.macchiato.com/unicode/charts.html

k1m 2006/09/13

文字 <=> 文字コード変換。便利

リンク

UTF-8文字列をバイト数でカットした時の末尾の処理 - 徒書

……を先日考えていたところ、NiAOUさんよりサンプルスクリプトを提示して頂きましたが、面白そうなので自分でも他のやり方がないか考えてみました（Perlクイズばりに）。 # hint: uft-8 の一文字の正規表現 # [\x00-\x7F]| # [\xC0-\xDF][\x80-\xBF]| # [\xE0-\xEF][\x80-\xBF][\x80-\xBF]| # [\xF0-\xF7][\x80-\xBF][\x80-\xBF][\x80-\xBF]| # [\xF8-\xFB][\x80-\xBF][\x80-\xBF][\x80-\xBF][\x80-\xBF]| # [\xFC-\xFD][\x80-\xBF][\x80-\xBF][\x80-\xBF][\x80-\xBF][\x80-\xBF] 実のところ知りたかったのはこの部分で、最高何バイトまであり得るのかとか、各

k1m 2006/09/13

リンク

tech.ymirlink.co.jp

Perl modules Unicode::Japanese Unicode::Japanese は，日本語の文字コードの相互変換を行うモジュールです． CGI での利用に適しており，携帯機種の絵文字に対応しています．以下のような特徴があります． Unicode::Japanese のインスタンスは，UTF-8 で文字列を保持します． XS，非XS環境両方に対応しています．XS環境では，SJIS,JIS,EUC,UTF-8 間の相互変換が非常に高速に（Encode::JPよりかなり速く）行えます．非XS環境でも，大きな起動のオーバーヘッド無くUTF-8との変換を行うことが出来ます．全角半角変換，カタカナひらがな変換をサポートしています．携帯電話(DoCoMo i-mode，ASTEL dot-i，J-PHONE J-Sky)の絵文字をUnicode私用領域にマッピングすることで，DB