perl - 最速のUTF-8処理法 : 404 Blog Not Found
2013年03月04日14:45 カテゴリTipsLightweight Languages perl - 最速のUTF-8処理法 Perl Cookbook (English, Kindle Ed.) Christiansen / Torkington [邦訳: Perlクックブック] というわけで解説。 2013/03/04:Unicode::UTF8 がガチ爆速すぎる - bayashi.net encode より decode のが差が大きい感じ。encode だけだと、文字列長くなると Encode の方が速いっぽい。 まずは改めて検証してみましょう。 https://gist.github.com/dankogai/5079930 確かにその通りになっています。Unicode::UTF8はEncodeはおろかPerl組み込みのutf8::decodeより高速なのか(文字列をコピ
perl - Unicode「'あ'はAlphabetですが、何か?」 : 404 Blog Not Found
2010年04月23日07:00 カテゴリLightweight Languages perl - Unicode「'あ'はAlphabetですが、何か?」 結論から言うと、仕様です。 Is "あ" an alphabet? - FloralCompany.log use utf8; print 1 if "あ" =~ /\p{IsAlpha}/; print 2 if "あ" =~ /\p{Alphabetic}/; print 3 if "あ" =~ /[[:alpha:]]/; ﾅﾝﾃﾞﾔﾈｰﾝ それも、PerlではなくUnicodeの。 UAX #44: Unicode Character Database Characters with the Alphabetic property. For more information, see Chapter 4 in [Unicode
#perl #regexp - $utf8 =~ /.../i # の傾向と対策 : 404 Blog Not Found
2009年10月01日18:00 カテゴリLightweight Languages書評/画評/品評 #perl #regexp - $utf8 =~ /.../i # の傾向と対策 というわけで、その傾向と対策を。 [Perl]UTF8-flagged strings affects regexps with the "i" modifier - use GFx::WebLog; Perlではutf8フラグ付きの文字列に対するuc/lc/"i"正規表現修飾子は非常に遅いのだが，H::F::Liteでは/iを使っているので，試しに/iを使わないようにしてみると，速度が改善した id:gfxの主張は、以下のようにして確かに確かめられる。 use strict; use warnings; use Benchmark qw/cmpthese timethese/; { use bytes; m
Kanconvit - 簡体字と日本語漢字の相互変換ツール
Kanconvit（カンコンビット）とは、 中国語の簡体字と日本語の漢字を相互に変換するツールです。 日本人が、中国語のページを日本語の漢字で見ると意味が分かりやすくなります。 翻訳をするまでもない、こともあるかもしれません。 また、中国人が日本語のページを見るときも同様かも。 そんな感じで、もしかしたらちょこっとお役に立つかもしれないツールです。 目次 文字変換ライブラリ「Kanconvit.pm」（Perlモジュール） テキスト変換ページ「Kanconvit CGI」 変換API「Kanconvit API」 変換ラッパーCGI「Kanconvit Wrapper」 参考文献 Kanconvit.pm 中国語の簡体字と日本語の漢字を相互に変換する Perl モジュールです。 SYNOPSYS: use Kanconvit; my $ck = Kanconvit->new(); $jt
perl - use utf8; #って何だ? : 404 Blog Not Found
2009年06月15日07:00 カテゴリLightweight Languages perl - use utf8; #って何だ? id:otsuneに建設予定フラグがたてられていたので。 冬通りに消え行く制服ガールは、夢物語にリアルを求めない。 - subtech Perl の utf8 関係が未だ全く理解できない。わからないことがわからないので整理 use utf8はいつフラグをたてるか use utf8 しててもフラグたたないことがある…… これは、以下の実例を見ていただくのが一番よいだろう。 #!/usr/bin/perl use strict; use warnings; use utf8 (); sub check_flag{ my $str = shift; print qq("$str" ), utf8::is_utf8($str) ? 'is' : 'IS NOT',
perl - use encoding; #は黒歴史 : 404 Blog Not Found
2009年06月08日14:30 カテゴリLightweight Languages perl - use encoding; #は黒歴史 ぎゃあぁぁ length関数で文字列の長さを求める - perl初心者BLOG - Hatena::Group::Perl 日本語の文字数を正確に求めたい場合、use encodingを指定する use encoding;は、jperlなど、かつて存在したL10Nされたperl用に書かれたレガシースクリプトを、モダンperlで動かすときのためのおまじないです。こういう目的で利用すべきではありません。 このあたりのことは、以前 404 Blog Not Found:perl - no encoding; # whenever possible でも書いたのですが、大事なことなのでまた書きます。 スクリプトはUTF-8で書き、use utf8;する のがモ
perl - で全角半角変換をモダンに行う : 404 Blog Not Found
2009年06月06日01:15 カテゴリLightweight Languages perl - で全角半角変換をモダンに行う 今ならLingua::JA::Regular::Unicodeが第一選択肢ですが、こういう方法もあるということで。 Perl で半角カナと全角カナの変換をする : Serendip - Webデザイン・プログラミング Perl を使って半角カタカナと全角カタカナの変換をするスクリプトを、標準モジュールの Encode.pm と Unicode::Japanese と Lingua::JA::Regular::Unicode を使ってそれぞれ変換スクリプトを書いてみる。 CORE Moduleのみを使うという縛りをかけています。 #!/usr/bin/perl use 5.008001; use strict; use warnings; use utf8; us
perl - URI::Escape::XS 0.04 - URI Encode と Punycode の共存 : 404 Blog Not Found
2009年01月16日17:30 カテゴリLightweight Languages perl - URI::Escape::XS 0.04 - URI Encode と Punycode の共存 URI::Escape::XS 0.04 を Release したのでお知らせします。 /lang/perl/URI-Escape-XS/trunk - CodeRepos::Share - Trac Dan Kogai / URI-Escape-XS - search.cpan.org (Wait till updated) きっかけは、これ。 はてなブックマーク - %E8%84%86%E5%BC%B1%E6%80%A7%E8%A8%BA%E6%96%AD.jp IDN、国際化ドメイン名は、 URI Encode ではなく Punycode で encode しなければならない。よって「脆弱
perl - Lingua::CJKV::Simplify で簡単繁盛 : 404 Blog Not Found
2008年06月10日16:00 カテゴリLightweight Languages perl - Lingua::CJKV::Simplify で簡単繁盛 いやあ、 クリリンノコトカー を見たらむらむら作りたくなって、作ったらあっさりできちゃったという。 /lang/perl/Lingua-CJKV-Simplify/trunk - CodeRepos::Share - Trac NAME Lingua::CJKV::Simplify - (Simplified|Traditional) Chinese Characters SYNOPSIS use Lingua::CJKV::Simplify; my $cjkv = Lingua::CJKV::Simplify->new( "Dan,\x{5F3E},\x{5F48},\x{5F39}" ); print $cjkv, $cjkv->
Unicode - 似た文字同士にご用心 : 404 Blog Not Found
2008年05月02日04:00 カテゴリLightweight Languages Unicode - 似た文字同士にご用心 後者はハイフンでなくてマイナス記号でんがな。 [を] UTF-8 の全角ハイフンが Perl の正規表現にマッチしなくて悩んだ で、元のテキストファイルの全角ハイフンを「od -t x1」 で見てみると「ef bc 8d」と「e2 88 92」の２種類が混じっていました。 前者は「\p{Hyphen}」にマッチするのですが後者はダメ。 まあ原因は分かったので、前処理でバイナリ置換して解決しました。 で、紛らわしそうなのを名前のHYPHENとMINUS SIGNでgrepするとこんな感じになる。 egrep '(HYPHEN|MINUS SIGN)' /usr/local/lib/perl5/5.10.0/unicore/Name.pl -002DHYPHEN-MI
404 Blog Not Found:perl - utf8::is_utf8("\x{ff}") == 0
2008年02月18日10:00 カテゴリLightweight Languages perl - utf8::is_utf8("\x{ff}") == 0 ちょうどいい機会なので、Perl 5.8以降におけるutf8フラグの立ち方を。 unknownplace.org - 2008/02/17 - utf8::is_utf8 ということで、"\x{6751}\x{702c}\x{5927}\x{8f14}" などというData::Dumper表記でかならずしも utf-8フラグがたつわけじゃない。ということがいいたかったんだと思うのだけれど、 \x{UUUUUU}とutf8 flag まずはクイズです。以下がどう出力されるかを答えなさい。 sub pfrag{ print utf8::is_utf8($_[0]) ? 1 : 0, "\n" } pfrag "Hell\xC3, worl
perl - RLOもLROもperl的にはただの文字 : 404 Blog Not Found
2007年12月11日18:00 カテゴリLightweight Languages perl - RLOもLROもperl的にはただの文字 そんなことはありまおんせん。 101号室: [perl][unicode] RLOの除去 utf8フラグがあると単純に正規表現で消せなくなるので、一時的にフラグを外す 以下、デモ。LROやRLOは例えばOS X の Terminal.appも対応しています。 use strict; use warnings; use utf8; my $LRO = chr 0x202D; # Unicode: LEFT-TO-RIGHT OVERRIDE my $RLO = chr 0x202E; # Unicode: RIGHT-TO-LEFT OVERRIDE my $hello = 'Hello, world!'; local $\="\n"; binmode
UTF-PNG (aka Unicolor) : 404 Blog Not Found
2007年03月11日03:00 カテゴリLightweight Languages UTF-PNG (aka Unicolor) たしかにこれは普通の奴らの上ですね。 404 Blog Not Found:シフトJISを残すべきか? - matzさんのコメント 新しいUnicode符号化方式 http://nowsmartsoft.or.tv/nws/Japanese/new_utf.htm にはしびれました。本気で実装しているところがすばらしい。 こちらでは、普通の奴らの下を目指してみました。 名づけて、UTF-PNG。別名Unicolor Encoding. Perlによる実装は、 です。エンコーダーは 、デコーダーは です。コンパクトでしょ? Unicodeの全キャラクター一文字づつ載せると100万文字以上になりますが、それでもこれくらいに収まります。 そう。何のことはない、Uni
perl, python & ruby - ord() vs. Unicode : 404 Blog Not Found
2006年11月26日02:45 カテゴリLightweight Languages perl, python & ruby - ord() vs. Unicode というわけで、ord篇はこちら。 404 Blog Not Found:perl, python & ruby - chr() vs. Unicode とりあえずchrが長くなったのでordは別entryということで。 文字から数値へ(ord) まずはPerlの例。 #!/usr/local/bin/perl use strict; use warnings; use utf8; binmode STDOUT, ':utf8'; sub say { print @_, "\n" }; say ord "\x{61}"; say ord "\x{3b1}"; say ord "\x{5F3E}"; say ord "\x{2A6
perl, python & ruby - chr() vs. Unicode : 404 Blog Not Found
2006年11月23日22:00 カテゴリLightweight Languages perl, python & ruby - chr() vs. Unicode というわけで、404 Blog Not Found:There's more than one language to cook your problemsでPython & Ruby Cookbooksを一気読みしたので、気になる点を少しずつ書いて行くことにする。 まずは、文字の扱い。文字列でない点に注意。 少なくとも、文字列をバイト列と見なして相互変換することは、LLに限らずたいていの言語で出来るようになったのだけど、文字を文字として扱うという点に関しては各言語ともまちまちで、多言語派の私としては結構頭のいたいところ。 ここでは、私が一番流暢なPerlを軸に、RubyとPythonではどうなっているのかを調べてみた。 数値
404 Blog Not Found:perl & Unicode - その字の名前
2006年11月20日23:00 カテゴリLogos一日一行野郎 perl & Unicode - その字の名前 Unicodeの隠れた功績として、こうした「何て呼べばいいの?」という文字に(はんば無理矢理)名前をつけてくれたこともあります。 例えば、 新方言時代〜「小さい“お”」って何？ 「々」はなんていえばいいのだろうか？ には 々 U+3005 IDEOGRAPHIC ITERATION MARK といった具合に。 この手の調査は、Perl5.8以降が手元にあると簡単に出来ます。 例えば、 perl -Mencoding=utf8 -MHTML::Entities -Mcharnames=:full -ple \ '$o=ord; $_=sprintf"$_ U+%04X %s", $o, charnames::viacode($o)' で、こんな具合にコードポイントとUnicode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
