utf8::SWASHGETが重い - グニャラくんのグニャグニャ備忘録@はてな
なんか動かしてるプログラムのとある関数がやたら重い。 DProfセンセ〜イ！！ %Time ExclSec CumulS #Calls sec/call Csec/c Name 59.3 36.62 38.237 1 36.621 38.236 Omokute::Tamaran::Function 19.6 12.10 15.161 15223 0.0008 0.0010 utf8::SWASHGET ぎゃあ。激重いがな！utf8::SWASHGET。 で、正規表現を使う際に内部的に呼ばれているらしいけど、 ちょっと重すぎ。 http://www.nntp.perl.org/group/perl.unicode/2807 によると、 Unicode含まない正規表現使うときは、 そこだけスコープ切って、その中でuse bytesを指定してあげな！ だそうです。 めんどい。 しかも日本語での情
Template::Plugin::FillInForm::ForceUTF8 : blog.nomadscafe.jp
Template::Plugin::FillInForm::ForceUTF8 ForceUTF8シリーズ。 TT Pluginなんだけど、フィルターのデフォルトの名前は、fillinformのままにしてみている。 Template::Provider::Encodingをhacksて、[% USE FillInForm %]を自動的に書き換えると便利かも。 ソースはここから package Template::Plugin::FillInForm::ForceUTF8; use strict; use base qw(Template::Plugin::Filter); use HTML::FillInForm::ForceUTF8; our $VERSION = 0.01; sub init { my $self = shift; $self->{_DYNAMIC} = 1; $sel
Catalyst::Plugin::FillInFormで文字が二重に化ける - Unknown::Programming
ってかね。 すべてがUTF8でいけるなら本当になんの問題もでないのに出力をShift_JISにしなきゃいけないせいで各所各所でUTF8＋Shift_JIS混合問題ややUTF8フラグ問題やその他もろもろ問題ですぎってばよ！ 今度はFillInForm。 これ、UTF8フラグがたってないせいで化ける。なのでFillInForm::ForceUTF8が必要。 でもCatalyst::Plugin::FillInForm::ForceUTF8は存在しない。無いなら作るしかない。 package Catalyst::Plugin::FillInForm::ForceUTF8; use strict; use HTML::FillInForm::ForceUTF8; use NEXT; our $VERSION = '0.01'; sub finalize { my $c = shift; if (
Unicode-processing issues in Perl and how to cope with it (ahinea.com)
Home About Projects Services Articles Unicode-processing issues in Perl and how to cope with it Perl 5.8+ has comprehensive support for Unicode and a wide range of different text encodings. But still many people experience problems when processing multi-language text. Here I explain the most common problems and offer solutions. 21 Nov 2013. Some inaccuracies in the text of the article and in the
subtech - Bulknews::Subtech - Fix dodgy utf-8 bytes
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
use encoding 'utf-8' & encoding::warnings: blog.bulknews.net
use encoding 'utf-8' & encoding::warnings Perl ネタ。 XML まわりなんかを扱うときについて回る UTF-8 フラグ (Unicode フラグ）をどう落とすか的ネタがもりあがっていますねぇ。このネタは拙書の Blog Hacks でも 1 Hack さいて解説してあります。 Blog Hacks ―プロが教えるテクニック&ツール100選posted with amazlet on 05.09.30宮川 達彦 伊藤 直也 オライリー・ジャパン (2004/08/07) 売り上げランキング: 20,714 Amazon.co.jp で詳細を見る たしかに内部的に UTF-8 フラグを落としてバリバリつなげちゃえば、場当たり的に楽は楽なんだけど、内部的に Unicode フラグをもったまま処理して、最後に出力するときに落とす（encode する）と
Perl 5.8.x Unicode関連
-> 趣旨と注意書き -> UTF8フラグ？ -> UTF8フラグとPerlIOレイヤ -> UTF8フラグのついた文字列を記述する -> Wide character in print ... -> Encode -> utf8::* -> use utf8; -> use encoding; -> use UTF8 と use encoding -> JcodeからEncodeへ -> 情報源 <- モドル 趣旨と注意書き Perl 5.8.x のUnicode 関連です。 正直、5.8.x は、ネタでしか使ってなかったので(ぉ、ちゃんといじったことがありませんでした。 使ってみると、よくわかんなくなったので、ちょっとまとめてみました。 今でもあんまりわかってないかもしれないので、内容は無保証です。 突っ込み歓迎。 Jcode、Encodeのメンテナの弾さんから、ご指摘いただいたので、
2006/03/03 - memo - unknownplace.org
昨日のやつ、bast のほうにコミット。次のDBICのリリースに含まれちゃうよ＞＜ 使い方はテーブルクラスで __PACKAGE__->load_components(qw/UTF8Columns Core/); とかしてロードしておき、 __PACKAGE__->utf8_columns(qw/name description/); と文字列カラムを指定。 こうすると $table->name や $table->get_column('name') でとってくる値は utf-8 フラグが自動的にたつ。 逆に $table->name( $name ); とかでは utf-8 フラグが落とされてから保存される。 utf8_columns で自分で指定するだけじゃなく、テーブル単位で文字列カラムにすべてに対して有効になる機能もあるといいかも？
Catalyst::Plugin::Charsets::Japanese - 日本語特有の文字コード操作プラグイン
名前 Catalyst::Plugin::Charsets::Japanese - 日本語特有の文字コード操作プラグイン 概要 use Catalyst 'Charsets::Japanese'; # 使用する文字コードを設定 MyApp->config->{charsets} = 'UTF-8'; # もしくは、内部で使いたい文字コードと # 出力データに使いたい文字コードを別々に設定 MyApp->config->{charsets} = { in => 'EUC-JP', out => 'Shift_JIS', }; 説明 近年の日本語環境下でのWEB開発において、サーバーサイドで扱う文字コードとして、 EUC-JP, Shift_JIS, UTF-8 が考えられます。 このモジュールを使うと、選択された文字コードによって適切に、 入出力データのコンバート、Content-Typeの
UTF-8 フラグと戦う人へ : にぽたん研究所
ひさびさに Blog を書いてみる。 UTF-8 フラグがどうもウザいという人向けにこんな CPAN モジュールがあるそうな。 Unicode::RecursiveDowngrade hashref とか、arrayref とか複雑な構造になった変数 (たとえば XML や RSS を XML::Simple や XML::RSS 等で parse した構造) を、構造を変えることなく、値全ての UTF-8 フラグを一括で落としたい場合にﾍﾞﾝｰﾘ。 こんなんして使える模様。 use strict; use XML::Simple; use Unicode::RecursiveDowngrade; use Data::Dumper; my $ref = XMLin('hoge.xml'); # includes flagged UTF-8 my $rd = Unicode::Recursi
Perl5.8 での Unicode 文字列の注意点
Amazon Search とかを EUC ベースから UTF8 ベースで実装し直したのですが、場合によって length や substr 等の文字列関数で処理が違うことが判明。備忘録として記事にしました。 Perl5.8 では Unicode 文字列に対して UTF8 フラグという内部データを設けて、その有無によって文字単位で扱うかバイト単位で扱うかを決定しています。また UTF8 フラグの ON/OFF は utf8 モジュールのutf8::encode() と utf8::decode() によって操作できるようになっています。 バイト単位でUnicode文字列を扱いたいときは、utf8::encode() によって、UTF8 フラグを OFF に、文字単位でUnicode文字列を扱いたいときは、utf8::decode() によって、UTF8 フラグを ON にする必要があります
XMLRPC::Liteでutf8フラグをはずすには : blog.nomadscafe.jp
XMLRPC::Liteでutf8フラグをはずすには SOAP::Liteパッケージに含まれるXMLRPC::Liteで自動的にutf8フラグをはずすには、XMLRPC::Deserializer::decode_valueを上書きする。 XML::Liteを使うプログラムに以下を追加 sub XMLRPC::Deserializer::decode_value { my $self = shift; my $ref = shift; my($name, $attrs, $children, $value) = @$ref; if ($name eq 'value') { $children ? scalar(($self->decode_object($children->[0]))[1]) : pack('C0A*',$value); } elsif ($name eq 'array'
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
lib/Catalyst/View/TT/ForceUTF8.pm - metacpan.org
PerlでUTF-8の文字列をいわゆる半角幅で80文字毎に改行する場合はどのようにしたらよいでしょうか？…
朝の切れ味 - Pumpkin Moonshine
naoya.dyndns.org is offline
2006/03/07 - memo - unknownplace.org
Catalyst-View-TT-ForceUTF8-0.13
CLON - 2006/11/21 - DBIx::Class vs mysql vs UTF-8