タグ

utf8に関するYAAのブックマーク (8)

  • use utf8 環境下で => オペレータの左辺が UTF8 flag on になってしまう - daily dayflower

    use strict; use warnings; sub Dump { @_ = map { sprintf "'%s'(%s)", $_, utf8::is_utf8($_) ? 'utf8' : 'bytes' } @_; print {*STDERR} join(q{, }, @_), "\n"; } no utf8; Dump( foo => 'bar' ); #=> 'foo'(bytes), 'bar'(bytes) no utf8; だもんで,両者とも bytes なのは,まぁあたりまえ。 ところが,これを use utf8; で動かすと…… use utf8; Dump( foo => 'bar' ); #=> 'foo'(utf8), 'bar'(bytes) foo の UTF8 flag が on になってる! use utf8 にしてたので,任意の文字列リテラルが

    use utf8 環境下で => オペレータの左辺が UTF8 flag on になってしまう - daily dayflower
    YAA
    YAA 2009/02/02
    あーこれ、この間ハマったなぁ。$h{foo}で。
  • [tDiary][utf8] tDiary utf8 化のすすめ, [TV] 最近の THE 世界遺産 - HsbtDiary(2008-06-30)

    ■ [tDiary][utf8] tDiary utf8 化のすすめ 今日やっとコードを全部読んで仕組みを理解したのでまとめておく。 tDiary trunk にバージョンアップして日記を再表示させるだけで設定ファイルが utf-8 変換されます。 設定ファイルが自動変換が完了したかを判別するには @data_path/tdiary.conf の中に tdiary_version という変数が記述されていることを確認します。記述されていなければ何らかの理由で変換されていません。 変換完了後も初回は EUC で表示 されることもあります(原因不明) されます。その場合は 再表示してみて リロードしてください。ここで慌てて ntf -w --in-place 等をすると二重変換されてデータが壊れてしまいます。手動で変換を試みる前に tdiary.conf の tdiary_version の有

    [tDiary][utf8] tDiary utf8 化のすすめ, [TV] 最近の THE 世界遺産 - HsbtDiary(2008-06-30)
  • tokuhirom blog

    Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at

    YAA
    YAA 2008/05/31
  • Unicode - 似た文字同士にご用心 : 404 Blog Not Found

    2008年05月02日04:00 カテゴリLightweight Languages Unicode - 似た文字同士にご用心 後者はハイフンでなくてマイナス記号でんがな。 [を] UTF-8 の全角ハイフンが Perl の正規表現にマッチしなくて悩んだ で、元のテキストファイルの全角ハイフンを「od -t x1」 で見てみると「ef bc 8d」と「e2 88 92」の2種類が混じっていました。 前者は「\p{Hyphen}」にマッチするのですが後者はダメ。 まあ原因は分かったので、前処理でバイナリ置換して解決しました。 で、紛らわしそうなのを名前のHYPHENとMINUS SIGNでgrepするとこんな感じになる。 egrep '(HYPHEN|MINUS SIGN)' /usr/local/lib/perl5/5.10.0/unicore/Name.pl -002DHYPHEN-MI

    Unicode - 似た文字同士にご用心 : 404 Blog Not Found
    YAA
    YAA 2008/05/02
  • Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改メ tokuhirom’s blog

    Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at

    YAA
    YAA 2008/04/08
    同意>入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これがすべてです!
  • tDiary trunk にして utf8 化した - HsbtDiary(2008-03-09)

    ■ [tDiary][trunk][utf8]tDiary trunk にして utf8 化した 一段落したのでテスト書き込み。作業記録は後で書く。 作業記録 とりあえず、前に用意した tDiary trunk が使用しているデータディレクトリに euc-jp で運用している tDiary のデータを丸ごとコピー。 その後に core パッケージに含まれている utf-8 変換用 CGI の misc/migrate.rb を index.rb と同じディレクトリにコピーしてから CGI として実行。うちの環境だと tDiary の体は公開ディレクトリと別の位置に存在するので最初は require 'tdiary' に失敗してしまった。この辺は migrete.rb 内部の reuiqre のパスを require '/home/hsbt/tdiary/core/tdiary' と書き換

    tDiary trunk にして utf8 化した - HsbtDiary(2008-03-09)
  • tDiary.org

    この記事は、tDiaryをCVSを使ってアップデートしている方を対象としています。リリースパッケージを使っている方には関係ありません。 tDiaryのCVSリポジトリは現在、2008年2月29日にリリースされた2.2.1からブランチStable-2_2が切られています。これに伴い、従来Test_UTF8ブランチで開発してきたUTF-8版がTrunkにマージされる予定です。今後はじまる2.3系(開発版。将来の3.0)の開発は、文字コードをUTF-8として進める予定です。 Test_UTF8ブランチは第二tDiary.Netなどで長期間テストされてはいますが、まだデータ変換方法などについて仕様が固まっていないこともあり、EUC-JPで運用してきた2.2系から簡単に移行できるようにはなっていません。このため、CVS Trunkで運用してきた日記を迂闊にupdateすると、動かなくなります。 この

  • 404 Blog Not Found:perl - utf8::is_utf8("\x{ff}") == 0

    2008年02月18日10:00 カテゴリLightweight Languages perl - utf8::is_utf8("\x{ff}") == 0 ちょうどいい機会なので、Perl 5.8以降におけるutf8フラグの立ち方を。 unknownplace.org - 2008/02/17 - utf8::is_utf8 ということで、"\x{6751}\x{702c}\x{5927}\x{8f14}" などというData::Dumper表記でかならずしも utf-8フラグがたつわけじゃない。ということがいいたかったんだと思うのだけれど、 \x{UUUUUU}とutf8 flag まずはクイズです。以下がどう出力されるかを答えなさい。 sub pfrag{ print utf8::is_utf8($_[0]) ? 1 : 0, "\n" } pfrag "Hell\xC3, worl

    404 Blog Not Found:perl - utf8::is_utf8("\x{ff}") == 0
    YAA
    YAA 2008/02/19
  • 1