VOYAGE GROUP エンジニアブログ : あなたにも今日こそPerlの文字化けが理解できるたった一つの原則
2010年05月27日15:36 カテゴリprogramming あなたにも今日こそPerlの文字化けが理解できるたった一つの原則 こんにちは。ECナビラボの須藤(@ajiyoshi)と申します。 唐突です が、Perl(5.8以降)で文字化けに悩んだことはありませんか？私はあります。 そして、よくわからないまま"Perl 文字化け"などで検索すると、次のような単語が洪水のごとく溢れていて、なんだかよく分からなかったりしないでしょうか。 'flagged UTF8'Encode::decodeEncode::decode_utf8Encode::encodeEncode::encode_utf8'Wide character in print at hoge.pl line xx.'use utf8open my $fh, '<:encoding(utf8)', $filebinmode「
Encodeでラクラク日本語処理 - JPerl Advent Calendar 2009
こんにちは！ラブプラスとときメモ４の狭間で揺れ動いているxaicronです！！ 今日は日本でプログラムを書いていたら避けては通れない気がする、Encodeの話をしようと思います！ はじめに まず、この記事を読む前に、Perlのバージョンの確認をしてください。以下のようにやればバージョンが表示されます。 % perl -v ここで、5.8.1より下の数字ができてきた方は、Perlのバージョンアップをしてください。5.8.1より下のバージョンでは、Perlの内部文字コードが安定していないので、いい感じになりません。できれば5.8.8以上のバージョンを使いましょう。 それから、文字コードってなによって人も適当にWikiとかで調べてから読んだ方がいいと思います！！ Encode.pm Encodeは昔のjcode.plやJcode.pmに代わる、現在の文字コード処理のスタンダードModuleです。
Template::Toolkitでutf8を扱う場合… - ×××Diary
utf8でコードを書いて、てんぷれーとつーるきっとにデータを投げて 表示しようとすると、どうやらてんぷれーとふぁいるに書いてあった 文字が化けらった状態になるので、どうしたもんかなぁー と思っていたら、 decode/encodeの仕方が書いてあったので、ためしに動かして確認してみた。。 →(参考)Redirecting… ファイル名:test.pl #!usr/bin/perl use strict; use warnings; use utf8; use Template; use Encode; my $tt = Template->new( UNICODE => 1, #これでテンプレファイルが ENCODING => 'utf-8', #utf-8フラグ付きとなる。 ); my %hash = ( param => 'あいうえお', #utf-8フラグ付きデータ ); my $o
JIS X 0201 (1976) to Unicode 文字コード表
unicodeの変換表はユニコードコンソーシアムのものを使用しています JIS X 0201 (1976) to Unicode JISコードの半角カタカナ 0xa1～0xdf は JIS8(8ビットJIS)の半角カタカナです 0x21～0x5f は JIS7(7ビットJIS)の半角カタカナです JIS X 0201 (1976) to Unicode ASCII 文字コード表 JIS SJIS EUC UTF-8 UTF-16 実体(SJIS) ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------
Perlメモ/日本語の扱い - Walrus, Digit.
Perlで日本語を使用するとき、正しく動かなくなる代表的なケースは次の2点です。 日本語を扱う時、文字コードを意識していない。 正規表現で、日本語の文字列を使うとエラーが出る。 日本語を扱う時には、文字コードを意識する必要があります。 代表的な文字コードには「7ビットJIS」「SJIS（シフトJIS）」「EUC（日本語EUC）」「UTF8（Unicode）」があります。 厄介なのは、同じ言葉でも、文字コードによってコンピューター内部での表現が違うことです。 例えば、WebブラウザからSJISで送られてきた「塚本」という言葉と、EUCコードのスクリプト中で設定した「塚本」という言葉を比較すると「別物だよ」という結果が出ます。 こうした問題が起きないように、普通は、以下のことに気をつけてスクリプトを作ります。 スクリプトを書くときに、どの文字コードを使うか決めておく。 データの入出力(CGIの
Perlクイックリファレンス - 1部 Perl入門 - [SMART]
変数は以下のように値を代入したり出力することができます。 # 変数に文字列を代入 $value = "テストです"; # 変数を出力 print $value; 【参照ページ】 変数 配列 複数の値を1つの変数で管理したい場合は、『配列』という変数が最適です。 配列を初期化する場合は､要素をカッコで囲み､各要素毎にカンマで区切ります｡ @week = ('日曜', '月曜', '火曜', '水曜', '木曜', '金曜', '土曜'); 配列はインデックスを使って参照します。インデックスは 0から始まるので注意してください。たとえば1番目のデータ "日曜" を呼び出すときは、$week[0]、"月曜"なら $week[1] とします。 # 配列 @week の1番目の要素を表示 print $week[0], "\n"; > 日曜 # 配列 @week の2番目の要素を表示 print $
![Perlクイックリファレンス - 1部 Perl入門 - [SMART]](https://cdn-ak-scissors.b.st-hatena.com/image/square/efeb6493234f33406d242c048873a805fca99c63/height=288;version=1;width=512/https%3A%2F%2Frfs.jp%2Fwp-content%2Fthemes%2Fsmart%2Fogpimage.png)
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
Perl5.8 での Unicode 文字列の注意点
Amazon Search とかを EUC ベースから UTF8 ベースで実装し直したのですが、場合によって length や substr 等の文字列関数で処理が違うことが判明。備忘録として記事にしました。 Perl5.8 では Unicode 文字列に対して UTF8 フラグという内部データを設けて、その有無によって文字単位で扱うかバイト単位で扱うかを決定しています。また UTF8 フラグの ON/OFF は utf8 モジュールのutf8::encode() と utf8::decode() によって操作できるようになっています。 バイト単位でUnicode文字列を扱いたいときは、utf8::encode() によって、UTF8 フラグを OFF に、文字単位でUnicode文字列を扱いたいときは、utf8::decode() によって、UTF8 フラグを ON にする必要があります
perl 5.8における日本語コード変換のメモ
perl 5.8ではEncode.pmが標準モジュールとなり、多バイト文字を標準で簡単に扱えるようになりました。が、jcode.plやJcode.pmを用いたコード変換の経験があると、逆にこれが仇となって文字化けの嵐に遭います。（私の場合そうだったというだけで、普通はそんなこと無いのかもしれないのですが。）漸く最近になって基本的な考え方が飲み込めるようになって来たので、この辺をまとめておこうと思います。なお、本メモは新たにperl 5.8.x的なperlスクリプトを書く際に気をつけることをまとめたものであり、基本的には既存のスクリプトにperl 5.8 + Encode.pmを適用するためのものではありません。また、utf8でスクリプトを書くことを前提にしています。が、どちらにせよ、この知識は参考になると思います。（たぶん。） 本文冒頭ですが、まず参照先を示しておきます。以下のドキュメント
Perl 5.8.x Unicode関連
-> 趣旨と注意書き -> UTF8フラグ？ -> UTF8フラグとPerlIOレイヤ -> UTF8フラグのついた文字列を記述する -> Wide character in print ... -> Encode -> utf8::* -> use utf8; -> use encoding; -> use UTF8 と use encoding -> JcodeからEncodeへ -> 情報源 <- モドル 趣旨と注意書き Perl 5.8.x のUnicode 関連です。 正直、5.8.x は、ネタでしか使ってなかったので(ぉ、ちゃんといじったことがありませんでした。 使ってみると、よくわかんなくなったので、ちょっとまとめてみました。 今でもあんまりわかってないかもしれないので、内容は無保証です。 突っ込み歓迎。 Jcode、Encodeのメンテナの弾さんから、ご指摘いただいたので、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
技林ブログ: Perl5.8でUTF-8のメモ