バックスラッシュと円記号の悲劇 - 仮想と現実
Windowsのパス表示を見てみよう。Explorerでは コマンドプロンプトでは というようにパスの区切りは「￥」で表示される。これ、おかしいと思わないだろうか。なぜ円記号なのだ。通貨の円に、なにかを切り分ける意味があるわけでもないし、見た目、文字の形が区切りにふさわしいとも思えない。Yに横棒二本つけた記号である。通貨の円を表す以外に使うべきではない。そもそもファイルパスの区切りに円記号を使おうと思った人は誰だ？となるだろう。もちろんそんな人はいない。これはMS-DOS登場以来現在に至るまで、日本語PC環境でずーっと続いている文字化けである。MS-DOSやWindowsの解説書でも円記号で印刷されているので、文字化けだとは思わない人も多いだろうが、どう考えても文字化けである。日本以外の多くの環境ではWindowsのパス区切り文字はバックスラッシュ「＼」で表示される。 UNIXではパスの区
SVGをdata URI schemeに変換するとき文字化けしないように必要なこと - 聴く耳を持たない(片方しか)
現在、パソコン、スマートフォン、タブレットと様々な画面サイズの情報機器が世の中に溢れています。そうした端末に適切に対応するには画像も色々なサイズのものをいくつも用意する必要があるわけですが、SVGのようなベクター画像であればそうした手間も少なくて済むのがメリットです。 例えば、AppleのサイトではロゴにSVGを使っています。 https://www.apple.com/jp/iphone/ そしてそのロゴを調べてみるとSVGをdata URI schemeで指定しているのが分かりますね。 data URI schemeはHTML文書内に記述できるため、画像ファイルのリクエストを減らして素早く画面表示が行えるという利点がありますから、世界中から多くのアクセスを集めるAppleのサイトで採用されているのでしょう。 こうした使われ方も多いことから、data URI schemeを簡単に作成でき
『秀丸で文字コードが変換できなくなったときの解決方法』
千葉の東京寄りでウェブ制作・マーケティング 千葉県市川市・東京を活動拠点にウェブ制作・マーケティングの支援をおこなっています。講師・執筆・コンサルについてもお気軽にご相談ください。 以前も同じようなことがあったのだが、shift-jisで制作したcssファイルを、秀丸でUTF-8に変換しようとすると、何故かあるファイルだけがどうしても変換できない現象に悩まされる。 【本日のチャレンジ履歴】 ・秀丸で保存する時に文字コードを変更し、特にエラーも無く終わるのだが、次に開いてみるとshift-jisに戻ってしまう。 ・秀丸の「ファイル」→「エンコードの種類」→「UTF-8」を選択して、変換。この時、ウインドウ右下の文字コード表示で確認すると確かにUTF-8になっているが、保存して（UTF-8であることを確認して）終了→再び開くとshift-jisになってしまう。 ・文字コードを変換できるマクロを
「ユニコードは犯罪だからやめてください」の衝撃 - yanok.net
新年早々、大笑いしてしまったこと。 下らないといえば下らないので書くまでもないかと思ったのですが、後で忘れた頃に読み返すと面白いかもしれないので書きとめておくことにします。 何があったのかは下記のページに詳しく書かれてあります。こちらを読んでいただければ、ぶっちゃけそれ以上のことはないです。 「LINEウイルス」の正体とは―LINE内で流行する「ウイルス攻撃」の現状について 簡単にまとめていうと、 LINE上で「ウイルス」なるものを送りつけることができるという噂があって、実際にそれを送りつけられるとLINEのアプリが誤動作(重くなる)らしい 実際のところ、ここで「ウイルス」と呼ばれているものはある特定の文字列である (プログラムではない。であるからしてウイルスでもない) 特定の文字列を受け取ると動作が極端に重くなる不具合のあるアプリがある、というのが真相らしい 問題を引き起こす文字列は、U
MojoliciousのJSON出力で文字化け - Qiita
MojoliciousでJSON-APIを作るのは普通に行うと思いますが、 JSON文字列をHTML内に出力するというケースもあるでしょう。 そんな時に、文字化けに遭遇したのでご紹介します。 下記サンプルコードを見てください。 package MojibakeApp::Example; use Mojo::Base 'Mojolicious::Controller'; use Encode 'decode'; # This action will render a template sub welcome { my $self = shift; my $moji = {hello => "文字化け"}; my $json = $self->render( json => $moji , partial => 1); $self->app->log->debug($json); print
Perl の文字列エンコーディングの話 | Hachioji.pm 日めくりテックトーク
ハァイ，先日 Plack::Request::WithEncoding というモジュールをリリースしました，@moznion です．皆様いかがお過ごしでしょうか． さて，このモジュールを書いてて Perl の文字列エンコーディングに関する知識を幾ばくか深めましたので，共有したいと思います．まあ大体の皆さんは「そんなこと知ってるぜ！！ 常識だろ！」という趣だと存じ上げますが…… ただまあ，「文字化けしてつらい！！」みたいなのは誰しも通る道だと思いますので記しておくこととします！ TL;DR 入り口で decode して，内部ではすべて flagged utf8 で扱い，出口で encode する．これがすべてです！とにかくこの基本方針をまもっていれば幸せになれます． from Perl で utf8 化けしたときにどうしたらいいか - blog.64p.org ぶっちゃけ，上記のエントリ良す
Perlのデータ構造をダンプするためのモジュール群 | hirobanex.net
マコピー(@mackee_w)にDDPって教えてもらったので、この機会にみんなに大人気のCPANモジュールまとめ記事を書くよ!!とりあえず、みんな大好きなまとめ記事なんで、はてぶをポチっとしてね!! 今回紹介するモジュール群 Data::Dumper Data::Dumper::AutoEncode Data::Dumper::Concise Data::Printer DDP 結論的には、DDPがいいよって話ですが、よく知らない方は以下を読んでいただくととても楽しいと思います。 Data::Dumper みんな大好き定番モジュールですね!!これがないと死んじゃうって近藤先生がおっしゃっていた気がします。 以下のように使います。 #!/usr/bin/env perl use strict; use warnings; use utf8; my $data = +{ hash => +{
ゆーすけべー日記
ムフフなビデオも網羅的に扱うDVDや動画の提供サービス「DMM」のWeb APIがいつの間にか公開していたらしく、なにぶんノーマークだったもので昨日の夜知ってビックリした。というかDMMは一生API出さないだろうなんて決め込んでいたのが良くなかったですね。 ってことでとあるAV女優の商品一覧を出力するようなスクリプトを書いてみました。API固有の「癖」でいくつか実装する際の注意すべきポイントがあるのでそれをまず紹介します。Perlコードですが参考になるかもです。 リクエストパラメータにはタイムスタンプがいる リクエストのパラメータにはタイムスタンプが必須です。形式は 2013-05-14 08:03:16 というもの。僕はDateTime派なので、以下のコードで現在のタイムスタンプの文字列をつくっています（＊ある方から指摘を受けてコードを修正させていただきました！）。 use DateTi
ひさびさに STDIN キャプチャしようとしたら、ちょっとだけハマった - tsucchi の日記 2nd season
Perl 5.18 からは、PerlIO::scalarでopenできるのはバイト列だけになるようです。 とのことだったので、「あれ？utf8の文字列を STDIN 経由でキャプチャしたらどうなるんだっけ？」とか、ちょっと気になったのでやってみた。 最初に書いたのがコレ。(いつものやつです) #!/usr/bin/perl use strict; use warnings; use utf8; use Test::More tests => 1; sub cat { my $result = ''; while( <STDIN> ) { $result .= $_; } return $result; } { my $inputs = "あ\nい\nう\n"; open my $IN, '<', \$inputs; local *STDIN = *$IN; is( cat(), "あ\nい
perl - 最速のUTF-8処理法 : 404 Blog Not Found
2013年03月04日14:45 カテゴリTipsLightweight Languages perl - 最速のUTF-8処理法 Perl Cookbook (English, Kindle Ed.) Christiansen / Torkington [邦訳: Perlクックブック] というわけで解説。 2013/03/04:Unicode::UTF8 がガチ爆速すぎる - bayashi.net encode より decode のが差が大きい感じ。encode だけだと、文字列長くなると Encode の方が速いっぽい。 まずは改めて検証してみましょう。 https://gist.github.com/dankogai/5079930 確かにその通りになっています。Unicode::UTF8はEncodeはおろかPerl組み込みのutf8::decodeより高速なのか(文字列をコピ
第16回 Perl内部構造の深遠に迫る（2） | gihyo.jp
前回の（1）はこちらから。 文字化け問題 ── Perlの文字列の実装に迫る 次のテーマは文字列です。文字化けは、プログラマの意図したエンコーディングと実際のエンコーディングが異なるときに起きる現象で、どんなプログラミング言語でも問題になります。ただPerlではv5.8.0以降、さらにテキスト文字列という概念ができたため、プログラマの意図をコードに落とす際に少し工夫が必要です。この概念を正しく理解していないと、エンコーディングが正しく見えるときでも文字化けが起きることがあるのです。そこで本節では、文字化けをデバッグするという目的のもと、perlの文字列の実装に迫ります。 まず、よくある文字化けを再現するコードがリスト7です。CPANモジュールのEncode::Locale[6]をインストールしておいてください。また、ファイルはUTF-8で保存してください。 リスト7 hello-moji
WebService::DMMを書いてみた - Shohei Yoshida's Diary
DMMがようやく WebAPIを提供ということで書いてみました。 Perlのコードを久しく書いていなかったのでリハビリも兼ねてます。 リポジトリ syohex/p5-WebService-DMM · GitHub サンプルコード #!perl use strict; use warnings; use lib '../lib'; use WebService::DMM; use Config::Pit; use utf8; binmode STDOUT, ":utf8"; my $config = pit_get('dmm.co.jp', require => { affiliate_id => 'DMM Affiliate ID', api_id => 'DMM API ID', }); my $dmm = WebService::DMM->new( affiliate_id => $c
Perlのお約束 - 新大阪でコワーキングスペースを主宰しているPerlプログラマのブログ
2012/04/27 Perlのお約束 @nqounetです。 Perlのスクリプトを書くときの「お約束」として、「use strict」などの色々を整理していたのですが、お約束として好ましくないことをしていた事がわかりました。 :encoding(UTF-8) の代わりに単に :utf8 を使うことで、もしデータが 内部で既に UTF8 で表現されていれば、エンコードの手順を省略します。 これは、書き込むときにはよい振る舞いであると広く受け入れられていますが、 読み込むときには危険があります; なぜなら不正なバイト列を受け取ると 内部矛盾を引き起こすからです。 入力に :utf8 を使うとセキュリティ侵害を引き起こす可能性があるので、 どうか代わりに :encoding(UTF-8) を使ってください。 [perlunifaq - Perl Unicode FAQ 【perldoc.jp
File::Copy、お前もか - miau's blog?
以前 ActivePerl での File::Find や Cwd の日本語問題について書いたけど、File::Copy にも似たような問題があった。解決策は同じような感じなので、簡単に説明。 ■現象 use File::Copy; copy('from\\サンプルソース.pl', 'to') or die "Copy failed: $!"; とすると、to\ース.pl というファイルができてしまう。Shift_JIS だと「ソ」の 2 バイト目が「\」になるから、ファイル名の取得かなにかでしくじってるのはわかる。 ■調査 処理を追ってみると、File\Copy.pm で sub copy { my $from = shift; my $to = shift; $to = _catname($from, $to); return syscopy($from, $to); } みたいな処理
Perlによる日本語コード変換のメモ（第二版）
Perlによる日本語コード変換のメモ（第二版） hikoboshi.home / Perlによる日本語コード変換のメモ（第二版） 前に書いたときと時代背景も知識も大幅に違うので、書き直してみることにしました。Perl 5.8以降を前提として考えます。 この文章で書く（つもりの）こと use utf8環境での、文字セットの考え方 発生しがちな文字化けとその原因 解決のヒント jcode.pl時代の文字セットの扱い まずは、jcode.plなどが全盛だった時代を思い出してみます。jcode.plの時代は、Unicodeはほぼ使われておらず、JIS, Shift_JIS, EUC_JPあたりの変換を行う事が主でした。実際のコードを見て、扱われ方を考察してみましょう。 #!/usr/bin/perl # jcode.plを用いたコード変換 require 'jcode.pl'; open my $
Encode::UTF8Mac - Mac OS Xのファイル名のエンコーディング - Perl入門ゼミ
Perl › モジュール › here Mac OS XはUTF-8をファイルシステムのエンコーディングとして採用していると思いきや、実は少し異なり、Mac OX X独自の仕様になっています。これを正しく扱うためにはEncode::UTF8Macというモジュールを利用すると簡単です。 use Encode qw/encode decode/; use Encode::UTF8Mac; # エンコード my $byte = encode('utf-8-mac', $string); # デコード my $string = decode('utf-8-mac', $byte); useを使ってEncode::UTF8Macを読み込むと、Encodeモジュールのエンコーディングとしてutf-8-macを利用できるようになります。このエンコーディングを利用すれば、Mac OS Xのファイル名を正し
Encode::Locale - 環境に合わせたエンコーディングを提供する - Articles Advent Calendar 2011 Casual
こんにちは、Csideです。最近はtwitterでウザ絡みするのが楽しくて仕方がありません。 さて、3分で読める軽い話をば。Gisle Aas氏の書いたEncode::Localeというモジュールの紹介です。 Perlでマルチバイト文字を処理する際は、「外から受け取るときはdecode、出力するときはencode」というのは基本ですね。自分で使うスクリプトを書くぶんには、自分のターミナルのエンコーディングに合わせてencode/decodeしてやればいいですね。 しかし、作ったスクリプトを他の人にも使ってもらいたくなったときに問題は発生します。あなたの作ったスクリプトを使う人のターミナルのエンコーディングはUTF-8とは限らず、EUC-JPかもしれませんし、WindowsであればShiit_JISかもしれないからです。 それでは、その環境のターミナルのエンコーディングに合わせてencode
Perl5 においてファイルからの読取る場合における Malformed UTF-8 問題 - tokuhirom's blog
Perl::Critic が最近 PerlIO layer に :utf8 つかうと怒ってくるけど、べらんめえしったことか! とおもっていたら、サイトが表示できなくなった(このような問題を hasegawayosuke 現象と我々はよんでいる)ので、ちゃんと調べた。 https://metacpan.org/module/Perl::Critic::Policy::InputOutput::RequireEncodingWithUTF8Layer 以下のようなスクリプトを実行する。 #!/usr/bin/perl use strict; use warnings; use utf8; use 5.010000; use autodie ':all'; use Devel::Peek; { open my $ofh, '>', 'foo.txt'; print $ofh "\xC0\xAF"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文字コードに関する「愚癡」に端を発する諸々
XML宣言のencoding属性の値がshift_jisとなっているXML文書をChromium 18で開けない? - 人生が二度あれば