CP932など特殊な文字を含むHTMLをスクレイピングする - すぎゃーんメモ
Shift_JISで書かれたHTML、例えば下記のような文書をスクレイピングする場合。 <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=Shift_JIS"> <title>title</title> </head> <body> <div id="contents"> <div>1.ほげ</div> <div>2.ふが</div> <div>3.ぴよ</div> </div> </body> </html> Content-Typeは下記のように返されるとする。 Content-Type: text/html; charset=Shift_JIS スクレイピング用のライブラリたちは優れているのでUTF-8じゃなくても内部でうまいこと変換してくれたりするのであ
Encode::UTF8Mac - Mac OS Xのファイル名のエンコーディング - Perl入門ゼミ
Perl › モジュール › here Mac OS XはUTF-8をファイルシステムのエンコーディングとして採用していると思いきや、実は少し異なり、Mac OX X独自の仕様になっています。これを正しく扱うためにはEncode::UTF8Macというモジュールを利用すると簡単です。 use Encode qw/encode decode/; use Encode::UTF8Mac; # エンコード my $byte = encode('utf-8-mac', $string); # デコード my $string = decode('utf-8-mac', $byte); useを使ってEncode::UTF8Macを読み込むと、Encodeモジュールのエンコーディングとしてutf-8-macを利用できるようになります。このエンコーディングを利用すれば、Mac OS Xのファイル名を正し
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
HTTP Response decoded_contentをちゃんと使ってみる - D-6 [相変わらず根無し]
HTTP Response decoded_contentをちゃんと使ってみる HTTP::Responseに格納された日本語ページをちゃんとデコードしてunicodeで持ちたかったので最初 my $body = $response->decoded_content(); ってやってたんだけど、これだとcp932 (!= Shift-JIS)でこけることが多くて、とりあえずヘッダーとMETAヘッダで見るかと思って以下のようにして、decoded_content() にcharsetが必要であれば渡されるようにした。 my %opts; if ( my $ct = $res->content_type ) { if ($ct =~ /charset=Shift_JIS/) { $opts{charset} = 'cp932'; } } if ( my $ref = $res->content
狐の王国 Perlでそうそう文字化けしない文字コード変換のやり方まとめ
#2 Perlでそうそう文字化けしない文字コード変換のやり方まとめ なんかチャット仲間のところで動いているPerlスクリプトなのだが、いくつかのサイトの情報を取得する代物。この日記も取得してるのだが、なぜかうちサイトだけ文字化けする。 で、コードを見せてもらったら、NKF.pmだのjcodd.plだのJcode.pmだの使ってて、それぞれのライブラリに文字コード判別任せてるみたい。ずいぶん昔のコードなんだろうなあ。 というわけで、自分のためのメモという意味もこめて、文字化けしにくい現代的な文字コード自動判別のやり方を書いておこう。 use Encode; use Encode::Guess qw/ascii utf8 euc-jp shiftjis 7bit-jis/; my $dec = Encode::Guess->guess($str); if (ref $dec) { # utf8
文字コードを指定してファイルを開き直す
[vim] viエディターでは以下のようにすることで文字コードを指定してファイルを開き直すことが可能です。 [書式] :e ++enc=文字コード [例] :e ++enc=euc-jp « コピー & ペースト | | 編集ファイルのソート »
EncodeモジュールでのMIME Encode
[Perl] Encodeモジュールで文字コードの変換ができるが、MIMEエンコードをするには以下のようにすればよい。
Escape Codec Library: ecl.js
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
