Python3 – requestsの文字化け対策 | memorandum-plus
いつものごとくスクレイプの話ですが、requestsを使っていて文字化けに少々ハマりましたので、残しておきます。 結果的にそもそも文字コードの扱いについてちゃんと理解できていなかったことが問題でしたー HTMLのcharset 今回スクレイプしようとしていたWebサイトはmetaタグのcharsetにEUC-JPが設定されていました requestsさんですが、基本的にはmetaタグではなくHTTPレスポンスヘッダのcontent-typeをみてcharsetを判断しているようです。が、content-typeが対象のWebで設定されておらず読めない場合はデフォルトのISO-8859-1となってしまうようです result = requests.get('スクレイプするURL') print(result.encoding) 実行結果 ISO-8859-1 ちょっとググったら以下のやり方で
URIに使ってよい文字の話 - RFC2396 と RFC3986 - 本当は怖いHPC
POSTするデータを、（プレビューのために）javascriptでGETアクセスするような処理を書いていてハマった話。 発端は、textareaに'（シングルクオートまたはアポストロフィー）が入ると、Railsがそこから先のパラメーターを無視しちゃうっていうこと。いろいろ調べた結果、以下のことがわかった（Railsのバージョンは2.0.2）。 URIを定義する２つのRFC URIの構文はRFCで定義されている。これには2つあって、従来のRFC2396（1998年発行）と、RFC3986（2005年発行）だ。 RFC3986によれば、 This document obsoletes [RFC2396], which merged "Uniform Resource Locators" [RFC1738] and "Relative Uniform Resource Locators" [RF
Universal Encoding Detector: character encoding auto-detection in Python
Character encoding auto-detection in Python. As smart as your browser. Open source. >>> import urllib >>> urlread = lambda url: urllib.urlopen(url).read() >>> import chardet >>> chardet.detect(urlread("http://google.cn/")) {'encoding': 'GB2312', 'confidence': 0.99} >>> chardet.detect(urlread("http://yahoo.co.jp/")) {'encoding': 'EUC-JP', 'confidence': 0.99} >>> chardet.detect(urlread("http://amazo
Python でエンコーディングを判定する - 傀儡師の館.Python：楽天ブログ
2008.05.25 Python でエンコーディングを判定する (1) テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python Python でエンコーディングの自動判定をするにはいくつかの方法がある。文字列のコードを直接調べてその情報だけで判定するタイプと、HTML や XML ファイルに含まれるメタ情報なども利用し、そうした情報で判定できないものは文字コードの情報から判定するタイプがある。 前者のタイプでは、pykf や、nkfpython、kanjilib などがある。pykf は、ShiftJIS, EUC-JP, JISコードを相互に変換するためのPython拡張モジュールで、Universal Encoding Detector や encutils のようには、メタ情報を使わない直接文字コードをチェックするタイプ。日本語のみを前提とするのであれば
nelly2pcmを使用したmidomiデータのwav変換について | bigchocolate
« Archive 2024/03 12345678910111213141516171819202122232425262728293031 » 今回は、nelly2pcmを使用して、midomiからダウンロードしたFLVファイルのWAV変換について書こうと思います。実は、FFmpegや携帯動画変換君を使用するやり方より、真っ先に試したのがこっちでした。ここ最近のFLV to mp3なツールをいろいろ試してはみたものの、どうもうまく再生できなかった。調べてみると、Nellymoserというコーデックがちょっと厄介な存在になっているみたいで、これをデコードできるものを探していると、nelly2pcmを知りました。 ■nelly2pcm Decodes Nellymoser Asao encoded audio in FLV files. Turn the raw pcm into a wa
Cannot decode string with wide characters
use utf8; binmode STDOUT, ':utf8'; binmode STDIN, ':utf8'; use strict; use Encode; sub main(){ #UTF-8(BOMなし),CRLFのファイルに書いてます。 my $str = "あ"; my $bin = $str; $bin = Encode::encode('euc-jp', Encode::decode('utf8', $str)); $bin = Encode::encode('utf8', Encode::decode('euc-jp', $bin)); print "Content-Type:text/plain;charset=UTF-8\n"; print "\n"; print $bin; } &main; ======================= 希望する出力結果: あ
Nix::WebLab: Cannot decode string with wide characters
XML::RSS と Encode の組み合わせで以下のエラーが発生。 Cannot decode string with wide characters 最初に目にした記事がこちら。 Encode.pm ではまった なるほど。（って実は良く分かってない...） 次に見つけたのがこちら。 perl//Encode Q&A にこんなやり取りがありました。 質問: >Wide character in subroutine entry at /path/to/perl/lib/Encode.pm line 154. と言われて死にます。 Encode の bug ですか? いえ、おそらく仕様です。 このエラーが出て死ぬ原因は、 decode の入力文字列が utf8 (Wide character) 形式になっている、つまり U+0100 以上の文字が含まれていることにあります。 Enc
URI::Escape
NAME URI::Escape - Percent-encode and percent-decode unsafe characters SYNOPSIS use URI::Escape; $safe = uri_escape("10% is enough\n"); $verysafe = uri_escape("foo", "\0-\377"); $str = uri_unescape($safe); DESCRIPTION This module provides functions to percent-encode and percent-decode URI strings as defined by RFC 3986. Percent-encoding URI's is informally called "URI escaping". This is the termin
Jcodeを使おう(実用本位のJcode紹介)
この講演資料は、Jcodeの全ての事柄を網羅しているわけではありません。 現時点でJcodeを使い始める上で知っておくべき情報をまとめたものです。
WWW::Mechanize 文字化けにはまる。 - wajiho’s memo（実はよくわかっていない）
やりたいことはとっても簡単なことで、googleで検索して結果を取得・表示させるだけ。 なのに文字化けしてすごい躓いたよ。。。 Mech使ってやって見ました。 use WWW::Mechanize; my $mech = WWW::Mechanize->new; my $url = 'http://www.google.co.jp'; $mech->get( $url ); $mech->success or die $mech->response->status_line; $mech->submit_form( fields => { q => 'ヤングジャンプ', } ); my @links = $mech->find_all_links( class => 'l' , ); my @texts = map { $_->text } @links; foreach my $text
Perl 5.8.x における日本語コード変換★
Perl 5.8ではEncode.pmが標準モジュールとなり、多バイト文字を標準で簡単に扱えるようになりました。が、jcode.plやJcode.pmを用いたコード変換の経験があると、逆にこれが仇となって文字化けの嵐に遭います。（私の場合そうだったというだけで、普通はそんなこと無いのかもしれないのですが。）漸く最近になって基本的な考え方が飲み込めるようになって来たので、この辺をまとめておこうと思います。なお、本メモは新たにPerl 5.8.x的なPerlスクリプトを書く際に気をつけることをまとめたものであり、基本的には既存のスクリプトにPerl 5.8 + Encode.pmを適用するためのものではありません。また、utf8でスクリプトを書くことを前提にしています。が、どちらにせよ、この知識は参考になると思います。（たぶん。） 本文冒頭ですが、まず参照先を示しておきます。以下のドキュメント
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
Perlクイックリファレンス - 1部 Perl入門 - [SMART]
変数は以下のように値を代入したり出力することができます。 # 変数に文字列を代入 $value = "テストです"; # 変数を出力 print $value; 【参照ページ】 変数 配列 複数の値を1つの変数で管理したい場合は、『配列』という変数が最適です。 配列を初期化する場合は､要素をカッコで囲み､各要素毎にカンマで区切ります｡ @week = ('日曜', '月曜', '火曜', '水曜', '木曜', '金曜', '土曜'); 配列はインデックスを使って参照します。インデックスは 0から始まるので注意してください。たとえば1番目のデータ "日曜" を呼び出すときは、$week[0]、"月曜"なら $week[1] とします。 # 配列 @week の1番目の要素を表示 print $week[0], "\n"; > 日曜 # 配列 @week の2番目の要素を表示 print $
![Perlクイックリファレンス - 1部 Perl入門 - [SMART]](https://cdn-ak-scissors.b.st-hatena.com/image/square/efeb6493234f33406d242c048873a805fca99c63/height=288;version=1;width=512/https%3A%2F%2Frfs.jp%2Fwp-content%2Fthemes%2Fsmart%2Fogpimage.png)
Perl の多言語処理 -- Perl ヒント集 (ja)
エンコードの処理の基本 Perl 5.8 以降，テキストの処理が UTF-8 (Unicode の変換形式のひとつ) を軸におこなわれるようになりました。Shift JIS や EUC-JP での処理が一般的な日本語を Perl で扱う場合，エンコードを意識したプログラミングをおこなうことが必要になります。具体的には，Perl でエンコードを意識する必要のあるのは以下の箇所です。 スクリプト自体のエンコード ファイルの入出力 標準入出力 標準エラー出力 データベース，CGIなどプロセス間のインターフェース Perl 5.8 では内部処理が UTF-8 で行われますが，特にエンコードの指定がされない場合，テキストは文字単位ではなく，バイト単位で処理されます。バイト単位で Shift JIS などのテキストを処理することもある程度可能ですが，2バイトの文字が文字として認識されていませんから，正
Wide character in print at ...
[Perl] Wide character in print atというエラーはUTF-8フラグが付いた文字列をprintしようとしているからである。なのでUTF-8フラグを取り外してからprintすればエラーがでなくなります。UTF-8フラグが付いているかどうかはutf8::is_utf8を使用すればよい。 #UTF8フラグが付いているかの確認 utf8::is_utf8では実際の文字列がUTF-8かどうかではなく、あくまでフラグがついているかどうかを確認します。そのため、UTF-8の文字列もフラグが付いていなければ上記の出力はno flagとなります。またutf8::is_utf8はuseしなくても使用できる。useすると全然違う意味あいになるので注意。 UTF-8フラグが付いていたら、encodeを使用してフラグをはずします。以下の例では$stringをutf-8に変換して出力します
xampp:Mysqlに関するPHPMyAdminの文字化けの解消方法 - artful
2006年07月19日 xampp：Mysqlに関するPHPMyAdminの文字化け xamppを入れたのですが、PHPMyAdminでの日本語データ操作時に文字化けが発生。色々と他の方々の事例を調べてあれやこれやと試してやっとこ解決。そのメモを。 phpMyAdminだけが文字化けする場合はこちら(2007/05/02) XamppのphpMyAdminの文字化けーその２ ■環境 ApacheFriends XAMPP (basic package) version 1.5.3a ・Apache 2.2.2 ・MySQL 5.0.21 ・PHP 5.1.4 + PHP 4.4.2-pl1 + PEAR ・phpMyAdmin 2.8.1 ■試したこと １）my.cnfの各項目に以下のコードを追加 → 解決せず [mysqld] character-set-server = utf8 co
わずか565バイトテトリスのプログラミング解説
「往年の名作「スーパーマリオブラザーズ」、あの濃い内容でわずか40キロバイト」に載っていたわずか565バイトのテトリス。文字数にして551文字。79文字*7行のプログラミングで、テトリスが動きます。 以下のソースコードをメモ帳に貼り付けて、htmlで保存すればテトリスが動きます。 <body onKeyDown=K=event.keyCode><script>X=[Z=[B=A=12]];h=e=K=t=P=0;function Y() {C=[d=K-38];c=0;for(i=4;i--*K;K-13?c+=!Z[h+p+d]:c-=!Z[h+(C[i]=p*A-Math.round(p/ A)*145)])p=B[i];!t|c+4?c-4?0:h+=d:B=C;for(f=K=i=0;i<4;f+=Z[A+p])X[p=h+B[i++]]=1 if(e=!e){if(f|B){fo
エンコードマニアックス - 各種エンコードやハッシュを一発作成
SHA-256 e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 SHA-384 38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b SHA-512 cf83e1357eefb8bdf1542850d66d8007d620e4050b5715dc83f4a921d36ce9ce47d0d13c5d85f2b0ff8318d2877eec2f63b931bd47417a81a538327af927da3e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
