Ruby,Perl,Pythonのメモ〜ソースの文字コード指定〜 - numozoの日記
メモ： ・日本語の取り扱いのめも (ソースコードについて) ・バージョンはruby 1.9.1p129,perl v5.10.0,Python 3.0.1 ・バージョンが古いと動かない ruby perl python ソースコード コード冒頭に文字コード指定 基本的にUTF8で書く コード冒頭に文字コード指定 文字列 オブジェクト毎に文字コード定義 バイナリとUTF8フラグ付き文字列 Unicode文字列のみ 参考 bitclust M17N の設計と実装 Encode入門 perl - use encoding; #は黒歴史 @IT記事 ファイル：utf-8、コンソール：utf-8 Ruby #!/usr/bin/ruby1.9 # coding: utf-8 str = "Rubyで日本語表示。" puts str Perl #!/usr/bin/perl use strict; u
lxmlで日本語のWebページのタイトルを取得する - Pyro Memo
日本語が化けて大変苦労したのでメモ。結論として、XML（またはHTML）を解析する前にunicode関数に通しておく、ということで良いのかな？相変わらず文字コード関連はよく分からない。 from urllib import urlopen from lxml import etree html = urlopen("http://b.hatena.ne.jp") charset = html.headers.getparam('charset') html_data = unicode(html.read(),charset) et = etree.fromstring(html_data, parser=etree.HTMLParser()) title_element = et.xpath("./head/title")[0] title = title_element.text.e
lxmlでAmazonAPI (objectify使ってみたよ) - bonlife
bonlifeです。誰かに教えられるほどPython詳しいわけじゃないですが、lxmlのobjectifyはやっぱり便利だよ、ということを伝えたい！ だけどもっとレスポンスが速い方法があるはず。 誰か教えてw まとめ記事はこちら。(記事中のquoteはurllib2.quoteっぽい。) lxmlのobjectifyを使うとかなり使いやすいオブジェクトが生成されます。最初(objectify.parse)のレスポンスは結構遅そうですが…。 import urllib2 from lxml import objectify host = u'http://webservices.amazon.co.jp/onca/xml?Service=AWSECommerceService' id = u'&SubscriptionId=AWSのアクセスキー' ope = u'&Operation=Ite
Python でUTF-8, shift_jis, euc_jpなど日本語を使う方法
[Home] [Setting up Mac OS X] [Python]: [ファイルを読む] 日本語を使う Pythonで日本語を使う Python 2.4以降では、標準で日本語を扱うことができます。 PythonのソースコードをUTF-8で書くには 日本語を扱うPythonのスクリプトの中では、UTF-8の文字コードを使うのが 楽です。 Mac OS Xのターミナルで日本語を扱う場合は、 ここの「4. Terminalの設定を変える」の 指示に従ってください。 以下、ソースコードの簡単な例を示します。 #!/usr/bin/env python # -*- coding: utf-8 -*- import re jtext = u'子猫が隠れんぼをしています' print 'jtext has', len(jtext), 'Japanese characters.' if re.se
perl - EncodeでXSSを防ぐ : 404 Blog Not Found
2009年03月03日19:00 カテゴリLightweight Languages perl - EncodeでXSSを防ぐ 良記事。 第7回■文字エンコーディングが生み出すぜい弱性を知る：ITpro だけど、問題点のみ具体例があって、対策にないのが片手落ちに感じられたので、その点を補足。 結論だけ言ってしまえば、Perlなら以下の原則を守るだけです。 404 Blog Not Found:perl - Encode 入門 すでにOSCONでもYAPCでも、あちこちそちこちでこの基本方針に関しては話したのですが、ここ 404 Blog Not Found でも改めて。 Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改め だまってコードを書けよハゲ入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これが
第7回■文字エンコーディングが生み出すぜい弱性を知る
文字コードに関する問題は大別すると文字集合の問題と文字エンコーディングの問題に分類できる。前回は文字集合の取り扱いに起因するぜい弱性について説明したので、今回は文字エンコーディングに起因するぜい弱性について説明しよう。 文字エンコーディングに依存する問題をさらに分類すると2種類ある。（1）文字エンコーディングとして不正なデータを用いると攻撃が成立してしまう点と，（2）文字エンコーディングの処理が不十分なためにぜい弱性が生じることがある点だ。 不正な文字エンコーディング（1）――冗長なUTF-8符号化問題 まず，（1）の不正な文字エンコーディングの代表として，冗長なUTF-8符号化問題から説明しよう。前々回に解説したUTF-8のビット・パターン（表1に再掲）を見ると，コード・ポイントの範囲ごとにビット・パターンが割り当てられているが，ビット・パターン上は，より多くのバイト数を使っても同じコー
VirtualDubでDivXエンコード
VirtualDubでDivXエンコード ここではAviUtlでDivX5.0x系で出力すると突如AviUtlが消えてしまうという、原因まだよくわかってない問題を回避するため、AviUtlでフィルタをかけて、VirtualDubを使ってDivX出力しようというものです。 中間ファイルを出力しないで「VFAPI Reader Codec 変換」(VFAPIConv)を使ってVirtualDubに橋渡しをする手順を画像付で説明しています。上から順に実行してください。 AviUtlでの手順 AviUtlで任意のフィルタの設定やインタレース解除などを設定したら、プロジェクトの保存をします。 VFAPI Reader Codec 変換での手順 VFAPI Reader Codec 変換を起動して[ジョブを追加]ボタンを押します。 先ほど保存したプロジェクトファイル（拡張子auf）を読み込みます。
Perl 5.8.x における日本語コード変換のメモ
Perl 5.8ではEncode.pmが標準モジュールとなり、多バイト文字を標準で簡単に扱えるようになりました。が、jcode.plやJcode.pmを用いたコード変換の経験があると、逆にこれが仇となって文字化けの嵐に遭います。（私の場合そうだったというだけで、普通はそんなこと無いのかもしれないのですが。）漸く最近になって基本的な考え方が飲み込めるようになって来たので、この辺をまとめておこうと思います。なお、本メモは新たにPerl 5.8.x的なPerlスクリプトを書く際に気をつけることをまとめたものであり、基本的には既存のスクリプトにPerl 5.8 + Encode.pmを適用するためのものではありません。また、utf8でスクリプトを書くことを前提にしています。が、どちらにせよ、この知識は参考になると思います。（たぶん。） 本文冒頭ですが、まず参照先を示しておきます。以下のドキュメント
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
