String と Rune
（初出： はじめての Go 言語 (on Windows) その4 - Qiita） 文字列を示す string は不変（immutable）なオブジェクトだが，中身は byte 配列である。 したがって以下のように package main import "fmt" func main() { nihongo := "日本語" size := len(nihongo) fmt.Printf("nihongo = %d bytes :", size) for i := 0; i < size; i++ { fmt.Printf(" %02x", nihongo[i]) } fmt.Println() }
Encoding of Python stdout - Exterior Memory
Default Behaviour Python determines the encoding of stdout and stderr based on the value of the LC_CTYPE variable, but only if the stdout is a tty. So if I just output to the terminal, LC_CTYPE (or LC_ALL) define the encoding. However, when the output is piped to a file or to a different process, the encoding is not defined, and defaults to 7-bit ASCII. Example encoding.py: #!/usr/bin/env python2
The UTF-8-Everywhere Manifesto
As can be seen, UTF-16 takes about 50% more space than UTF-8 on real data, it only saves 20% for dense Asian text, and hardly competes with general purpose compression algorithms. The Chinese translation of this manifesto takes 58.8 KiB in UTF-16, and only 51.7 KiB in UTF-8. Text operations on encoded strings The popular text-based data formats (e.g. CSV, XML, HTML, JSON, RTF and source codes of c
Perl UTF-8 crash course
I’ve been seeing the occurrences of perl programmers not understanding perl’s very simple (and sometimes buggy but easily fixable) handling of Unicode strings. I confess I had the same misunderstanding until 6–7 years ago, and don’t want everyone to repeat the same mistake. Let’s forget what you know for 5 minutes, and take this simple course. 1. print($a, $b) and print($a . $b); Let’s forget, for
Perl の内部表現の一つはたまたま UTF-8 です。内部表現は何か分からないエンコーディングで、常に明示的にエンコードと デコードが必要ということにしておいた方がよいです。 - こんにちはこんにちはmonmonです！
追記 ajiyoshiさんの昔の記事がとてもわかりやすかったので参考に。 VOYAGE GROUP エンジニアブログ : あなたにも今日こそPerlの文字化けが理解できるたった一つの原則 元記事 記事タイトルはperlunifaqの「UTF8 フラグ」って何?からそのまま引用したもの。 昔は「UTF8フラグってよくわからない」ってなってたけど、この1文読むだけで「内部表現がたまたまUTF-8だったからUTF8フラグって言葉になったのか」とか、「そもそも内部表現が何かってことは気にする必要ないのか」って思えていい。 で、その辺の話を説明してくれている人がいたので引用。 Perl上級者コーナーPart01 503 ：nobodyさん [↓] ：2011/08/26(金) 02:37:40.52 ID:??? >>501 難しく考えすぎ。難しいと勘違いしているのなら、その原因はutf8（フラグ）
日本語の自然言語処理には Perl も便利 - アスペ日記
小ネタ。Perl で日本語の簡単な処理をするやり方（こういうことが簡単にできるという例で、具体的なオプションの意味等は解説していない）。 コマンドラインでちゃちゃっと日本語の処理をしたい時、Perl はけっこう役に立つ。日本語の一文字を一文字として扱えるから。特に、コマンドラインやファイルのエンコーディングを UTF-8 で統一しておくといい。 例えば、ひらがなの単語リストを読み込んでカタカナにするには、次のようにすればいい（「ヴ」は扱い方によって変わるので省略）。 perl -CS -Mutf8 -ple 'tr/ぁ-ん/ァ-ン/' < in.txt > out.txt カタカナの単語リストの最初の一文字を濁音から清音にしたいということがあるかもしれない。そういう時はこうする（「ヴ」については同上、半濁音の処理も略）。 perl -CS -Mutf8 -ple 's{^(.)}{my $
perlunitut - Perl Unicode Tutorial - Perldoc Browser
CONTENTS NAME DESCRIPTION Definitions Unicode UTF-8 Text strings (character strings) Binary strings (byte strings) Encoding Decoding Internal format Your new toolkit I/O flow (the actual 5 minute tutorial) SUMMARY Q and A (or FAQ) ACKNOWLEDGEMENTS AUTHOR SEE ALSO #NAME perlunitut - Perl Unicode Tutorial #DESCRIPTION The days of just flinging strings around are over. It's well established that mode
Unicodeでの正規表現 - ぱせらんメモ
http://kjirou.sakura.ne.jp/mt/2008/10/python_unicode.html例えば、ユニコード型文字列の内、漢字のみ（"一"〜"龥"）をマッチさせる場合 l = re.findall(u"[\u4e00-\u9fa5]+", "ひらがな漢字カタカナascii".decode("utf-8")) print l[0].encode("utf-8") # -> "漢字" 他の言語と違ってUnicode型というデータ型があるので明瞭極まりない！ （from http://kjirou.sakura.ne.jp/mt/） PythonはわからないけどPerlに通じるものを感じたのでPerlでやってみた。 まずは上記のコードに似せたパターン。スクリプトファイルはUTF-8で作成。 use strict; use warnings; use Encode; my
#perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 : 404 Blog Not Found
2009年09月13日13:00 カテゴリLightweight Languages #perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 駄目です。 [を] Perl の utf8 まわりのおまじない 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); こういう場合は、Encode::decode_utf8()でないと。 以下をごらんください。 #!/usr/bin/perl use strict; use warnings; use Encode; use Devel::Peek; for my $bytes ( "\x2F", "\xC0\xAF", "\xE0\x80\xAF", "\xF0\x80\x80\xAF" ) { my $u
UNICODE（UTF-8)環境の設定
Windows Xp、Apache２、MySQL５、PHP５の環境において、漢字等のマルチバイト文字コードをUNICODE（UTF-８）で統一するための環境設定方法について述べます。 ■PHP.iniファイルの設定 PHPの動作環境を UNICODE（UTF-８）にするためには、以下の設定を行います。 （１）c:\phpの「php.ini」ファイルをテキストエディタで開きます。 （2007年9月14日修正） （注）PHP4では、php.iniファイルは、c:\Windowsディレクトリに置いていましたが、PHP5では、php.exeがあるc:\phpディレクトリに置きます。 （２）[mbstring]という行を探し、以下の２行を「UTF８」とします。 mbstring.internal_encoding = UTF8 mbstring.http_output = UT
utf8 ファイルを open したけど文字化けするケース
utf8 ファイルを open したけど文字化けするケース 2008-06-07-2 [Programming] open の引数は「FILEHANDLE」「MODE」「ファイル名など」、に分けて渡すのがセキュリティ上良いらしいのだが、面倒なこともある。 例えば、perl 5.8.5 と 5.8.6 で試したんだけど、下記のスクリプトを実行すると「A」だけ文字化けする。 みんなどうやってるんだろう。 いちいち "<:utf8" とかやりたくないし。 たぶん私が何か使い方を間違っているんだと思う。 「use open ':utf8'」の意味を勘違いしているのかも。 #!/usr/bin/perl use strict; use warnings; use Encode; use utf8; use open ':utf8'; binmode STDIN, ":utf8"; binmode S
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What's the u prefix in a Python string?
Unicode and Perl - Perl Hacks
perlunifaq - Perl Unicode FAQ - Perldoc Browser
技林ブログ: Perl5.8でUTF-8のメモ