いいから聞け！ 俺が文字コードについて教えてやるよ その１（前提知識編） - 谷本 心 in せろ部屋
ちょっと久々のJavaネタですが、 前から書き溜めていた、文字コードやエンコードについてのノウハウを書きます。 今回は、詳細な説明に入る前に、前提になる知識や用語について説明しておきます。 文字コードとエンコードって違うの？ 新人くん「では、HTMLの文字コードはUTF-8でお願いします」 先輩社員「文字コードじゃなくてエンコーディングでしょ？」 新人くん「えっ。あぁ、はい、それで」 文字コードとエンコード（エンコーディング）を混同して使ったりすると、 ちょっと原理主義的な人に怒られたりするんですけど、 大まかに言えば、「文字コード」は文字に割り当てられた「数字」のことで、 「エンコード」は文字と数字をマッピングする「方式」のことだと捉えていれば、大きくは外れません。 ただ、「文字コード」という言葉は、「数字」「方式」の両方で使われるほか、 文字一覧を示す「Charset」という意味で使わ
perl - 勝手に添削 - utf8環境でperl::Jcodeのtrが使えないとき : 404 Blog Not Found
2011年06月10日20:30 カテゴリ perl - 勝手に添削 - utf8環境でperl::Jcodeのtrが使えないとき CPANモジュールガイド 冨田尚樹 前世紀まではそれで正しかったのですが… utf8環境でperl::Jcodeのtrが使えないとき - satoru.netの自由帳 要はtrの中の文字のエンコードをeucにしないとだめらしい。なーんだ単純 21世紀ではEncodeを使っていただいたく。 Perl 5.8.1以降であれば、標準のPerlだけで出来ます。 こんな感じに。 use strict; use warnings; use utf8; binmode STDOUT, ':utf8'; my $str = 'あいうえおぁぃぅぇぉ'; print $str, "\n"; $str =~ tr/ぁ-んヴ/ァ-ンヴ/; print $str, "\n"; ポイント
波ダッシュ・全角チルダ問題 - Wikipedia
Unicode（ユニコード）は、符号化文字集合や文字符号化方式などを定めた、文字コードの業界標準規格。文字集合（文字セット）が単一の大規模文字セットであること（「Uni」という名はそれに由来する）などが特徴である。 従来、各国の標準化団体あるいは各コンピュータメーカーによって独自に開発されていた個々の文字コードの間には互換性がなかった[1]。ISO/IEC 2022のように複数の文字コードを共存させる方法も考案されたが、例えば日本語の漢字と中国語の漢字のように、文字が重複する短所がある。一方Unicodeは、微細な差異はあっても本質的に同じ文字であれば一つの番号を当てる方針で各国・各社の文字コードの統合を図った規格である[1]。1980年代に、Starワークステーションの日本語化（J-Star）などを行ったゼロックスが提唱し、マイクロソフト、Apple、IBM、サン・マイクロシステムズ、ヒ
perlのUnicode Block正規表現とEncode::CJKConstantsによる文字クラス判定 - end0tknr's kipple - web写経開発
unicodeには、ひらがなやカタカナ等の文字グループがblockとして定義されており、perl ver.5.8以降では、このblock名称による正規表現が使用できるそうです。 http://blog.livedoor.jp/sasata299/archives/51194035.html http://module.jp/blog/regex_unicode_prop.html unicodeにおけるblock名称一覧 unicodeで定義されているblockは、次のurlに記載されています。 http://web.hc.keio.ac.jp/~fujimura/lang/unicode.html http://www.unicode.org/charts/ よく使うblockは数種類に限定できますが、半角カナや機種依存にはちょっと 日本語を扱う上で使用するunicode blockは、
JIS X 0208 (1990) to Unicode 漢字コード表
unicodeの変換表はユニコードコンソーシアムのものを使用しています JIS X 0208 (1990) to Unicode UTF-8、UTF-16のコードがない文字は実体で表示されていても自分の環境に依存している可能性があります 機種に依存しない観点より、ＨＴＭＬでUTF-8、UTF-16のコードがない文字は使用すべきではありません 逆にUTF-8、UTF-16のコードがあるのに実体が表示されない場合は（無いと思いますが）SJISでの自分の環境がよほど悪いと考えるべきです JIS X 0208 (1990) to Unicode 漢字コード表 区 点 JIS SJIS EUC UTF-8 UTF-16 実体(SJIS) 01 01 2121 8140 A1A1 E38080 3000 01 02 2122 8141 A1A2 E38081 3001 、 01 03 2123 814
Unicode対応 JIS X 0208 文字コード表
Unicode対応 JIS X 0208 文字コード一覧 JIS X 0208 の区点番号、JISコード、シフトJISコード、EUCコード、Unicode(UTF-8, UTF-16)の文字コード対応一覧です。 文字コードとその文字を順に出力しているだけですので、表示される文字はフォントによって決まります。 01区～08区 JIS非漢字（各種記号、英数字、かな） 13区～13区 NEC特殊文字（機種依存） 16区～47区 JIS第1水準漢字 48区～84区 JIS第2水準漢字 文字コードについてのページや、文字コード一覧についての説明もあります。 JIS X 0208 JIS非漢字 文字コード表 区 点 JIS SJIS EUC UTF-8 UTF-16 字 01 01 2121 8140 A1A1 E38080 3000 01 02 2122 8141 A1A2 E38081 3001
Unicode対応 文字コード表
�$B!!�(BUnicode�$BBP1~$N�(B JIS X 0201 �$B$N�(BJIS�$B%m!<%^;z$H�(BJIS�$B%+%J$NJ8;z%3!<%II=$G$9!#�(B �$B!!�(B�$BJ8;z%3!<%I$K$D$$$F�(B�$B$N%Z!<%8$d!"�(B�$BJ8;z%3!<%I0lMw$K$D$$$F�(B�$B$N@bL@$b$"$j$^$9!#�(B JIS�$B%m!<%^;z!'�(BASCII�$B!&J8;z%3!<%II=�(B JIS SJIS EUC UTF-8 UTF-16 �$B;z�(B 20 20 20 20 0020 21 21 21 21 0021 ! 22 22 22 22 0022 " 23 23 23 23 0023 # 24 24 24 24 0024 $ 25 25 25 25 0025 % 26 26
制御コード表
JIS X 0211 制御コード表 制御コードの一覧と、簡単な意味の説明です。 文字コードについてのページもあります。 JIS X 0211 制御コード表 制御コードには、C0集合とC1集合があります。 C0集合の制御コードは、Ctrlキーを押しながら文字キーを押すことで、入力することができます。 この場合、「Ctrl+A」や、「^A」などと表記されていることがあります。 また、0x01から、0x1Aまでは、「^A」から「^Z」に対応していますので、アルファベットの何文字目かを考えることで、入力ができます。 C0集合 コード値ctrl説明
ASCIIとANK
「b7」などの「b」はビットを意味します。例えば「b7」は7ビット目という意味です。例えば、「A」のASCIIコードは1000001ですが、これでは人間が覚えにくいので、文字コードは16進数で表現されるのが普通です。「A」のASCIIコードは16進数で「41」で、C言語やPerlなどのプログラミング言語では、「0x41」のように、先頭に「0x」を付けて表します。 ISO/IEC 646 ASCIIは、一部の文字を入れ替えるとヨーロッパ諸国でも使用可能なため、ISO規格「ISO/IEC 646 BCT（Basic Code Table）」となりましたが、その際に一部の文字を変更可能としました。そのため、国によって一部のコードに対応する文字が異なります。 日本では、ISO規格は下記のANK（JIS X 0201）になり、16進コードの「5C」および「7E」のみが変更されました。そのため、AS
文字コード表
JIS X 0201 の文字コード一覧 JIS X 0201 の文字コード一覧です。 JIS X 0201では、JISローマ字とJISカナが定義されています。 20-7E JISローマ字：ASCII A0-DF JISカナ：半角カナ（非推奨） 文字コードについてのページやUnicode対応の JIS X 0201 の文字コード一覧もあります。 JIS X 0201 文字コード表 JISローマ字：ASCII JIS SJIS EUC +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +A +B +C +D +E +F 20 20 20 ! " # $ % & ' ( ) * + , - . / 30 30 30 0 1 2 3 4 5 6 7 8 9 : ; < = > ? 40 40 40 @ A B C D E F G H I J K L M N O 50 50 50 P Q
JIS X 0208 の文字コード表
JIS X 0208 の文字コード表です。 JIS X 0208 文字コード表 01区～08区 各種記号、英数字、かな 09区～15区 未定義（機種依存） (13区 NEC拡張外字) 16区～47区 JIS第一水準漢字 48区～84区 JIS第二水準漢字 85区～94区 未定義（機種依存） (89区～92区 NEC拡張外字) JIS コードの場合、エスケープシーケンスは、表示していません。 このページは、以下のページにあるPerl スクリプトにより自動作成しています。 ASHのプログラムソース ●ＪＩＳ漢字 JIS SJIS EUC +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +A +B +C +D +E +F 01区 2120 813F A1A0 、 。 ， ． ・ ： ； ？ ！ ゛ ゜ ´ ｀ ¨ 01区 2130 814F A1B0 ＾ ￣ ＿ ヽ ヾ ゝ ゞ
第9回■上流工程で文字集合仕様と文字エンコーディングを決定する
これらの対策のうち，ここでは「文字集合の変換を伴う変換をしない」など，アプリケーション全体の文字コードの取り扱いについて上流工程で留意すべき内容について説明しよう。「入力値のチェック」については次回以降，「入力値の検証」の項で詳しく説明する。「アプリケーションでの正しいマルチバイト文字の処理」については，個別の処理内容の項で説明する。 文字コードの取り扱いについて，上流工程で留意すべき点としては，次の三つが挙げられる。 要求仕様として文字集合を定義する端末がサポートする文字集合を確認する実装に用いる文字エンコーディングを決定する まずアプリケーション仕様として，処理対象となる文字集合を規定する必要がある。日英語以外の韓国語や中国語，アラビア語などの対応が必要な場合はUnicodeを選択するしかない。さらに日本語だけの場合でも，例えばJIS X 0201＋JIS X 0208はJIS第2水準
第6回 先行バイトの埋め込み | gihyo.jp
今回は、「先行バイトの埋め込み」という攻撃方法について紹介します。 ご存じのとおり、ほとんどの符号化方式（文字エンコーディング）においては、ひらがなや漢字などASCII以外のほとんどの文字は、1文字が複数バイトにて構成されています。たとえば、ひらがなの「あ」は、Shift_JISにおいては0x82 0xA0という2バイト、UTF-8においては0xE3 0x81 0x82という3バイトで表現されます。 攻撃者がマルチバイト文字の先行バイト部分だけを与えることにより、本来存在している後続の文字を無効にしてしまうのが、今回紹介する「先行バイトの埋め込み」という攻撃方法です。 先行バイト埋め込みの具体例 では、具体的な例を見ていきましょう。 たとえば、Shift_JISで書かれたHTMLとして、次のようなものがあったとします。 name: <input type=text value="" />
perl - EncodeでXSSを防ぐ : 404 Blog Not Found
2009年03月03日19:00 カテゴリLightweight Languages perl - EncodeでXSSを防ぐ 良記事。 第7回■文字エンコーディングが生み出すぜい弱性を知る：ITpro だけど、問題点のみ具体例があって、対策にないのが片手落ちに感じられたので、その点を補足。 結論だけ言ってしまえば、Perlなら以下の原則を守るだけです。 404 Blog Not Found:perl - Encode 入門 すでにOSCONでもYAPCでも、あちこちそちこちでこの基本方針に関しては話したのですが、ここ 404 Blog Not Found でも改めて。 Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改め だまってコードを書けよハゲ入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これが
perl - use utf8; #って何だ? : 404 Blog Not Found
2009年06月15日07:00 カテゴリLightweight Languages perl - use utf8; #って何だ? id:otsuneに建設予定フラグがたてられていたので。 冬通りに消え行く制服ガールは、夢物語にリアルを求めない。 - subtech Perl の utf8 関係が未だ全く理解できない。わからないことがわからないので整理 use utf8はいつフラグをたてるか use utf8 しててもフラグたたないことがある…… これは、以下の実例を見ていただくのが一番よいだろう。 #!/usr/bin/perl use strict; use warnings; use utf8 (); sub check_flag{ my $str = shift; print qq("$str" ), utf8::is_utf8($str) ? 'is' : 'IS NOT',
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Perl 5.8.x で shiftjis 、CP932、MacJapanese の違い
perldoc の Encode::JP を読むと、Shift JISには3種類ある。 shiftjis - MS KanjiCP932 - CODE PAGE 932 = Shift JIS + MS/IBM vendor mappingsMacJapanese - Shift JIS + Apple vendor mappings うっすらとわかっているけれど、気持ち悪いので調べてみた。 Wikipedia に詳しい解説があった。 shiftjis - http://ja.wikipedia.org/wiki/Shift_JISCP932 - http://ja.wikipedia.org/wiki/CP932MacJapanese - http://ja.wikipedia.org/wiki/MacJapanese この3つの encoding について具体的に把握する方法を考えてみ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/JIS0208.TXT
Encode-InCharset-0.03 - defines \p{InCharset} - metacpan.org
use Encode::JP::Mobile; » SlideShare
