UTF-8（ユーティーエフエイト）とは？文字コードの仕組みを知れば文字化けでも慌てない
PC、スマートフォンを扱っている人であれば、一度は「文字コードって何だろう？」と思った経験があるのではないでしょうか。 文字コードには様々なものがありますが、その中でもスタンダードなのがUnicodeの「UTF-8」です。日頃、文字コードを意識している方は少ないかと思いますが、コンピューター上で文字を扱うための重要な要素ですので、基本的なことはぜひ知っておきたいものです。 そこで今回は、「UTF-8」の基本知識から各ブラウザにおいての確認方法までをまとめてご紹介します。 マーケ思考のデザイナーは強い！ 提案型デザイナーのススメ リード獲得が重視される「広告・LP・サービスサイト」などに携わるデザイナーの皆様に向けての資料です。成果を出すデザインにするために心がけたいポイントを制作前、制作中、提出と修正、公開後の効果検証まで一連の流れに沿ってまとめています。 UTF-8（ユーティーエフエイト
namespaceとBOMに何の関係があるのさ - Qiita
先日公開したモダンPHPアンチパターンの記事で、「namespaceを利用しない」の項目に「BOMが出力された怖い話」を書いたところ、いまいち理解されてない感があるので、地面に吐いた唾を飲み込む心意気で自分のギャグをことこまかに紹介したい。 過去に承認欲求欲しさに自分の靴を舐めたシリーズ PHP - Functoolsを作った 前に書いたMatzLispスクリプトについて説明する さておき、実際の例を見せる 説明の前に、本稿の内容が有効であることをコード例をもって示す。使用したバージョンはOS X標準添付のPHP 5.5.27(cli)だ。 以下のコードはわかりやすさのため、Z Shellで実行する。エスケープめんどくさいので… % echo 'hello' | php hello % echo 'hello\n<?php' | php hello % echo '<?php echo "
The UTF-8-Everywhere Manifesto
As can be seen, UTF-16 takes about 50% more space than UTF-8 on real data, it only saves 20% for dense Asian text, and hardly competes with general purpose compression algorithms. The Chinese translation of this manifesto takes 58.8 KiB in UTF-16, and only 51.7 KiB in UTF-8. Text operations on encoded strings The popular text-based data formats (e.g. CSV, XML, HTML, JSON, RTF and source codes of c
文字コード変換ミスによる文字化けパターンと想定される原因 - drk7jp
とあるシステムでデータベースから引いてきたデータの表示が文字化けするという不具合がありました。 データベース内のデータとしては文字化けしていない状態で格納されていることはわかっていたので、どこかしらの文字変換で化けていることはわかっています。まずはどの誤変換により文字化けするのか原因切り分けのために、decode/encode の組み合わせによる文字化けパターン一覧を作りました。おかげさまでどのパターンに類するものか判別することができ、無事に改修することができました。 その話はまた別にするとして、今も昔も変わらず文字化けに悩む人は意外と多いと思います。誤変換結果一覧は原因解析の参考になると思い、記事としてまとめることにしました。 文字コード変換ミスによる文字化けパターンを可視化するプログラムと一覧表 まずは誤変換を生成する perl スクリプトです。プログラムはとっても簡単で、「文字化けで
Perl の内部表現の一つはたまたま UTF-8 です。内部表現は何か分からないエンコーディングで、常に明示的にエンコードと デコードが必要ということにしておいた方がよいです。 - こんにちはこんにちはmonmonです！
追記 ajiyoshiさんの昔の記事がとてもわかりやすかったので参考に。 VOYAGE GROUP エンジニアブログ : あなたにも今日こそPerlの文字化けが理解できるたった一つの原則 元記事 記事タイトルはperlunifaqの「UTF8 フラグ」って何?からそのまま引用したもの。 昔は「UTF8フラグってよくわからない」ってなってたけど、この1文読むだけで「内部表現がたまたまUTF-8だったからUTF8フラグって言葉になったのか」とか、「そもそも内部表現が何かってことは気にする必要ないのか」って思えていい。 で、その辺の話を説明してくれている人がいたので引用。 Perl上級者コーナーPart01 503 ：nobodyさん [↓] ：2011/08/26(金) 02:37:40.52 ID:??? >>501 難しく考えすぎ。難しいと勘違いしているのなら、その原因はutf8（フラグ）
日本語の自然言語処理には Perl も便利 - アスペ日記
小ネタ。Perl で日本語の簡単な処理をするやり方（こういうことが簡単にできるという例で、具体的なオプションの意味等は解説していない）。 コマンドラインでちゃちゃっと日本語の処理をしたい時、Perl はけっこう役に立つ。日本語の一文字を一文字として扱えるから。特に、コマンドラインやファイルのエンコーディングを UTF-8 で統一しておくといい。 例えば、ひらがなの単語リストを読み込んでカタカナにするには、次のようにすればいい（「ヴ」は扱い方によって変わるので省略）。 perl -CS -Mutf8 -ple 'tr/ぁ-ん/ァ-ン/' < in.txt > out.txt カタカナの単語リストの最初の一文字を濁音から清音にしたいということがあるかもしれない。そういう時はこうする（「ヴ」については同上、半濁音の処理も略）。 perl -CS -Mutf8 -ple 's{^(.)}{my $
ひらがなをカタカナに変換したいだって?それなら Lingua::JA::Regular::Unicode - Articles Advent Calendar 2010 Hacker
ひらがなをカタカナに変換したいだって?それなら Lingua::JA::Regular::Unicode ここにきて本気をだしている tokuhirom です。こんにちは。 Perl でコードをかいていると、全角カタカナを半角ｶﾀｶﾅに変換したいとか、そういう要望ってよくあるとおもうんですよね。そんなときは Lingua::JA::Regular::Unicode をつかうといいですね。 use Lingua::JA::Regular::Unicode qw/alnum_z2h hiragana2katakana space_z2h/; alnum_z2h("Ａ１"); # => "A1" hiragana2katakana("ほげ"); # => "ホゲ" space_z2h("\x{0300}"); # => 半角スペース ちょうべんり。 たぶん、だいたいのケースでいま実装されてる関数
Unicodeでの正規表現 - ぱせらんメモ
http://kjirou.sakura.ne.jp/mt/2008/10/python_unicode.html例えば、ユニコード型文字列の内、漢字のみ（"一"〜"龥"）をマッチさせる場合 l = re.findall(u"[\u4e00-\u9fa5]+", "ひらがな漢字カタカナascii".decode("utf-8")) print l[0].encode("utf-8") # -> "漢字" 他の言語と違ってUnicode型というデータ型があるので明瞭極まりない！ （from http://kjirou.sakura.ne.jp/mt/） PythonはわからないけどPerlに通じるものを感じたのでPerlでやってみた。 まずは上記のコードに似せたパターン。スクリプトファイルはUTF-8で作成。 use strict; use warnings; use Encode; my
講習会「文字集合と文字エンコーディング」を開催しました — ディノオープンラボラトリ
「文字集合と文字エンコーディング」というタイトルで、経験2〜3年目の人をターゲットに社内勉強会を開催しました。文字集合という単語を知っている必要はないですけど、少なくともUTF-8とShift_JISとでは扱える文字の種類数が違うことだけは伝えたかったので、その意味では目標が達成できたと思っています。 まとめ 文字集合とは、扱える文字の集合 JIS X 0208なら6000文字くらいの日本語の文字 UCS-2なら60000文字くらいの世界中の主要な文字 文字エンコーディングとは、文字の集合をバイト列に直す方式 Shift_JISはJIS X 0208（など）を1〜2バイトにする UTF-8はUCS-2を1〜3バイトにする 文字エンコーディング関連のツールを使いこなそう nkfやlvを使いこなそう 日本語を探すならlgrep 最終兵器：hexjaで16進ダンプ ムービー
電子書籍.club -
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
UNICODE（UTF-8)環境の設定
Windows Xp、Apache２、MySQL５、PHP５の環境において、漢字等のマルチバイト文字コードをUNICODE（UTF-８）で統一するための環境設定方法について述べます。 ■PHP.iniファイルの設定 PHPの動作環境を UNICODE（UTF-８）にするためには、以下の設定を行います。 （１）c:\phpの「php.ini」ファイルをテキストエディタで開きます。 （2007年9月14日修正） （注）PHP4では、php.iniファイルは、c:\Windowsディレクトリに置いていましたが、PHP5では、php.exeがあるc:\phpディレクトリに置きます。 （２）[mbstring]という行を探し、以下の２行を「UTF８」とします。 mbstring.internal_encoding = UTF8 mbstring.http_output = UT
文字エンコーディングが仲間外れのファイルを素早く見つける方法
プロジェクトに多人数が参加するようになると、なぜかプロジェクトの標準とは異なる文字エンコーディングのファイルがcommitされていることがあります。UTF-8で統一しているはずなのにShift_JISのファイルがある、なんて場合ですね。そこでメンバーの注意力不足を指摘したり、「だから＊＊＊（自分の使っていないエディタの名前を入れてください）はダメなんだ」とかいう宗教論争に発展させたりというのでは不毛ですよね。簡単に気づく方法があればそれでいいんですよ。 方法は色々あると思いますが、今日はどこのご家庭にも必ずあるnkfを使ってみましょう。最近のnkfには--guessというオプションがあり、文字エンコーディングを推測してくれます。 $ nkf --guess hoge*.txt hoge1.txt:EUC-JP (LF) hoge2.txt:UTF-8 (LF) hoge3.txt:B
Perl 5.8.x における日本語コード変換のメモ
Perl 5.8ではEncode.pmが標準モジュールとなり、多バイト文字を標準で簡単に扱えるようになりました。が、jcode.plやJcode.pmを用いたコード変換の経験があると、逆にこれが仇となって文字化けの嵐に遭います。（私の場合そうだったというだけで、普通はそんなこと無いのかもしれないのですが。）漸く最近になって基本的な考え方が飲み込めるようになって来たので、この辺をまとめておこうと思います。なお、本メモは新たにPerl 5.8.x的なPerlスクリプトを書く際に気をつけることをまとめたものであり、基本的には既存のスクリプトにPerl 5.8 + Encode.pmを適用するためのものではありません。また、utf8でスクリプトを書くことを前提にしています。が、どちらにせよ、この知識は参考になると思います。（たぶん。） 本文冒頭ですが、まず参照先を示しておきます。以下のドキュメント
Jcode.pmを使って文字コードを変換する
2006年2月12日(日) 22時23分43秒 [Perl/CGI, Web関連] Jcode.pmを使って文字コードを変換する 日本語文字コードの変換がとっても楽チンにできるPerlモジュールが「Jcode.pm」。これが活用されているフリーCGIは結構あります。 Perl 5.8.0以降では、Encodeモジュールが標準搭載されて、文字コードの変換が標準でできるようになったので、Jcode.pmを使う必要はなかったりするんですけども、フリーCGIの場合、Perl 5.8.0未満の環境で実行されるかも知れない可能性を考えて、（もしくは最初に作った時期がPerl 5.8.0リリース以前だったかで）Jcode.pmが使われてるCGIはたくさんあります。 # もっと古いCGIだと、jcode.pl が使われてるかも知れません。jcode.pl はJcode.pmの前のもので、Perl 4でも動
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.toshikazu.org/archives/000032.html
JString: 日本語文字列拡張 for Ruby