タグ

文字コードに関するtori932のブックマーク (2)

  • 文字コード変換ミスによる文字化けパターンと想定される原因 - drk7jp

    とあるシステムでデータベースから引いてきたデータの表示が文字化けするという不具合がありました。 データベース内のデータとしては文字化けしていない状態で格納されていることはわかっていたので、どこかしらの文字変換で化けていることはわかっています。まずはどの誤変換により文字化けするのか原因切り分けのために、decode/encode の組み合わせによる文字化けパターン一覧を作りました。おかげさまでどのパターンに類するものか判別することができ、無事に改修することができました。 その話はまた別にするとして、今も昔も変わらず文字化けに悩む人は意外と多いと思います。誤変換結果一覧は原因解析の参考になると思い、記事としてまとめることにしました。 文字コード変換ミスによる文字化けパターンを可視化するプログラムと一覧表 まずは誤変換を生成する perl スクリプトです。プログラムはとっても簡単で、「文字化けで

  • asahi.com(朝日新聞社):日本IT界の鬼っ子「外字問題」解消を 経産省が着手 - 社会

    「外字(がいじ)」。コンピューターで使う漢字として日工業規格(JIS)が定めた約1万字に含まれない、規格外の文字たち。文字化けや正常なデータ通信ができない原因になり、IT業界にとって悩ましい、この「外字問題」を一気に解消しようというプロジェクトが始まった。パソコンで文章を書くときの使い勝手は大きく変わるのか――。  例えば「渡辺」の「辺」。JIS規格には「邊」「邉」をあわせた3文字しか含まれないが、100字近い異体字があるとされる。  約58万人分の戸籍を扱う東京都足立区。区役所のパソコン画面には49もの「辺」の異体字が現れた。戸籍などを管理するコンピューターシステムに区が登録したものだ。名前に未登録の漢字がある住民が転入するたびに増え、今では外字全体で約5千もある。  外字を作るのは区職員。パソコンで、1文字に30分ほどかけて点描する。完成後は庁内や出先機関にある千数百台のパソコンに登

  • 1