UTF-8→SJIS/EUC-JPの重複文字をまとめてみた - hnwの日記
文字エンコーディングの変換を行うと、異なる2文字が同じ文字に変換されることがあります。このような文字を重複文字と呼ぶことにします。UTF-8→Shift_JISおよびUTF-8→EUC-JPについて、重複文字を自分用の資料としてまとめてみました。 MacOSX上のPHP5.2.9での実験結果ですが、プログラミング言語や環境によらず気をつけるべき文字一覧ということになると思います。 色のついている部分が重複している部分です。「-」となっているのは変換できなかった文字です。また、ヘッダのカッコ数字ごとに文字エンコーディング変換に利用した関数が異なります。詳細は下記の通りです。 (1) mb_convert_encoding($char, "Shift_JIS", "UTF-8") (2) mb_convert_encoding($char, "SJIS-win", "UTF-8") (3) i
いいから聞け！ 俺が文字コードについて教えてやるよ その１（前提知識編） - 谷本 心 in せろ部屋
ちょっと久々のJavaネタですが、 前から書き溜めていた、文字コードやエンコードについてのノウハウを書きます。 今回は、詳細な説明に入る前に、前提になる知識や用語について説明しておきます。 文字コードとエンコードって違うの？ 新人くん「では、HTMLの文字コードはUTF-8でお願いします」 先輩社員「文字コードじゃなくてエンコーディングでしょ？」 新人くん「えっ。あぁ、はい、それで」 文字コードとエンコード（エンコーディング）を混同して使ったりすると、 ちょっと原理主義的な人に怒られたりするんですけど、 大まかに言えば、「文字コード」は文字に割り当てられた「数字」のことで、 「エンコード」は文字と数字をマッピングする「方式」のことだと捉えていれば、大きくは外れません。 ただ、「文字コード」という言葉は、「数字」「方式」の両方で使われるほか、 文字一覧を示す「Charset」という意味で使わ
ＣＧＩで特定の文字（表・予・申・能など）が文字化けする
・ＣＧＩで特定の文字（表・予・申・能など）が文字化けする 自動バックアップ・テスサーバー付きの新機能スマートリリース CGIやPHPなどの技術系でSuper FAQ（よくある質問）がこれです。下記のような文字化けが発生します。 文字化けしている漢字は「表」「予」「申」「能」「十」「ソ」などです。第１章の「Netscape4.Xのdocument.write時の文字化け」は音が「シ」のものに集中的に文字化けが見られるなど、顕著な規則性がありました。今回の文字化けは、「音」が似通っているという特色はありません。 しかし、それぞれの漢字のShift_JISコードを調べてみると、ある規則性が浮かび上がってきます。Shift_JISコードを調べるには、序論で紹介したようなIMEやことえりの文字一覧表でもいいのですが、ここではURLエンコードを利用してみます。 URLエンコードは、プログラマーでない方
16進数変換・文字コード
16進変換・文字コード 1. 16進数変換(10進数255 が8bitの最大値FF、65535 が16bitの最大値FFFFです。3とともにトライしてみてください。) (16で割った余りを各桁の値として繰り返しを使って自作したプログラム。) 10進数を入力ください: 変換した16進数の表示: 2. 16進数変換その2と2進数変換(1と同じ、ただし、toString(16),toString(2) を利用した簡潔なプログラム。結果は小文字で。) 10進数を入力ください: 変換した16進数の表示: 変換した 2進数の表示: 3. 16進数10進変換(16bit FFFFとかフルカラーの24bitFFFFFFを大文字でいれてみてください。) 16進数を入力ください： 変換した10進数の表示： 途中経過 4. 16進数10進変換その2(3と同じ結果がでる。parseIntだけでできる超簡潔
2010-02-14 - 未来のいつか/hyoshiokの日記
例えば、次の言葉の意味を知りたい、聞いたことがあるけどよく分かっていないプログラマにとって、お勧めの書籍だ。Unicode/UTF-8/UTF-16/USC-2/JIS X0208/JIS X0212/JIS X0213/SJIS/EUC-JP/CP932/ISO-2022-JP/ASCII/Latin-1/ISO 10646/ISO 8859-1/サロゲートペア/文字化け/機種依存文字/半角カナ/絵文字… JIS X0208やJIS X0213の解説などは圧巻である。書籍にはWebにない利点がある。Webには即時性があるが、文字コードの解説においては、即時性はそれほど求められない。字体ないし字形の差異についてWebではその字体ないし字形がなければ表現しようがないが、書籍であれば細部までこだわって表現できる。 例えば、包摂された「辻」という字の一点しんにょうと二点しんにょうの字体の差はWe
PHPで UTF-8←→SJIS の変換を行う場合は"SJIS-win"に注意！ - purazumakoiの[はてなブログ]
csvからデータを読み込んで、utf8のwebページで表示するプログラムを作ったんだけど。 csvで簡単に入力できるとなるとやはりexcelで編集したいわけ。 なので SJIS → UTF-8 の変換をしたら、「〜」とか「粼」とかのいわゆる難しい系の文字は 文字コードの持ち方が違うようです。難しい系の文字は拡張文字というんですね。〆(.. )カリカリッ!! via PHPで UTF-8←→SJIS の変換を行う場合の注意：地方で活動するweb制作者の日々を綴るblog ということでこんな感じにしました。 × mb_convert_encoding("郄橋", "UTF-8","SJIS,SJIS-win,EUCJP-win,EUC-JP"> ○ mb_convert_encoding("郄橋", "UTF-8","SJIS-win,SJIS,EUCJP-win,EUC-JP">
![PHPで UTF-8←→SJIS の変換を行う場合は"SJIS-win"に注意！ - purazumakoiの[はてなブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d74291353ea5468b4b3774e4aaba6da171424cf7/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704538227038789114%2F11696248318755873051%2F1424106879)
モバゲータウンのノウハウ満載！ フレームワークMobaSiFを使おう！：第1回 ケータイ向けWebアプリケーション開発特有の技術要素｜gihyo.jp … 技術評論社
はじめに iモード／EZweb／Yahoo!ケータイなどで利用されるケータイブラウザは、極端な言い方をするとPCブラウザやフルブラウザとは「まったくの別物」です。今回はまず、ケータイブラウザ向けWebアプリケーションを開発する際に考慮すべき技術要素の説明を行います。次回以降は、そういった技術要素を共通的に処理できるフレームワークとして、筆者たちの所属する株式会社ディー・エヌ・エー（DeNA）がオープンソースソフトウェアとして2008年5月に公開したMobaSiF（Moba Simple Framework）を解説していきます。 本特集は、WEB+DB PRESS Vol.45の特集1「[イマドキ]ケータイ開発実践入門」の第2章、第3章を再構成したものです。なお、紙面の都合上で省略した説明も補っています。 各キャリア端末の世代分類 NTTドコモのiモードが開始されたのは1999年2月で、すで
GT Nitro: カーレーシング・ドラッグレーシングゲーム - Google Play のアプリ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
PHPでマルチバイト対応のtrim関数を作る - hnwの日記
（2009/06/29）追記4：本記事のmb_trim関数が動かない環境があったので、詳細を「PCREはUnicode文字プロパティをサポートするとは限らない」にまとめました。よりポータブルなmb_trim関数も紹介していますので、併せてご覧ください。 追記：「mb_ereg_match('^[\0[:space:]]+$', $str);」で、今回pregで作った正規表現'/^[\s\0\x0b\p{Zs}\p{Zl}\p{Zp}]+$/u'と同一になりました。mb_regex_encoding関数が使える分だけmb_ereg版の方が使い勝手も上です。ちょっとショック。 （2009/02/24 17:00）追記2：もっと簡潔に、「mb_ereg_match('^[\0\s]+$', $str);」でいいことがわかりました。POSIX正規表現風の表記がキモいな、と思っていたので、これは素晴
文字コードの話
本稿は、1996年に筆者が大学の所属サークルの機関誌に寄稿した記事をもとに加筆訂正したものです。(最終更新 1999.7.31) 目次 はじめに 第1章 日本語のコード体系 第2章 ASCIIと1バイト文字コード 第3章 JIS漢字コードとエンコーディング法 第4章 ISO 2022 第5章 ISO 2022の実例 第6章 中国語・韓国語の文字コード 第7章 ISO 10646とUnicode おわりに 参考文献 はじめに ASCIIだけで用が足りるアメリカと違って、 私たちは日本語を扱わなくてはならないため、 より深く文字コードの問題と関わらざるをえません。 それでも、MS-DOS/WindowsやMacを使う限りでは、 ASCIIとシフトJIS(たまにJIS)を知っていれば済みますが、 UNIXやインターネットを使い始めると、 JIS・EUC・シフトJISとさまざまな日本語コードに頭を
emacsで文字コードを指定して開く - PC日記
emacs で、utf-8のファイルを開くときに、文字コードの判別に失敗することがある。 おぼろげな記憶で、C-u C-x C-f とかで文字コードの指定ができたかな～なんて思っていたのだけれど、できない。 調べてみたら、以下のページが見つかった。 >emacs によるコードの自動判定は、今のところ成功していますが、失敗する >かもしれません。emacs で、buffer-file-coding-system を明示的に与えて >find-file するには、どうすればいいでしょうか？ 文字コードを指定して開く C-x RET c 文字コードを入力 RET C-x C-f 開きなおす C-x RET c 文字コードを入力 RET C-x C-v RET だそうです。 おまけ emacs の文字コードの自動判別を助ける方法として、auto-coding-alistやauto-coding-r
MySQL 5.1 で文字コードを設定 ( UTF-8 ) - Mac OS X v10.5 で web アプリ開発
/etc/my.cnf を編集します。 /etc/my.cnf が存在しない場合はインストールした MySQL の中のサンプルをコピーしてきます。 ターミナルから以下のコマンドを入力します。 一般ユーザには許可されていないディレクトリへファイルをコピーするので sudo コマンドを利用します。 $ sudo cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf vi 等のエディタで /etc/my.cnf を開きます。 [client]、[mysqldump]、[mysql] の各項目へ以下の 1 行を追加します。 default-character-set=utf8 [mysqld] の項目へ以下の 5 行を追加します。 default-character-set = utf8 skip-character-set-cli
Emacs の文字コード自動判別を学ぶ（セーブ時に勝手に文字コードを変更させない） - @kyanny's blog
Selected encoding XXXX disagrees with XXXX specified by file contents. というエラー - 刺身☆ブーメランのはてなダイアリー コメントで教えていただいた、 auto-coding-functions という変数を describe-variable でみてみると、自分の環境では（.emacs とかを読ませたあとでは）以下のようになった。 M-x describe-variable auto-coding-functionsauto-coding-functions is a variable defined in `mule.el'. Its value is (sgml-xml-auto-coding-function sgml-html-meta-auto-coding-function)Emacs を -q オプシ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
docomo(ドコモ)やauの絵文字の抽出をPHPで最も簡単にする方法 - ぎじゅっやさん