文字コード考え方から理解するUnicodeとUTF-8の違い | ギークを目指して
UnicodeとUTF-8の違いを理解していない方が結構居るようなので、文字コードの考え方を元に解説してみようと思う。 文字コードとは何か？ 文字コードとは、コンピュータ上で文字を扱うために、文字に対して割り当てられた数値のことであり、文字と数値の対応付けと呼べる。 この対応付けの種類は沢山あって、Shift-JISであったり、UTF-8であったりする。 以上！と言いたいけど、文字コードはこんなに単純ではない。文字コードを複雑にする要素は沢山あるが、今回の記事ではUnicodeとUTF-8の違いに焦点を絞って解説してみたいと思う。 文字コードの構成要素 文字コードの世界は以下の2つの要素で構成されている。 この違いを意識しておかないと混乱を招くだろう。 （１）．文字集合 – 表現したい文字の範囲（”あ”、”い”・・・といった文字の集合体） （２）．符号化方式 – 文字集合を構成する個々の文
マルチバイト文字列とワイド文字列 - mkubara.com
概要 VisualStudio2005になって、今まで書いていた文字列処理関係のコードに対してコンパイルエラーや警告が表示されるようになった方も多いと思います。VisualStudio2005では使用する文字コードが変更となり、従来のマルチバイト文字列（日本ではShift-JIS）から、世界標準のワイド文字列（Unicode, UTF-16）へ移ったためです。 このように文字コードはプログラムにおいて重要な位置を占めるものですが、その実態や移行の手法は意外と情報の少ないものでした。今回はこの辺りを記述します。 マルチバイト文字列とワイド文字列 char型とwchar_t型 日本語Windows上で現在我々の利用する文字コードであるShift-JISは、主に英字を1バイト、日本語文字を2バイトで表現するため、マルチバイト文字列と呼ばれます。マルチバイト文字列は1文字が何バイトかを文字ごとに計
Linuxで文字コードを変換する方法 | クロの思考ノート
送られてきたファイルは以下のような結果でした Non-ISO extended-ASCII text, with CRLF line terminators つまりShift-JISということですね。もちろんWindwosから送付されたということなので当然なのですが。 nkfを使う方法もある nkfについては次の項で紹介しますが、文字コードを調べるにも便利なツールです。以下のように使います。 $ nkf —guess <ファイル名> 出力例 Shift_JIS (LF) iconvを使って文字コードを変換する まずはiconvを使って変換していきましょう。Linuxユーザーの間ではとても有名なツールですね。基本的な使い方は以下の通りです。 $ iconv -f <エンコーディング> -t <エンコーディング> <ファイル名> よく使われるエンコーディングには以下があります。 SHIFT_J
忘れんうちに書いとけ:PHPで文字コードをSJISからUTF8に変換する方法
2012年01月13日 PHPで文字コードをSJISからUTF8に変換する方法 Webサイトを作っていると、文字コードの取り扱いで困ることがある。 テキストデータの文字コードを、SJIS（Shift JIS）からUTF-8に変換するとき、文字化けが起こった。 ●波ダッシュ問題 代表的な文字化けの例として、いわゆる「波ダッシュ」問題がある。 波ダッシュ - Wikipedia Unicodeに関連する問題 Unicode の仕様書では、U+301C WAVE DASH（波ダッシュ）に、「JIS punctuation」という注釈を施しておきながら、JIS X 0208の波ダッシュの例示字形（“上がって下がる” 形）とは異なる形（“下がって上がる”形）を印刷してしまった。 この影響を受けて、Microsoft Windows（XP以前）ではUnicodeの波ダッシュ（U+301C, WAVE
波ダッシュ、全角チルダ問題まとめ - Qiita
そもそも、波ダッシュと、全角チルダって? 波ダッシュ 〜 0x8160(Shift_JIS) 0x301C(UTF-8) WAVE DASH(ユニコードポイント : U+301C) 日本語の文字 範囲を表す : 大阪 〜 東京 など 省略記号 : 〜 からの 全角チルダ ～ Shift_JIS には無い 0xFF5E(UTF-8) FULLWIDTH TILDE(ユニコードポイント : U+FF5E) いろんな意味がある文字 アルファベットの上につけて、鼻音を表す : ñ 数学記号 (ほぼ等しいの意味) ホームディレクトリを表す記号 : ~/download Unicode 側での波ダッシュ割り当てミス Shift_JISの波ダッシュ を Unicode に割り当てるときに、 波ダッシュの形を間違えて、"下がって上がる" ように表記してしまった ※ unicode 8.0 で修正されました
fileコマンドを使えばUTF-8のBOMの有無や改行コードがCRLFかどうかがチェックできる | オガリア 技術ブログ
こんにちは。オガリア開発チームの粂です。 常識かもしれないのですが、つい最近知ったこと。 fileコマンドを使えばUTF-8のBOMの有無や改行コードがCRLFどうかがチェックできます。 例えばこんな感じでfileコマンドを実行すると、 find . -type f -name "*.json" | xargs file ./aaa.json: UTF-8 Unicode ./bbb.json: UTF-8 Unicode (with BOM) text ./ccc.json: UTF-8 Unicode (with BOM) text, with CRLF line terminators BOMがついてたら、 (with BOM) text と表示され、 改行コードがCRLFなら、with CRLF line terminators と表示されます。 これは便利ですね。 ちなみにBOM
『【C#】文字コードを変換する』
間違って記事消してしまったので、改めて書きなおし。。。 文字コードの変換方法を書きます。 文字コードの変換って何かというと、下記のような感じ Shift-JIS → UTF-8 Windowsの標準が[Shift-JIS]で世の中がUnicodeに流れて行ってる中、必要な技術かと。 Shift-JISのファイルを読み取って、UTF-8に変換するとか。 ちなみにやらないと、意味不明な文字がテキストに表示されたりとか。。。 まぁ文字化けですね。 そんな問題を解決する方法を記載します。 System.Text.Encoding src = System.Text.Encoding.ASCII; System.Text.Encoding dest = System.Text.Encoding.GetEncoding("Shift_JIS"); string str = "テスト文章"; byte
C#で高精度なテキストファイル文字コード自動判別（2014年版） - hnx8のブログ
C#（.NET Framework）に限ったことではありませんが、汎用的にテキストファイルを扱うようなアプリケーションを作っていると、よく 特定の文字コードのファイルしか読み出せないのでは困る ⇒文字コードを自動判別し、テキストの内容を取り出したい 読み出したファイルと同じ文字コードでファイルを書き出したい ⇒読み出したファイルの文字コードを知りたい といった場面に出くわします。 ですが、C#（.NET Framework）標準のライブラリではそのような機能は提供されていないため、文字コードを判定するには、 自前で文字コード判定のロジックを実装する 出来合いの外部ライブラリ、Windows版NKF32.dll、ICU4Cなどを利用する IE用の文字コード判別ライブラリ（mlang.dll）を利用する ※COMコンポーネント呼び出し要 のいずれかの方法を取ることになります。 HNXgrepと
Free Dynamic DNS(DDNS) by POP3,IMAP4,FTP,HTTP-BASIC for Home Server, VPS | MyDNS.JP
www.uetyi.mydns.jp is not accessible... Sorry. I do not know why this site is not working. If you know Administrator of this site, please contact directly. You may be able to see it in Google cache. For administrator ... MyDNS.JP did not received IP address from you over One week. Please check your notify system. If you restart notification of IP address, MyDNS.JP will apply your IP address to DNS
vimエディタで「文字コード、改行コードを変更して保存する。」
vimエディタで、ファイルの文字コード、改行コードを修正、もしくは変更する時の話。 ファイルの文字コードや、改行コードを変更する時は、 変更したいファイルを開いた状態で、 ・文字コードの変更 :set fileencoding=文字コード :set fenc=文字コード (上のコマンドの短い形式。こちらでも良い。) :set fileencoding=euc-jp (エンコーディングEUC-JPに変更。) :set fileencoding=shift_jis (エンコーディングSHIFT_JISに変更。) :set fileencoding=utf-8 (エンコーディングUTF-8に変更。) ・ファイルフォーマットの種類の変更 :set fileformat=ファイルフォーマットの種類 :set ff=ファイルフォーマットの種類 (上のコマンドの短い形式。こちらでも良い。) :set f
Excel 2007 の CSV と 文字エンコーディング の関係 - Hello Another World!
自己紹介 上本亮介 (ue) @ わんくま同盟 Microsoft MVP for Development Platforms - VSTO (Jul 2008 - Jun 2009) Xbox Live Xbox 360 で遊んでいます。 あわせて読みたい この記事は Excel 2003 の CSV と 文字エンコーディング の関係 の改訂版です。 改訂前の記事は Excel 2003 ベースですが、YamaKenさんから Excel 2007 だとどうなるのかとの旨コメントを頂きました。 Yamakenさん、ありがとうございます。 カンマ区切り、タブ区切りそれぞれのテキストファイルを Excel 2007 で開いたときの挙動をまとめました。 先に結果を言うと、ほとんどの場合 Excel 2007 は Excel 2003 と同じ挙動を示します。 違う挙動を示すのは
PHP5.4のhtmlspecialcharsに非互換問題
第3引数を指定していない場合の影響前述のように、htmlspecialchars関数の第3引数を指定していない場合、PHP5.3までは、文字エンコーディングがISO-8859-1が指定されたとみなされます。この場合、入力内容にかかわらず不正な文字エンコーディングと判定されることはありません。したがって、文字エンコーディングのチェックが働かない代わりに、エラーになることもありませんでした。 これに対して、PHP5.4の仕様により文字エンコーディングがUTF-8とみなされた場合に、Shift_JISやEUC-JPの2バイト文字が入力されると、高い確率で「UTF-8として不正」というエラーになり、htmlspecialchars関数の出力は空になります。つまり、プログラムが正常に動作しません。 htmlspecialchars関数の第3引数を指定しておらず、内部文字エンコーディングがShift_
swfmillでFlash Lite 1のswfを扱えるようにしてみた : DSAS開発者の部屋
Flashに関連するオープンソースなツールのひとつに、swfmillがあります。swfmillは、swfファイルを解析してxmlファイルに変換したり、逆にxmlからswfファイルを生成することができるツールです。swfmillの使い方についてはいろいろなところで紹介されているので、ここではFlash Lite 1.xのswfファイルをswfmillで扱うときの問題点について紹介したいと思います。 swf内の文字コード FlashはVersion 6からUnicodeに対応しました。Unicode対応前と対応後でswfファイル内の文字エンコードが異なり、対応前はcp932(日本語の場合)、対応後はUTF-8になります。 そして、Flash LiteとFlashのバージョン間対応ですが、Flash Lite 1.xはFlash 4がベースになっており、Flash Lite 2.xはFlash
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ