文字コード地獄秘話 第1話：Unicodeにおける全角・半角 - ALBERT Engineering Blog
ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか
Big Sky :: vimで化けたファイルを開く方法
vimはファイルを開く際、iconvを使用してfileencodingsの順に変換を試し、正しく変換出来た物をfileencodingとして使用する仕組みになっています。 つまり化けたファイルだと、どのfileencodingsにもマッチせずencodingで指定されたエンコーディングでファイルが開かれステータス行に「変換失敗」と表示される事になります。 しかしながらそのファイルのエンコーディングが分かっている場合もあります。vimでは++encオプションを指定する事で指定のfileencodingでファイルを開く事が出来ます。 :e ++enc=utf-8 foo.txt この場合、vimはiconvで変換出来なかった文字を?という文字で置き換えてしまいます。 # echo あいうえお | iconv -f char -t utf-8 > utf8.txt # echo あいうえお |
Windowsで:set encoding=utf-8する方法 - 永遠に未完成
Vimの'encoding'オプションはVimが内部で扱うエンコーディングを設定する。この値がcp932やsjisなどだと、ユニコード文字が表示できない。今時ユニコード文字の表示なんてメモ帳でもできる。メモ帳に負けていいのか!否! と言うわけで是非とも:set encoding=utf-8で使いたいわけだが、Windowsでこれをやるとシステムメッセージなどが見事に文字化けする*1。で、これを回避する方法*2。 言語ファイルを入手する download : vim onlineから言語ファイル(ftp://ftp.vim.org/pub/vim/extra/vim-7.2-lang.tar.gz)をダウンロードしてくる。 中身からja.poを取り出し、UTF-8に変換する。 ja.sjis.poもあるが、これはダメ。中にダメ文字を回避するバックスラッシュが入ってる。 Vimでやる場合は、j
Movable Type で「～」が「?」に文字化けする事象や日本語のタグが合算できない不具合を解消する
Movable Type で MySQL 5を利用している際に、 ブログ本文などに含まれる「～」という文字などが「?」に文字化けする 日本語のタグが合算できない（Aブログ記事とBブログ記事に同じ日本語のタグを付与した場合、タグ一覧などで2件とならず、それぞれ1件として表示される） といった不具合を解消する方法を紹介します。 すでに多くのサイトで紹介されているので目新しい情報ではありませんがとりあえず。 １．原因 タイトルの不具合が生じる原因は、対象テーブルのカラムの照合順序が「ujis_japanese_ci」になっているためのようです。この照合順序を「utf8_general_ci」にすることで解消しているようです。 ちなみに、「照合順序」とはデータベースから select する際のルールを示すもののようで、 ujis/utf8：文字コード japanese/general：照合形式 c
空の改行 と 「～」 が文字化けする
WordPress2.5日本語版を使っています。 XPのIE７で投稿すると ほとんどの文字は文字化けしないのですが 空の改行や「～」が文字化けして「?」となってしまいます。 空の改行の部分のコードは<p>?</p>となっていました。 ちなみに、XPのFirefoxでは空の改行は無視され、「～」は「?」となりました。 utf-8で動かしています（つもりです）。 ページとフィードの文字コード「UTF-8」 MySQL の文字セット: UTF-8 Unicode (utf8) テーマファイルの文字コードはUTF-8Nで改行コードはLFです。 （CR+LFでもダメでした） htmlの先頭部分の記述 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml
Mac 環境構築 その6 - vim の文字コード設定 [mac]
Mac でも快適に vim7 が使えるようになり，vim7 からは unicode サポートが改善されているとのことなので，これを機に vim のデフォルト文字コードを UTF-8 にしてみた． vim の文字コード設定は少し複雑で，たまに間違って解説しているページも見かけるので，以下にまとめてみよう． まず文字コード設定に関係するオプションは， 'encoding' (短縮名 'enc') 'fileencoding' (短縮名 'fenc') 'fileencodings' (短縮名 'fencs') の3つ．fenc と fencs は名前が紛らわしすぎるので注意． vim は 'enc' で指定された文字コードをデフォルトとし，ファイルを開く時に 'fencs' で指定された文字コードから順番に 'enc' の文字コードへ変換を試み，成功したところでやめる，全部失敗したら変換せずに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
