L'eclat des jours(2012-04-05)
_ ユーザ入力の住所は怖い データベースには、ADDRESSみたいなカラムがあり、そこはvarchar(64)みたいになっているとしよう。 で、これまでは従業員が入力していた（たとえば、客が書いた配送先住所を手打ちで入れていたりとか）とする。 「これまで」というくらいだから、何も考えずにシフトJIS（でもその実体はWindows-31J）にしていたことだろう。 で、なぜかそれをユーザーがWebから直入力できるようにしてしまったとする。 これは、つくづくと相当な死亡フラグなのだが、問題となったという事例を見ない。 不思議だ。他の人たちはどうやっているのだろうか？ ユーザーは、こちらが驚くほど多様だ。 たとえば、「ザ・グレート歌舞伎町」というマンション名があるとする。 「・」を知っている人は「/」を変換するだろう。知らなくても普通はそう入力するような気がする。全然知らなくても「中黒」という用語
UnicodeとUTF-8の違いは？ - Humanity
という2chのスレがかなり勉強になったのでまとめ。 少しでも有用だと思ったものは載せてあるので結構長いです。 Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。 たびたび話が繰り替えされますがそれは確認ということで。 (元スレ) 追記：簡単にまとめました。 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:37 ビッグインディアンとかなんとかかんとか 3 ：デフォルトの名無しさん：2007/04/30(月) 20:05:48 また、頭の悪そうなスレが・・・ >>1 それは魚とマグロの違いを訊ねるようなもんだ。 4 ：デフォルトの名無しさん：2007/04/30(月) 20:06:49 魚と鮪というよりは、魚と刺身の違いのような気がする。 5 ：デフォルトの名無しさん：2007/04/
絵文字が開いてしまった「パンドラの箱」第4回--絵文字が引き起こしたUnicode-MLの“祭り”
普通では考えられない優遇策--「Google提案」を振り返る 皆さんこんにちは、毎度おなじみ（？）文字コード漫談の時間がやってまいりました。前回が3月の掲載ですから3カ月ぶりですか。今まで3回にわたって絵文字をUnicode及びISO/IEC 10646（国際符号化文字集合）に収録しようという提案の動きについてご説明してきましたが、今回から2回に分けて完結編をお届けします。どうぞよろしくお付き合いください。 ひさしぶりですから、ここまでのポイントを整理しておきましょう。前述した「提案」とは、もともとはUnicodeに収録するためにGoogleがAppleと共同で作成したものです。以下、主唱者の名前をとり「Google提案」と呼ぶことにします。これはこの2月に開かれた最高議決機関、UTC会議で承認されてUnicodeコンソーシアムの総意となりました。ついでGoogle提案はISO/IEC 1
絵文字が開いてしまった「パンドラの箱」第3回--Unicode提案の限界とメリット
前回までを振り返る--Unicodeコンソーシアムの影響力 前回はどこまでお話ししましたっけ。世界中の文字の収録を目的とした文字コード規格、Unicodeは、米国のIT企業を中心に結成されたUnicodeコンソーシアムが制定するデファクト規格に過ぎないこと。しかし公的な国際機関が定めるデジュール規格ISO/IEC 10646と同期することで、WTO/TBT協定にもとづき世界中の国々に普及させられるメリットを得たこと。 また、Unicodeコンソーシアム自体はオープンな組織だけれど、意志決定を行うUTC（Unicode Technical Committee/Unicode技術委員会）で一票を投じる権利を持つのは一握りの団体に限られること。そしてUTCはISO/IEC 10646のアメリカ・ナショナルボディであるL2委員会と合同でしか開催されておらず、同時にL2委員会とUnicodeコンソー
絵文字が開いてしまった「パンドラの箱」第2回--Googleの開けてしまった箱の中味
じつはコメントを送っていたNTTドコモ 最初に前回のおさらいをしておきましょう。スタート当初の携帯電話の絵文字には、キャリア間でメールのやり取りの中で文字化けしてしまう欠点があったこと、それを解決する仕組みをキャリア各社が作ったものの、その場しのぎの欠点の多いものであったこと、そして絵文字のUnicode符号化というのはそうした欠点を一挙に解決するはずであること。ついでにGoogleが絵文字のUnicode符号化を進めることで、キャリア各社は今まで自分たちが育ててきた絵文字の主導権を奪われてしまうということも。 それから前回の最後では、キャリア各社に対してGoogleの提案についてどう思うか、パブリックレビューに参加する意向があるかを聞いてみました。そこでの回答は、各社そろって消極的と受け取れるものでした。 ところが前回の掲載後に、NTTドコモがGoogleの絵文字メーリングリストに投稿し
絵文字が開いてしまった「パンドラの箱」第1回--日本の携帯電話キャリアが選んだ道
Unicodeが携帯電話の絵文字を収録へ 絵文字ってなに？そう聞かれても多くの人は、ああ、それはと答えられるはず。そう言えばちょっと前に『メールのハートマークにだまされるな！ 8割の女性は「恋人以外にも使う」』（RBB NAVI）なんていうニュースもありました。携帯電話の個人普及率が9割を上回る（平成20年内閣府消費動向調査）この国において、絵文字はごくありふれたものになっている現実があります。 2008年の11月27日、Googleが携帯電話で使われる絵文字を国際的な文字コード規格、Unicodeに収録しようというプロジェクト進行中であることを発表しました。では、このニュースは何を意味するのでしょう。そして私たちに何をもたらすのでしょう。今回から3回に分けて考えてみようと思います。 まず歴史を振り返ってみましょう。じつは絵文字を使ったのは携帯電話が最初というわけでありません。先行するもの
ユニコード一覧表:Unicode(文字入力可能)
ユニコード一覧表 エーゲ数字 Aegean Numbers 錬金術記号 Alchemical Symbols アルファベット表示形 Alphabetic Presentation Forms 古代ギリシア音符記号 Ancient Greek Musical Notation 古代ギリシア数字 Ancient Greek Numbers 古代記号 Ancient Symbols アラビア文字 Arabic アラビア表示形A Arabic Presentation Forms-A アラビア表示形B Arabic Presentation Forms-B アラビア文字補助 Arabic Supplement アルメニア文字 Armenian 矢印 Arrows アヴェスター文字 Avestan バリ文字 Balinese バムン文字 Bamum バムン文字補助 Bamum Supplement
文字化けクイズ(解答編) - 西尾泰和のはてなダイアリー
問題編をまだ見ていない人は文字化けクイズ(問題編)を先にご覧ください。 Q1(初級): 「こんにちは、世界」と表示されるはずなのになぜか「縺薙」などの難しい漢字が表示された。何が起きたか。 A1: UTF-8でエンコードされているバイト列をShift_JISだと思ってデコードするとこうなりますね。よく見かけるのがUTF-8で保存されているウェブページをブラウザで開いたときに自動判定に失敗してしまったケース。UTF-8の有名なサイトとしてはWikipediaなんかがあるので、これを開いてエンコーディングをShift_JISにすることで簡単に体験できます。Firefoxだとメニューから「表示」→「文字エンコーディング」→「日本語(Shift_JIS)」ね。 Pythonでこの文字化けを再現するコードはこちら: >>> print u"こんにちは".encode("utf-8").decode(
MySQL 文字化け問題を本気で直す
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
latin1 で作成したテーブルで運用しているデータを utf8 に変換する - 夜の Discovery
スプーキーズで rails を使って始めて作ったアプリケーションは、 社内用の簡単な就業管理システムなのですが、1年前に開発したもので当時は mysql と rails の文字コード周りの設定が曖昧なまま開発していたため、 テーブルの charset は latin1 だったりします。 rails 経由でデータを見る場合は問題ないのですが、MySQL Administrator や phpMyAdmin でデータを覗くと、 見事に文字化けしています。 そこで今回結構大きな機能アップをするタイミングで既存データを utf8 に変換してしまうことにしました。 まず latin1 で hoge_production データベースからデータをダンプします。 # mysqldump --default-character-set=latin1 hoge_production > ./db_dump.
jQuery.ajax で overrideMimeType する方法 - hogehoge @teramako
UbiquityでHTMLコンテンツとマッシュアップ - IkeTの日記 英語翻訳 - エキサイト翻訳のサービスを利用して英日翻訳するUbiquityコマンド。 このサービス、どうも翻訳後の文字コードがShift_JISで文字化けしてしまうという事が書かれていたので、ブクマコメントにてjQueryは知らんけど、XMLHttpRequestのoverrideMimeTypeでcharsetを指定すれば文字化けはしないはずですよとアドバイスした。 それを受けてid:IkeTさんが、jQueryではできそうもないからXMLHttpRequestを直に叩いたよ、と追記してくれました。 上記、記事を受けて、jQueryでスクレイピングする時の文字化け対処法 - 不動産屋のラノベ読みでid:Lhankor_Mhyさんが、jQueryでも出来るよ！的な記事を書いている。 ただ、この記事での書き方では た
エンコードマニアックス - 各種エンコードやハッシュを一発作成
SHA-256 e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 SHA-384 38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b SHA-512 cf83e1357eefb8bdf1542850d66d8007d620e4050b5715dc83f4a921d36ce9ce47d0d13c5d85f2b0ff8318d2877eec2f63b931bd47417a81a538327af927da3e
Unicodeエスケープ - sawatのブログ
付箋紙Greasemonkeyで、GM_setValueに登録した日本語の文字化け対策にencodeURIをつかったけど、encodeURIはURIをエンコードするための関数なのであんまり褒められた使い方ではないですね。しかも、encodeURIのようなURLエンコーディングは文字列をUTF-8にしてから、エンコード対象の各バイトを%xx形式*1で表現するので、日本語１文字をあらわすのにたいていの場合ASCII9文字が必要になって効率が悪いです。*2 なので、前述のような単に非ASCII文字をエスケープしたいだけのようなケースではUnicodeエスケープを使った方がよいです。Javaのpropertiesとかnative2asciiとかのやつです。 Unicodeエスケープは\uxxxx*3の形式であらわすので、たいていの日本語１文字はASCII6文字になって、URLエンコーディングに比べ
【インフォシーク】Infoseek ： 楽天が運営するポータルサイト
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://d.hatena.ne.jp/victor-h/20051201/1133361207
http://www.eris.ais.ne.jp/~hiro/html/