Unicode Character 'REPLACEMENT CHARACTER' (U+FFFD)used to replace an incoming character whose value is unknown or unrepresentable in Unicode compare the use of U+001A as a control character to indicate the substitute function
文字化けテスター - instant tools
任意の文字列を意図的に文字化けさせるツールです。また、文字化けの復元を試みることができます。 ひらがな・カタカナ・漢字・その他全角文字などを文字化けさせます。ASCII文字(半角英数字記号)は文字化けしません。 文字化けした文字列は、おおむね6～8割程度の部分を復元できるケースが多いです。 全体を完全に復元できるケースもありますが、 文が長いほど、完全に戻せる可能性は低下します。 完全に復元できる文字化けを作成したい場合には、短めの文で試すことをお勧めします。 その他、復元割合を高めるためのヒントを書いておきます。 クエスチョンマーク(?)に置き換えられている文字化けの部分は、 「情報が失われている文字化け」であり、その部分は復元できません。 文全体が「単独で安全な文字」だけで構成されていれば、必ず完全に復元できます。 ただし「単独で安全な文字」の直前の文字が「単独で安全な文字」ではない場
法務省 戸籍統一文字情報 検索条件入力
法務省トップ 検索条件入力 文字検索 ←利用の前に必ず「使い方」を御確認下さい。 検索条件を指定して[検索]ボタンを押して下さい。 読み AND検索 入力したキーワードのすべてを含む語を検索します OR検索 入力したキーワードのいずれかを含む語を検索します 画数 画 （ 範囲： 画 ） 部首 部首選択1 （クリア） 部首選択2 （クリア） 部首選択3 （クリア） 子の名に 使える漢字 人名用漢字 常用漢字 JIS水準 文字コードを入力する場合は、その他の検索条件は指定できません。 文字コード 戸籍統一文字番号 UNICODE シフトJIS (C)Copyright Ministry of Justice
第65回 MySQLと文字コード | gihyo.jp
みなさんはMySQLの文字化けに悩まされたことはありますか？ MySQLではさまざまな文字コードと照合順序を扱うことができます。今回は、MySQLの文字コードの設定について見ていきたいと思います。 文字コードと設定 MySQLではデフォルトでlatin1という文字コードになっています。この文字コードは日本語を扱うことができないため、少し昔であればujisやsjis、いまでは多くの方が3バイトのutf8や、4バイト文字が扱えるutf8mb4に設定して利用されていると思います。 MySQLで設定できる文字コードは、SHOW CHARACTER SET構文で確認することができます。また、SHOW VARIABLES構文から現在設定されている文字コードを確認することができます。 > SHOW CHARACTER SET; +----------+--------------------------
HTML文書はUTF-8に書き換えないとダメ？ - らいちのヒミツ基地
Introduction こんにちは。阿豆らいち（@AzuLitchi）です。 今回はhtml標準がutf-8に・・・という話について調べてみました。 とうじょうじんぶつ 阿豆らいち： フリーランスのデザイナー。初めて使ったhtml編集ソフトは「クラリスホームページ」。 ミンスクさん： らいちの妻。有能。 HTML文書のエンコーディングはUTF-8に決定？ id:momdo さんのこちらの記事の件を調べてみたのでまとめました。 HTML文書は文字エンコーディングUTF-8でなければなりません - 水底の血 文字エンコーディング宣言が存在するかどうかにかかわらず、文書のエンコードに使用される実際の文字エンコーディングはUTF-8でなければならない。 4.2.5.5 文書の文字エンコーディングを指定する - HTML Standard 日本語訳 リンク先のHTML Standard 日本語訳に
文字コード地獄秘話 第1話：Unicodeにおける全角・半角 - ALBERT Engineering Blog
ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか
ドラえもんの特殊顔文字はどういうしくみでできているか｜Colorless Green Ideas
はじめに 本日2013年12月1日は、マンガ『ドラえもん』の原作者である藤子・Ｆ・不二雄の80歳の誕生日に当たるそうだ [1] 。 これを記念してというわけではないと思うのだが、11月26日に『２ちゃんねる』に「ドラえもんの特殊顔文字できたｗｗｗｗｗｗｗｗｗｗｗ」というスレッド [2] が立った。そのスレッドには、文字だけを使って『ドラえもん』の主要キャラクターの顔が表現されていた。以下に、同スレッドで紹介されていた顔文字を再現したものを掲げる。 ドラえもんの特殊顔文字 こうした顔文字は、アクセント符号などのダイアクリティカルマークをつけることで作られている。どのようなしくみになっているのか以下で詳しく見ていこう。 特殊顔文字のしくみ 従来の顔文字は（-_-）や（＾＾）のように単純な記号で、単純な図像を表現するのみであった。しかし、近年様々な文字を組み合わせて、より表情豊かな顔文字が作られ
SoftBank iPhoneのShift_JISがすごいことになっている件 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
下図は、SoftBank iPhoneのMailが用いるShift_JISのIBM拡張文字領域*1。どうだ、驚いたろう。 SoftBank iPhoneのMailは、charset=Shift_JISをよく使う。髙村薫の「髙」や宮﨑あおいの「﨑」などのWindows外字もShift_JISで送るし、絵文字もShift_JISで送る。しかし、WindowsのIBM拡張文字領域とSoftBankの絵文字領域は、もともと衝突しており、共存できない。なので、SoftBank iPhoneのShift_JISでは、IBM拡張文字のうち下図ピンク部分が使えない。 だったらその分は、NEC選定IBM拡張文字のほうを使えばいいじゃないですか、どうせダブってるんだから（下図）。というのが、大ざっぱに言えば、SoftBank iPhoneのMailが用いるShift_JISである。 その外字領域をまとめると、
私はいかにして様々なブラウザの脆弱性を発見したか - 葉っぱ日記
先日、Twitterでどのように脆弱性を見つけるかに興味あるんだろうかと書いたら、意外に色々な人から反応があったので、これまでに自分が見つけた脆弱性のいくつかについてどういう経緯で見つけたのかちょっと書いてみます。 JVN#89344424: 複数のメールクライアントソフトにおける、添付ファイルによりメールクライアントソフトが使用不能になる脆弱性 これは、添付ファイル名にUnicodeの円記号を含めておくと、メーラ側でShift_JISに変換する際にバックスラッシュに変換されてしまって想定外のディレクトリに添付ファイルが展開されてしまったり、あるいは「©on」のような名前のファイルを添付しておくことでShift_JISに変換してCONというファイルを開こうとしてメーラが固まってしまうという問題です。これは、私自身が文字コードの問題について調べ始めた初期段階で、Unicodeからの変換で問題
小形克宏の「文字の海、ビットの舟」――文字コードが私たちに問いかけるもの
小形克宏の「文字の海、ビットの舟」 ―― 文字コードが私たちに問いかけるもの [Reported by 小形克宏] 第1部 2000JISがやってきた 第1回 2000JISとはなんだ？ （2000年1月19日） 第2回 2000JISの原案はなぜ修整されたか？ （2000年1月26日）加筆修正 2000年2月22日 第3回 前回までの訂正と補遺 （2000年2月2日）加筆修正 2000年2月22日 第4回 JCS委員長、芝野耕司の反論（前編） （2000年2月9日）加筆修正 2000年2月12日 第5回 JCS委員長、芝野耕司の反論（後編） （2000年2月16日）加筆修正 2000年2月22日 特別編 MacOS Xの新フォントと2000JISの関係 （2000年2月23日） 特別編2 ISO/IEC 10646で却下された(?)JIS X 0213の新漢字一覧表 （2000年3月8日
日本語と文字コード
コンピュータは主にアメリカで発達してきたため、未だにアルファベットや数字などの1バイト（7/8ビット）を基本単位として扱う前提で作られているものが中心です。そのなかで日本語のように多くの文字を必要とする言語は、1文字を表わすのに2バイト以上を要するため、いろいろな困難が伴います。特にインターネットを通じて様々な環境の情報を交換するにあたって、思わぬ問題に遭遇するケースが増えてきました。ここでは、こうしたことを考えるために必要な、日本語の文字コードに関する基本を整理しておきます。 JIS漢字コード（情報交換用符号化漢字集合） 区点コード JISコード（符号化方式） シフトJISコード EUCコード ASCIIとJISローマ字 Unicode 主要コード規格のまとめ 参考文献、リソース 文字化けしたメールの復元 | The Web KANZAKI ホームページ JIS漢字コード（情報交換用符号
円記号問題とウェブブラウザ - はてなるせだいあり
起源 円記号問題の始まりは1960年代にまで遡ります。1967 年に文字コード最初の国際規格である ISO R 646 が制定されましたが、その規格では 0x5C をはじめとして一部の文字が置き換え可能になっていました。アメリカの制定した ASCII では 0x5C に対して REVERSE SOLIDUS を割り当てました。一方、日本版である JIS X 0201 では YEN SIGN を割り当てました。 問題の拡大 7bit では扱いきれない文字を扱うため、世界で ISO 646 系のコードを拡張した文字コードが生まれました。日本ではシフトJIS、日本語 EUC、いわゆる JIS コードの三種類の文字コードが現れ、それぞれに多くの亜種が生まれました。では、それぞれの文字コードの 7bit 領域は ASCII と JIS X 0201 のどちらだったのでしょうか。 日本語 EUC 日本
新常用漢字表が迫るUnicode移行、「シフトJIS」では対応不可能 | 日経 xTECH（クロステック）
普段使用する漢字の指針となる「常用漢字表」が、2010年度にも改正される。新たに追加される196文字の中に、文字コード「シフトJIS」にない漢字が含まれているため、情報システムに大きな影響を与えそうだ。最新のJIS規格「JIS X 0213:2004」の改正に委員としてかかわった京都大学人文科学研究所附属東アジア人文情報学研究センターの安岡孝一准教授が、問題の核心を解説する。 （日経コンピュータ） 2009年11月10日、文部科学省の「文化審議会国語分科会」において、常用漢字表の改正案が承認された。現行の常用漢字表にある1945字から「銑」「錘」「勺」「匁」「脹」の5字を削除し、新たに196字を追加する改正案で、2010年度の内閣告示を目指している。 新しい常用漢字表が告示されると、「シフトJIS」や「EUC-JP」といった従来からある文字コードを使用するシステムで大きな問題が生じ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文字のチェック方式 - マイクロソフト系技術情報 Wiki
「絵文字に平等をサポートしてください」人種差別の指摘にゆれるUnicode 
文字情報基盤整備事業 | IPA 文字情報基盤整備事業に関するWebサイトです
IPA、戸籍や住基で利用される約6万の漢字を収録した「IPAmj明朝」を正式公開