文字コード | 衆議院議員 河野太郎公式サイト
2023.05.10 官報に使われる「官報文字」というものがあります。 そこには渡辺さんの「辺」の異体字が１４０文字も登録されています。 日本語の常用漢字には２１３６文字ありますが、そこには邉や邊などは入っていません。 そこでＪＩＳの第四水準までを含むJIS X 0213という標準を定め、スマホやパソコンではここまでを標準的に表示できるようにしています。 ところが我が国の戸籍で使ってもよいとされている文字はそれを遙かに超えていて、少なくとも５５，２７０文字もあります。 全ての国民の氏名をコンピュータで扱えるようになることを目指して、戸籍統一文字や住基ネット用の統一文字を網羅した「文字情報基盤」を２０１１年に策定し、それにあわせたフォントを作成し、無償で提供しています。 この「文字情報基盤」（ＭＪ）には、５８，８６２文字が含まれています。 しかし、このＭＪを全庁的に採用している自治体は、川口
A Field Guide to Japanese Mojibake
When you open a document with an encoding different than the one it was created with, it's not possible to display the original text, and instead a garbled mess of corrupted characters are printed out. These are called "mojibake" in Japanese, and the word has also been borrowed into English. While mojibake aren't readable by humans, it turns out that different kinds of mojibake have different visu
BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)
かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。 しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄などで用いるWindows Searchが、UTF-8にはしっかり対応していないのである。正確に言うと、Windows Searchはファイル先頭に「BOM」のあるUTF-8は認識して正確にインデックス化し、ファイルの全文検索が可能になるが、BOMのないUTF-8では正しくインデックス化できず、ファイルの全文検索はASCIIコードのみ可能で、日本語などの非ASCII文字では全文検索ができない。 同じ内容のテキストをUTF-8、UTF-8 BOM付き、UTF-16ビッグエ
文字列を反転させたい｜nona
こんにちは。徒然なるままにTweetを眺めていたら、Tanakaさんがこのようなことを呟いていました。 そういやRustのStringにreverseメソッドないなと思ったけど、まあよく考えたらUTF-8で文字逆転させるとか地獄のような話になるしそもそも長さが変わるケースとかあったりしそうで怖いわな･･･(´･_･`) — Hideyuki Tanaka (@tanakh) May 1, 2021 背景等はよくわからないですが、文字列の反転というのは確かに難しい問題ですし、どう難しいのかというのを、ちょっと真面目に考えて解説してみました。というノートです。 本文での表記についてこれから文字とそのバイト表現の話をしていきます。文字のエンコードの方式で同じ数値でも色々意味が分かれてしまいますので、本文では以下のように表記することにします。 Unicodeコードポイント（以下、単にコードポイント
Windows と日本語のテキストについて - Windows Blog for Japan
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
Google、絵文字を組み合わせた「ハート付きうんち」などを使える「Emoji Kitchen」開始
米Googleは2月12日（現地時間）、Android向けキーボードアプリ「Gboard」の新機能「Emoji Kitchen」を発表した。2つの絵文字をミックスしてカスタマイズした絵文字を使える。同日からすべてのGboardユーザー向けにロールアウトしていく。 Gboardをメインのキーボードに設定し、Gmail、Googleのメッセージ、メッセンジャー、Snapchat、Telegram、WhatsAppなどのアプリでの入力で絵文字を選ぶと使える（本稿執筆現在、筆者のGboardではまだできない）。 自分で新しい絵文字を作れるわけではないようだ。公式ブログには、「絵文字をタップすると、Googleのデザイナーが特別に手作りしたステッカーが（候補として）多数表示される」とある。 関連記事 「Unicode Emoji 13.0」決定──タピオカドリンクも遅まきながら登場 Unicode
絵文字を支える技術の紹介 - Qiita
絵文字を扱う上で知っておくと良いかもしれないことをまとめてみました。 Ruiさんの記事を見て、「EmojiはSurrogate Pair以外にも、色々とおもしろい技術があるんですよ〜」思って書いてみました。 なお、書いた人はAndroidの人間なので、特に表記していない場合は主にAndroid上での動作のことを書いてます。 またQiita初めてなので読みにくい部分等がありましてもご容赦ください。 サロゲートペア(Surrogate Pairs) このエントリーを書くきっかけにもなったサロゲートペア。なぜこれが導入されたかの経緯は、Ruiさんのブログエントリーに譲るとして、技術的な解説をします。 サロゲートペアは、U+0000..U+FFFFに収まりきらなかった範囲のUnicodeコードポイント(U+10000..U+10FFFF)を、なんとか16bitでエンコードしようとして導入されました
Ninja Cat: The Windows-only Emoji
Microsoft surprised many last week by including an overhaul of all emojis in the preview release of the Windows 10 "Anniversary Update". There's plenty to cover, but I first want to look at this guy who is new to Segoe UI Emoji[1]: Above: Ninja Cat is a set of emojis exclusive to Windows. Not a standard Unicode emoji character, the Ninja Cat is part of an ongoing Windows Insider meme[2] and comes
絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
Unicode 10.0.0
Unicode® 10.0.0 2017 June 20 (Announcement) Version 10.0.0 has been superseded by the latest version of the Unicode Standard. This page summarizes the important changes for the Unicode Standard, Version 10.0.0. This version supersedes all previous versions of the Unicode Standard. A. Summary B. Technical Overview C. Stability Policy Update D. Textual Changes and Character Additions E. Conformance
人間の目で見抜けないURL偽装がフィッシング詐欺に悪用される可能性、Firefoxでの対策はコレ
通信の安全を保証するプロトコル「HTTPS」が採用されているURLの表記が正しければ、それが正規サイトだと認識するのは自然なことですが、ブラウザのURL表記上からは見抜けないフィッシング詐欺の危険性が指摘されています。このフィッシング詐欺は「homograph attack(ホモグラフ攻撃)」を進化させた手法を用いており、ブラウザに内在する脆弱性を突いたもので、人間が画面表示から詐欺サイトであることを見抜くことは不可能。現実問題として「ブラウザ側の対応を待つしか対策法はない」と言える状況です。 This Phishing Attack is Almost Impossible to Detect On Chrome, Firefox and Opera http://thehackernews.com/2017/04/unicode-Punycode-phishing-attack.htm
「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記
自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLDDTM— moriyoshit (@moriyoshit) March 9, 2017 などというツイートをしたところ、思ったより反響があったのでまとめておく。 上記ではあいまいに「バリエーション」などと書いたが、Unicodeとそれを扱う環境においては、バリエーションと一口に言っても次のような状況がある。 意味論的に等価な異なる字形の集合 同じ字形で異なるコードポイントの集合 aは結構なじみ深いと思う。 a-1. 異なるコードポイントにそれぞれ異なる字形が割り当てられているもの 例: 「東」(U+6771) ⇔「东」(U+4E1C) 「斉」(U+6589) ⇔「齊」(U+9F4A) 「高」(U+9AD8) ⇔「髙」(U+9AD9) a-2. 同じコードポイ
(Windows) Python3でのUnicodeEncodeErrorの原因と回避方法 - Qiita
背景 strがUnicodeになってしまったので、 従来のShift-JISに代表されるようなCP932はどうなっているのか？ Windowsで標準出力する際に、ascii変換エラーになってしまう場合。 あれは一体なんなのか、それを整理した。 環境 Windows Python3 (Anaconda3) WindowsとPythonとエンコーディング Python文字列のエンコーティング Python3では、文字列に関する型は2種類ある。 - str型(Unicode専用) - byte型(任意のエンコーディング) strは、UTF-8専用。それ以外のエンコーディング文字列は格納できない。 一方、byteは任意の円コーティング文字列を格納可能。もちろんUTF-8も可能。 strからbyteに変換するには encode()、逆は、decode() で変換可能。 どっちがどっちか分からなくなっ
なぜ日本が世界共通語「Emoji」を生み出したのか、そしてその影響とは／古川健介『TOKYO INTERNET』｜PLANETS
なぜ日本が世界共通語「Emoji」を生み出したのか、そしてその影響とは／古川健介『TOKYO INTERNET』 Daily PLANETSでは毎月第2水曜日に、古川健介さんの連載『TOKYO INTERNET』を配信しています。 今回のテーマは、日本社会で生まれ世界中に普及した「Emoji」です。この独特の表現形式がどのようにして生まれたのかを、日本語のデザイン特性や表現の歴史から紐解きます。 (イラスト・たかくらかずき) 絵文字の簡単な歴史を振り返る今回のテーマは「絵文字」です。絵文字の普及には日本が大きな影響を与えており、日本が絵文字を生み出した、といっても過言ではありません。 絵文字の起源には諸説あり、いま使われているような絵文字の原型は、もともとはアメリカの雑誌で使われた顔文字から、という説(※1)や、「:-)」という横から見た時に笑顔に見えるという、英語圏の顔文字が起源だ、とい
The Original NTT DOCOMO Emoji Set Has Been Added to The Museum of Modern Art’s Collection
Shigetaka Kurita, NTT DOCOMO. Emoji (original set of 176). 1998–99. Software and digital image files. Gift of NTT DOCOMO Inc., Japan We are thrilled to announce the addition of NTT DOCOMO’s original set of 176 emoji to the MoMA collection. Developed under the supervision of Shigetaka Kurita and released for cell phones in 1999, these 12 x 12 pixel humble masterpieces of design planted the seeds fo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
外字を使うのはやめてくれ！ Unicodeへの移行を呼びかけるMicrosoftの公式ブログ記事が話題に／今や「メモ帳」でさえテキストファイルをUnicodeで保存する時代！ Shift_JISはやめよう【やじうまの杜】
GitHub - tonton-pixel/unicopedia-plus: Developer-oriented set of Unicode, Unihan & emoji utilities wrapped into one single app, built with Electron.
絵文字、ニューヨークMoMAのコレクションに
【やじうまWatch】この絵文字の正体は何？ 日本を訪れて元ネタを探した外国人の写真がそっくりすぎると評判
Engadget | Technology News & Reviews
