全ての開発者が知っておくべきUnicodeについての最低限の知識
2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnicodeを使うために必要な知識をエンジニアのニキータ・プロコポフさんが解説しています。 The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me https://tonsky.me/blog/unicode/ Unicodeの歴史と利用率の推移をまとめたグラフは下図の通り。2000年代後半から急速に普及が進んでいったこ
あくび顔・カワウソ・盲導犬など59種類230パターンの新絵文字が「Unicode 12.0」で追加される
2019年3月5日にリリースされるUnicode 12.0に先んじて、登録される絵文字だけをまとめた「Unicode Emoji 12.0」のデータファイルが2月5日に公開されました。Unicodeの開発を調整する非営利団体「The Unicode Consortium」によると、Unicode 12.0からは新しく59種類230パターンの絵文字が追加されるとのことです。 The Unicode Blog: Unicode Emoji 12.0 — final for 2019 http://blog.unicode.org/2019/02/unicode-emoji-12-final-for-2019.html 230 New Emojis in Final List for 2019 https://blog.emojipedia.org/230-new-emojis-in-final
The Unicode Standard, Version 16.0
Symbols for Legacy Computing Supplement Range: 1CC00–1CEBF This file contains an excerpt from the character code tables and list of character names for The Unicode Standard, Version 16.0 Characters in this chart that are new for The Unicode Standard, Version 16.0 are shown in conjunction with any existing characters. For ease of reference, the new characters have been highlighted in the chart grid
新しい絵文字を追加した「Unicode バージョン16.0」公開、「目の下にクマのある顔」「ヒエログリフ」「矢印の追加」「日本の文字情報基盤の情報を追加」など盛りだくさん
Unicode規格のバージョン16.0がリリースされました。新たに3995個のヒエログリフや7つの新しい絵文字などが追加されていて、Unicode規格で定義された文字は全部で15万4998文字になりました。 The Unicode Blog: Announcing The Unicode® Standard, Version 16.0 https://blog.unicode.org/2024/09/announcing-unicode-standard-version-160.html Unicode 16.0では、ヒエログリフや矢印、西アフリカで使われるガライ文字など全部で5185文字が追加されています。 黄色背景になっているのが、新たに追加された(PDFファイル)矢印です。 以下は追加された(PDFファイル)ヒエログリフの一部。 古いコンピューターで使われていた700近くの(PDFフ
新絵文字「毛むくじゃらの生き物」「漫画的ボコスカ表現」「歪んだ顔」「トロンボーン」「シャチ」「宝箱」「落下する破片」を含むUnicode 17.0リリース
文字コードの標準規格であるUnicodeのバージョン17.0が2025年9月9日にリリースされました。新たに4種の文字や複数の絵文字を含む4803文字が追加され、Unicode規格で定義された文字は合計15万9801文字となりました。 The Unicode Blog: Unicode 17.0 Release Announcement https://blog.unicode.org/2025/09/unicode-170-release-announcement.html Unicode 17.0.0 https://www.unicode.org/versions/Unicode17.0.0/ Tomorrow’s Emoji, Today: Unicode 17.0 Has Arrived https://jenniferdaniel.substack.com/p/tomorrow
波ダッシュ・全角チルダ問題 - とほほのWWW入門
波ダッシュは「上がって下がる」字形で中国や日本では長音符や「～から」を示す文字として使用されます。 しかし Unicode 7.0 以前では「上がって下がる」ではなく「下がって上がる」字形として定義されていました(字形誤り)。 これは Unicode 8.0 で「下がって上がる」字形から「上がって下がる」に修正されました。 Windows XP 以前では「下がって上がる」表記、Windows Vista 以降では「上がって下がる」表記となります。 上記の理由からか Windows では今でも「～から」を示す文字として波ダッシュではなく全角チルダを用いています。 JIS準拠の Shift_JIS では 0x81 0x60 を U+301C とみなします。 Windows版シフトJISの CP932 では 0x81 0x60 を U+FF5E とみなします。 0x81 0x60 を U+301
目に見えない文字を悪用してサイトを好き放題荒らされた話 - Qiita
ある日のこと 僕の運営している『ブラウザで遊べる絵チャット（令和最新版）』に、このような投稿がされてしまいました。 正直こんな荒らしは毎日のようにあるのですが、普段であればすぐに他のユーザーによって通報され、対処されます。 しかし、このユーザーは、何故か他ユーザーに通報されることなく、荒らし続けることができていました。 スクショをよく見ていただきたいのですが、通常であれば、「善良ユーザーA」のように発言の横にユーザーが名が表示され、そのユーザー名をクリックすることでプロフィールを表示することができるようになっています。 しかし、荒らしているユーザーには、なんと名前がないのです。 名前がないと、ユーザー名を押下することができず、プロフィールも表示できません。 違反行為の通報は、プロフィールから行うようになっているため、このユーザーは他ユーザーから通報されることなく、好きなだけおちんちん祭りを
Unicode 版美乳テーブルを探せ
美乳テーブルとは 「美乳テーブル」という物がある。 「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。 具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文字の集合に付いた名前。 “美” = 0xC8FE、“乳” = 0xC6FD。 各文字エンコーディングの事情 但し、これは EUC-JP での話。 一応、文章の先頭付近に日本語の文字を書いておくのは、他の文字エンコーディングでも認識のヒントにはなるけど。 逆に「Shift_JIS の文章を EUC-JP だと誤認識されない様にする」には、EUC-JP にはないバイト値の 0x80〜0xA0 を書けばいいんだろうけど、これは沢山ありそうだから、慎
おそるべき絵文字
import "unicode" func check(r rune) string { switch { case unicode.Is(unicode.Variation_Selector, r): return "Variation Selector" case unicode.Is(unicode.Sc, r): return "Symbol/currency" case unicode.Is(unicode.Sk, r): return "Symbol/modifier" case unicode.Is(unicode.Sm, r): return "Symbol/math" case unicode.Is(unicode.So, r): return "Symbol/other" case unicode.Is(unicode.Lm, r): return "Letter/mo
文字コード嫌いだ - Qiita
WEBシステムの構築をしていて、文字コード関連でつまずくことがよくある。 そのたびに、何やったけ？って悩むことが嫌なのでまとめていきます。文字コード関連は、ほんとにめんどくさくていやだ。クライアントも、サーバもDBも全部UTF-8にしてやれば良いのに。。。 全角チルダ問題 簡単にいうと、SJISとUTF-8で文字コードもマッピングがずれている問題。 なんでこんなことになっているのか。。。 どのような事象か 見た目がほぼ同じな「〜」（波ダッシュ）、「～」（全角チルダ）という二つの文字がそれぞれUTF-8で「0x301C」「0xFF5E」の文字コードが割り当てられています。しかし、Sjisでは、「〜」（波ダッシュ）が「0x8160」、「～」（全角チルダ）は対応なしとなっています。そのため、SJISに変換するときに対応する文字がないということがあり得てしまいます。 ■SJISとUnicodeの変
波ダッシュ、全角チルダ問題まとめ - Qiita
そもそも、波ダッシュと、全角チルダって? 波ダッシュ 〜 0x8160(Shift_JIS) 0x301C(UTF-8) WAVE DASH(ユニコードポイント : U+301C) 日本語の文字 範囲を表す : 大阪 〜 東京 など 省略記号 : 〜 からの 全角チルダ ～ Shift_JIS には無い 0xFF5E(UTF-8) FULLWIDTH TILDE(ユニコードポイント : U+FF5E) いろんな意味がある文字 アルファベットの上につけて、鼻音を表す : ñ 数学記号 (ほぼ等しいの意味) ホームディレクトリを表す記号 : ~/download Unicode 側での波ダッシュ割り当てミス Shift_JISの波ダッシュ を Unicode に割り当てるときに、 波ダッシュの形を間違えて、"下がって上がる" ように表記してしまった ※ unicode 8.0 で修正されました
Windows と日本語のテキストについて - Windows Blog for Japan
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ OneDrive Outlook Skype から Teams への移行 OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ エンタメ Xbox Game Pass Ultimate Xbox とゲーム PC ゲーム 法人向け Microsoft AI Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Power Platform Windows 365 開発者 & IT Microsoft 開発者 Microsoft Learn AI マーケッ
人種差別の指摘にゆれるUnicodeの絵文字
Unicodeの絵文字に、どのような問題が指摘されているのか、そしてその経緯はどのようなものかを説明します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MZ-700フォントのUnicode表現
https://x.com/youkan700/status/1903824609734279611
https://x.com/_reizei_wow/status/1903996907296522741
GitHub - dogatana/mz700.ttf-experimental: MZ-700 フォントの TTF ファイル化の試み
Windows と Unicode とボク
外字を使うのはやめてくれ！ Unicodeへの移行を呼びかけるMicrosoftの公式ブログ記事が話題に／今や「メモ帳」でさえテキストファイルをUnicodeで保存する時代！ Shift_JISはやめよう【やじうまの杜】
Windowsキー + ピリオドで絵文字入力😨
