バックスラッシュと円記号の歴史と違い
最近知ったんですが、Windowsではキーボードから円記号（¥）の入力はできないらしい。 というのも キーボード右上の¥キー キーボード右下の\キー のどちらかを押せば円記号（¥）を入力できますが、どちらを押しても入力されるのは円記号（¥）に偽装されたバックスラッシュ記号（\ ）らしい。 皆さんこれ知ってました？ いや正直、これを聞いても「何言ってんだコイツ」って思う人が大半だと思いますし、私も今でもそう思います。 これは「バックスラッシュと円記号問題」などと言って、Windowsで昔から続く”呪い”のようなものらしいのですが この”呪い”を理解するには文字コードの歴史を知る必要があります。 文字コードとは？ その前に、そもそも文字コードってなによ？という根本的な話からすると、文字コードは「パソコンに文字を覚えさせるための暗記表」みたいなものです。 パソコンは2進数しか理解できないので あ
絵文字を支える技術について｜nona
はじめにこちらはmhidakaが建立したAdvent Calendar Day.3となります。 こんにちは、はじめまして、のなと申します。mhidakaさんのTweetを見つけて、初めてAdvent Calendarなるものを書いています。なにかお作法間違っていたら大目に見てください、よろしくお願いします。 軽く自己紹介をさせていただくと、普段はGoogleでAndroidのTextまわりの開発を行っており、DroidKaigiやShibuya APKで発表させていただいたりしています。最近はほぼ絵文字の話しかしてないので、絵文字おじさんと思われてそうですが、普段の仕事は絵文字に限らず、Androidの文字表示の部分は大抵面倒をみています。 今回この機会をいただいたので、どんな内容を書こうか迷ったのですが、やはり皆が読んで面白い内容というと、絵文字になるのかなぁ、ということで性懲りもなく絵
2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnicodeを使うために必要な知識をエンジニアのニキータ・プロコポフさんが解説しています。 The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me https://tonsky.me/blog/unicode/ Unicodeの歴史と利用率の推移をまとめたグラフは下図の通り。2000年代後半から急速に普及が進んでいったこ
Webサービスのフォームに住所を入力するとき、丁目や番地などを入れる欄について、数字やハイフンを全角で書かなければいけない「全角縛り」をやっているフォームをよく見ます。半角文字を入力してしまってエラーになったり、咄嗟に変換方法を思い出せなかったり、全角と半角の見分けが付きづらかったり、「全角縛り」であることが明示されていなかったり、「ハイフン」としてどの文字を使うべきかわからなかったり……と、鬱陶しさを感じることが多くあります。 「住所は全角のみ」（数字やハイフンも絶対に半角を受け付けない）という仕様がどういう経緯で生まれて、どう広まっていったのかが気になってる。いま存在しているのは過去の仕様や慣習の踏襲として理解できても、そもそもなぜそれらが生まれたのかが理解できない。 https://t.co/ZLz0Pw9GOK — ymrl (@ymrl) July 29, 2024 これについて
「//このコメントを消したら動かない」は大体Shift_JISの2バイト目が原因で発生する - Qiita
TL;DR Shift_JISにしただけでコンパイラが通らなくなる恐ろしい事件とその回避法について。 \ (¥)のASCIIコードは0x5c 表、能は良くない UTF-8は神 2023/12/06追記 誤りがあったので訂正します。こんな読まれると思ってなかったので正直ちょっとびっくりしていますが、いろいろコメントありがとうございました。（ツイート等全て拝見しました。） Shift_JISが悪いわけではない（デフォルトのエンコーディング設定の問題）→追記しました UTF-8にはUTF-FSSという仕様でこの問題が回避されている→マジでタメになる知識ありがとうございます OSによってデフォルトのエンコーディング設定が異なるせいで、デフォルト環境での動作がOSにより異なる→なるほど？（調査中） CRLFとLF問題では→なるほど？（調査中） そんな問題何を今更→UTF-8が出てから生まれたからです
携帯電話を用いたコミュニケーションの手法の1つに「絵文字」がある。日本で生まれたこの絵文字は、GoogleとAppleによって標準化され、今ではさまざまなスマートフォンやPCでもでも閲覧できる。 その一方、ドコモで販売されるAndroidスマートフォンには、いまだフィーチャーフォン時代の絵文字が表示される。しかしこれが今のスマートフォンにそぐわない側面が出ている。この絵文字問題について考察したい。 今の絵文字は日本のものをベースにGoogleとAppleが標準化を提案 絵文字を携帯電話に採用したのは、NTTドコモが最初だ。この後にDDI（現au）、J-フォン（現ソフトバンク）が採用する形で続く。絵文字にはシフトJISというコードが用いられていたが、互換性維持の空き領域に絵文字を割り当てたことから、キャリア間で互換性がなく、文字化けの要因となっていた。 後に自動変換サービスも展開されたが、使
「どうして数字とファイル名の間にアンダーラインを入れるんですか。スペースでいいですよね」非ITの人から言われそうなネタにツッコミ殺到した話
ふも @fumokmm システム屋です。最近はアーキテクト的なことをやっています。ITで遊ぼう！ 興味:プログラミング/AI/読書/数学/哲学/心理学/物理学/宇宙/投資/ゲーム(レトロRPG) もし私をフォローしていただけますと、私のフォロワーが増えます。※ポスト内容は基本的には個人の意見です ※Amazonアソシエイトプログラム参加者です onl.tw/XNHeeKq
受検票（受験票）が文字化け、印刷できない 神奈川出願
「出願システム」トラブルまとめhttps://kanagaku.com/toraburu 広告 Twitter「受検票が印刷できない」文字化けの様子神奈川県の受験サイトでの受験票印刷、iPadとスマホから印刷しようとしたら文字化けしてしまった。 PCから無事印刷できたから良かったけど、ちょっと焦ったよね pic.twitter.com/LcDbrGdRYj — ころ (@koronosuke01) February 9, 2024 https://web.archive.org/web/20240209035717/https://pbs.twimg.com/media/GF2xYdBagAA0NOG?format=jpghttps://megalodon.jp/2024-0209-1257-08/https://pbs.twimg.com:443/media/GF2xYdBagAA0NO
アイヌ語仮名「ㇷ゚」に対する正規表現の罠
導入 アイヌ語は日本語と異なり、閉音節（子音で終わる音節）も存在するので、表記の際音素文字であるラテン文字なら、そのまま p, t, k, m, n, s, r などの子音文字を後ろの付ければ良いわけなので、アイヌ語ローマ字表記では、何も問題が生じない。しかし、元々開音節言語である日本語に特化したカタカナのような仮名文字で表記する際、鼻音 n は「ン」でなんとかなる（実はそれでもまずい事になっているけどここでは割愛する）が、p, t, k, m, n, s, r, h はどうしようもないので、特殊の捨て仮名（小書き仮名文字）を利用することになっている。 具体的には以下のような特殊仮名文字（通称 アイヌ語仮名）である。 ㇷ゚ -p ッ -t ㇰ -k ㇺ -m ㇱ -s ㇻ -(a)r, ㇼ -(i)r, ㇽ -(u)r, ㇾ -(e)r, ㇿ -(o)r お分かり頂けただろうか… 問題 r
5人組アイドル「UNICODE」登場 デビューシングルは「HELLO WORLD」 IT関心層「検索しにくそう」
7月23日、アイドルグループ「UNICODE」（ユニコード）の日本におけるデビューシングル「HELLO WORLD」が発売された。日本人女性5人で構成されたグループだが、全員が韓国語を話せるバイリンガルで、プロデュースの拠点も韓国であることからK-POPアイドルをうたう。一方、グループ名やデビューシングルのタイトルから、SNSではITエンジニアなどIT関心層から「検索しにくそう」とする声も出ている。 UNICODEは、韓国では4月にデビュー。グループのマネジメントに携わるENPASS（東京都品川区）によれば「グループ名の由来は『UNICODE』は『Unity』（統一性）と『Code』の合成語で、『彼女たちの音楽は全ての国で共用されるコードのように全世界で通じる』という意味が込められている」という。 ただし、グループ名は文字コードの標準規格「Unicode」と、デビューシングルのタイトルはプ
23日に日本デビューを果たしたメンバー全員が日本人の5人組K-POPガールズグループ「UNICODE」（ユニコード）が27日、都内で『UNICODE日本デビュー記念ライブイベント』を開催。グループ名をめぐる声に答えた。 【写真】その他の写真を見る UNICODEは、昨年4月にABEMAで公開された日本最大規模のオンラインオーディション「PROJECT K（プロジェクト ケイ）」で選抜されたメンバーを含む5人組。MIO（ミオ）、HANA（ハナ）、ERIN（エリン）、SOOAH（スア）、YURA（ユラ）の5人全員が日本人で、韓国語も流ちょうに話せる。23日に日本デビューを果たした際、世間からは「全員日本人だったらK-POPではなくJ-POP」という反応があった。 「J-POPじゃないか」の声に対し、ERINは「中にはネガティブな声もありますが、私たちはすべて肯定的に捉えています」と言及。K-P
おじさんがよく使ってるけど、かわいくないから！！ 特にAndroidユーザは注意！ Androidの猫は可愛いけど、iPhoneは可愛くないよ！ 比較 ↓ https://yaytext.com/emoji/grinning-cat/ Appleの猫は可愛くないんだよ！ やめようね！
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」
日本で誕生し、現在では世界中の人たちが、 文字通り日常的に活用している「絵文字」。 海外でもそのまま「EMOJI」で通じる世界語となっており、 日本独自の絵文字がそのまま海外でも使用されていますが、 日本の文化に根差している絵文字は、 外国人には通じないこともしばしばあるようです。 今回ご紹介する写真は、日本人の方がドイツで撮影したもので、 フランクフルト国際空港のロゴが写っています。 そのロゴが漫画やアニメで多用される「怒りマーク💢」に見える事から、 投稿者のTatsunoshin（@tatsunoshin_ofc）さんは、 「フランクフルト空港常にキレてるんやけど何？💢」と、 率直な疑問をぶつけておられます。 海外の多くの人々にとって「💢」に「怒り」のイメージはなく、 むしろ漠然と見ていた謎のマークである事から、 この疑問が外国人には非常に面白く、興味深かったようで、 多くのサイ
まえがき ミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？ それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。なぜそのようなものが登場し、普及することとなったのか、この記事で解説する。 目次 まえがき 目次 凡例 この記事で使う名称について ビルマ語表記 コードポイント ラテン文字表記について Zawgyiの概説と歴史 Zawgyiとは Zawgyiのダウンロード Zawgyi誕生・普及の経緯 複雑なビルマ文字 ビルマ文字とUnicode 回避策としてのビルマ文字フォントの登場 Zawgyiの普及 Zawgyiの実装 実装の方針 文字の並べ替えをせず、左から右に書く 文字の形のバリエーション
Windowsでは、文字コードに「ユニコード」を使う。Windowsに搭載されているフォントはさまざまあるが、ユニコード文字を表示できるように、多数の文字の形が組み込まれている。 今回は、Windowsでユニコードを“見る”方法について解説する。なお、WindowsではUTF-16LEエンコードをUnicodeと表記する。ここでは、エンコードと混同されないために、文字仕様のUnicodeは「ユニコード」とカナ書きすることにする。 GUIアプリでユニコードを使う ユニコード文字は多数ある。それぞれの文字に割り当てられた文字コードをユニコードでは「コードポイント」と呼ぶ。コードポイントは、「U+」の後ろに16進数4桁または6桁で指定するのが正式な表記方法だ。たとえば、「漢」は「U+6F22」となる。ユニコード関連の文書やもちろん、インターネット内のウェブページでも同様の表記をすることが多い。
令和5年9/12にユニコード15.1が正式公開され、CJK漢字拡張-Iの他に“漢字構成記述文字”に指示記号4種、“CJK筆画”に拡張漢字構成記述文字の指示記号が1種類追加されました。ユニコードに採用されていない字の説明がしやすくなったのが重要です。𝚄+𝟹𝟷𝙴𝙵の一部除去指示記号は文字構成要素の一部が削除されていることを示す記号です。 漢字構成記述文字記号をラテン・ギリシャ・キリル各文字体系に応用した例で、ユニコードに採用されていない左右逆になる字形と逆になる字形を説明しやすくなりそうです。画像はにしき的フォントに含まれるユニコード未登録のラテン・ギリシャ・キリル各種字母を漢字構成記述文字記号で説明した例です。
行政機関が管理する膨大な数の「文字」がデジタル改革を阻んでいる。字形がわずかに異なる文字も含め、戸籍だけで約70万字。岸田文雄政権は自治体の情報システムを効率化するため、約7万字に絞り込む計画だ。だが、人によっては名前の漢字が変わる可能性があり、慎重論もくすぶる。文字を決めるのは誰なのか――。 スマホに表示できない 「スマートフォンやパソコンで表示できない文字がある。魑魅魍魎（ちみもうりょう）とした世界だ」 デジタル庁幹部は、戸籍などで使われてきた文字の特異性をそう表現し、「自治体システムを複雑にし、ガラパゴス化させた元凶だ」と言い切った。 政府は、自治体ごとに仕様がばらばらな戸籍や住民基本台帳、国民年金など20業務の情報システムを2025年度末までに標準化する方針を掲げている。 人口減少で公務員の確保が難しくなる中、システムの効率的な運用で行政サービスの質を維持する目的だ。多すぎる文字を
ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~
NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになると思います。 このように文字列の正規化形式が異なる場合、単純な比較演算子での評価は困難であり、文字列によっては想定外の挙動を引き起こす可能性があります。 特にMacファイルシステムではNFDを正規化方式と採用しているため、NFC/NFD問題が度々引き起こされています。先日(2023年03月27日)リリースされた「macOS 13.3 Ventura (22E252)」では、ファイル名に濁音や半濁音が含まれるファイルがFinderから開けなくなる
米Googleが提供する「Emoji kitchen」がSNSで話題だ。Emoji kitchenは2つの絵文字をミックスして新しい絵文字を生み出す機能。これまでAndroid向けキーボードアプリ「Gboard」で提供していたが、9月15日までにGoogle検索からも利用可能になり、X（元Twitter）ではカオスな絵文字を投稿するユーザーが相次いでいる。 Google検索版Emoji kitchenは「Emoji kitchen」と検索することで、PCとスマートフォンの両方で利用できる。選択できる絵文字は230種類以上あり、2つの絵文字を選ぶことで新しい絵文字を生成できる。 例えば「雨雲」と「にこやかな笑顔」を組み合わせると「にこやかな笑顔の雨雲」の絵文字を生成する。笑っている顔の代わりに「大声で泣いている顔」を組み合わせてやれば「大声で泣いている雨雲」ができるなど、ある程度パターン化さ
文字数のカウントはどれが正解なのか?
A. ユースケース次第でどう実装すべきかは変わる。Intl.Segmenter が万能というわけでもない。 (クソ最悪な小バズをかましてしまったので、贖罪も兼ねて記事を書きました) 「文字数を数える」のは難しい 「文字数を数える」実装は意外と難しいです。というのも、アルファベットや数字だけなら str.length でも正しく数えられますが、絵文字や異体字などが入った文字列は見た目どおりに数えられません。
日本語が本格的に使えるようになりだした頃、そのコードはJISコードを巧妙に細工してモード切替を不要にしたシフトJISと呼ばれるものが使われました。当時は英語のみが使える環境でプログラムが作られることが殆どだったので、これを移植して日本語を扱えるようにすれば充分だということだったのです。 文字コード 最初に使われたのはCP/M-86という説もありますが、一般的に使われるようになったのはMS-DOS(PC-DOS)が最初です。これはWindowsにも引き継がれ、Macintoshも日本主導で日本語化が行われたという経緯もありシフトJISが使われました。 さてシフトJISの問題は米国標準であるASCIIに対する拡張であって、それ以外の国のローカルコードのことを考えていないことです。例えば英国では一部の記号がポンド記号に置き換わっているコードが使われていましたし、他のヨーロッパ諸国の言語でもいろい
１．はじめに UTF-8 の文字コードのファイルには、BOM (Byte Order Mark) がある場合とない場合がある。 Unicode の規格では、BOM は、推奨されないが、許容されている。 ja.wikipedia.org 今回、必要があり、色々な OS や言語で、UTF-8 の文字コードのファイルを作成した時、BOM が記録されるか、されないか、を調べた。 ２．色々な OS や言語での BOM 2.1 Windows 10, Visual Studio, C++, _wfopen (_tfopen) // Visual Studio 2005 以降 保存 FILE *fp = _wfopen(name, _ L"w, ccs=UTF-8"); if (fp == NULL) { // エラー処理 } fwprintf_s(fp, L"ABC漢字123\n"); fclose(
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全ての開発者が知っておくべきUnicodeについての最低限の知識
「住所は英数字もすべて全角で入力してください」はなぜそうなったのか - Qiita
「ドコモの絵文字が見づらい問題」を考える なぜ、今のスマホにそぐわないのか
Googleが変体仮名フォント「Noto Hentaigana」をリリース ～蕎麦屋の看板などを再現可能／Unicodeに登録されている変体仮名286文字をカバー
「Tera Term 5.0」がリリース ～18年ぶりのメジャーバージョンでUnicodeに全面対応／来年で30周年を迎える老舗のリモートログオンクライアント
「慶応」も「コンクリート」も漢字1文字で ～Unicode標準に新しいブロックが提案中／手書きでしばしば用いられる「部首＋カナ」スタイルの略式漢字【やじうまの杜】
全員日本人のUNICODE、K-POP名乗る理由 「J-POPでは」「IT用語と混合する」の声にもポジティブ
😺←この絵文字、iPhoneだとかわいくないから注意して！
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
海外「日本には昔から存在するが…」 日本人だけが理解できる謎の世界的マークが話題に
ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ
Windows上でユニコードを「見る」方法
ユニコード15.1に採用された漢字構成記述文字記号｜Qvarie
コモンエイジ：文字を決めるのは誰?「ガラパゴスの元凶」戸籍70万字が阻むDX | 毎日新聞
絵文字×絵文字＝カオス？ 「Emoji kitchen」がSNSで話題 X上では大喜利状態に
Windowsコードページの謎｜kzn
UTF-8 の BOM について - 将棋プログラミング