[B! Unicode] lyiaseのブックマーク

MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ

MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。登録接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------

lyiase 2016/09/07

🍣🍻問題の発展系か。しかし、utf8同士だと途中で切られるのは知らなかった。これは覚えておこう。同じ現象にあったらこれが原因だと思うし。

リンク

IPA、文字情報基盤の約6万種の漢字をJIS第4水準の範囲に置き換える際の参照情報「縮退マップ」検証版を公開　

lyiase 2015/04/02

実際変換マップ見てみるとUnicodeの異体字セレクタが変換候補に入っているヤツが一切無いんだけどどういうことなの…。これは正規化表現先って言う認識で良いのかな。

リンク

MySQL と寿司ビール問題 - かみぽわーる

MySQL と Unicode Collation Algorithm (UCA) - かみぽわーるに関連するトピックで、 MySQL には寿司ビール問題というのがある。寿司ビール問題どっかで詳しくお話を聞くべきだよなぁ。。。— RKajiyama (@RKajiyama) March 18, 2015 これはどういう問題かというと、 MySQL の Unicode では binary collation にしてコードポイントで比較しないと🍣と🍺に限らず絵文字が同値判定されるという問題です。あれ？ MySQL の utf8mb4 charset って、4バイト文字同士を比較すると同じ文字扱いされる？ SELECT '🍣'='🍺' → 1 MySQL的には寿司とビールは同じ扱い。— とみたまさひろ (@tmtms) December 22, 2014 MySQLで select

lyiase 2015/03/23

へえ。これは盲点だった。最近はTwitterのデータも扱うから注意しないとなあ。

リンク

Unicode 7.0 Versioned Charts Index

New blocks are highlighted in yellow. The "New Characters" column gives the number of new characters encoded in Unicode, Version 7.0 for previously existing blocks, or the total number of characters for new blocks. For information about these charts, please see Character Code Charts Help and Links. Block Name New Characters

lyiase 2014/06/20

Unicode

リンク

Index of /charts/PDF

Index of /charts/PDF NameLast modifiedSizeDescription Parent Directory - 10FF80.pdf2002-01-30 16:58 29K ErrorLink.pdf2003-05-01 16:53 32K Readme.txt2010-02-18 17:27 91 U0A00.pdf 2023-08-25 13:19 111K U0A80.pdf 2023-08-25 13:19 115K U0B00.pdf 2023-08-25 13:19 118K U0B80.pdf 2023-08-25 13:19 158K U0C00.pdf 2023-08-25 13:19 138K U0C80.pdf 2023-08-25 13:19 138K U0D00.pdf 2023-08-25 13:19 142K U0D80.pdf 2023-