MySQLの日本語コレーション - tmtms のメモ

4月にMySQLの日本語コレーションについて語り合う場に呼ばれていろいろ話を聞いてきました。すぐにブログを書こうと思ったんですが、はや2ヶ月経過…。 ときどき、自分がMySQLの文字コードに関して発表する際に、次のようなスライドをいれてるんですが、 MySQL 8.0 でとうとう日本語コレーションが入ることになったのに、なんか期待してたのと違いました。 で、その辺の話を聞きました（2ヶ月も経ってるのでうろ覚え）。 Q. わざわざ日本語ロケール作るんだったら日本人が扱いやすいロケールにしてほしい utf8mb4_ja_0900_as_csはMySQLが独自に考えたものではない。Unicode規格に従っている。過去にいろいろ独自にやって失敗してきてるので、もう独自にやるのは避けたい。 ai(accent insensitive)で「ハ」=「パ」=「バ」になるのも、ci(case insensi

[tmtms]

日本語の扱いがおかしいと日本人がMySQLに対して言うのは「お前がゆーな！」状態でした。申し訳ありませんでした！

[sh2]

今後もutf8mb4_binでいこうと思った…

[lnimroder]

UnicodeはCJKのことに無知なので、Unicodeに従ってるから自分は悪くないですーというのはアホの子供が言うレベルのことだ。独自に決めるのが怖いならユーザーに意見を聞くなりすればいい。

[tohokuaiki]

失敗だったのかよｗｗｗ 確かに使わないけどな。“過去にいろいろ独自にやって失敗してきてるので”

[koyancya]

ヤバい...... -> "長音記号「ー」の順序が前の字によって異なる。たとえば「アー」は「アイ」よりも前だが「ウー」は「ウイ」よりも後。"

[yoshikidz]

これ知らんかった。今頃なんでJapaneseColationが入ったんだろうって一瞬思った。記載通り_bin使いそうだけれど、クエリのみでみなし処理したいパターンか。あー機械学習系のNLPで使いたいとかなのかなー

[asakura-t]

日本的な需要だと「全角/半角は一致させたい」がありそうだけど、そういう規格はどこにもない、って話でいいのかな？（必要なら自分でziとか作れ、と）／ひらがな/カタカナは区別したい場合はksとか作るんかな…

[ton-boo]

“MySQLは標準(Unicode)に従ってるだけ” “Unicodeの日本語の照合順序はJIS X 4061が元” JISさん何やってるんすか…と思ってリンク先Wikipediaみたけどそれだけだとよくわからんかった。どんな経緯でどう決められたのか興味ある

[terazzo]

「アー」は「アア」に置き換えられるのかなるほど(なるほどじゃない)

[lyiase]

濁音半濁音は変わっても検索してくれってニーズはあるにはあるから、utf8mb4_ja_0900_as_csは嬉しいかも。

[somemo]

“Q. ja_0900_as_cs は 0900_as_cs と何が違うの？ utf8mb4_ja_0900_as_cs は日本語固有の規則に従う。CLDR参照。 長音記号「ー」の順序が前の字によって異なる。たとえば「アー」は「アイ」よりも前だが「ウー」は「ウイ」よりも後。”

[hirose31]

collation

[rochefort]

ja_0900_as_cs 凝ってる。

[sonots]

うむむむ

[itouhiro]

「collation（照合順序・ソート順）。MySQL独自実装ではなくUnicode規格（さらに元はJIS X 4061）に従っている。ハ=パ=バ も や=ゃ も ひらがなカタカナ区別せずもUnicode由来。「ー」の順序は前の字によって異なる」

[kairi-m]

色々あるんだな…

[jitojito]

「長音記号「ー」の順序が前の字によって異なる。」　どこで使うんだろう。。。

[xbs2r]

この問題もそろそろ幸せになりたい

[onagatani]

この表はディレクターさんでもわかりやすい〜

[satomi_hanten]

"コレーションは xml ファイルを置くことで独自に定義できるので、標準のコレーションが気に入らないのなら自分で定義すればいい。"そうなん。

[stealthinu]

ちょっと微妙な日本語コレーションのutf8mb4_ja_0900_as_csはunicode規格に従ってるからってことだった。なかなかつらい。

[nabe1121sir]

コレーションってbin系しか使ったことないけど、業務系でbin系以外使うことってあり得るのかねえ？つーかMySQLは日本語が苦手だしJavaとの相性も悪いしで、個人的にはあんまり好きではない。

[sh19910711]

"ja_0900_as_cs の場合は、漢字の順番もちゃんとJIS順になってました。 試してみると、UTF-8の文字コード順ではなくJISコード順(音読みの順)になっていることがわかります"