「文字列」について - 2014-11-07 - はてなるせだいあり

序 「文字列を文字の列とみなす単純化」について議論がありますが、前提が抜け落ちてるように思うので書くことにします。 そもそもこの話はどのような文脈の上にあるかというと、テキスト処理 (wikipedia:en:Text_processing) の文脈になります。ここでいう「テキスト処理」とは plain text (wikipedia:プレーンテキスト) の検索・加工のことで、ここでは特に UNIX Text Processing の系譜が念頭に置かれています。つまり、複雑な装飾を含むリッチテキストではなく、処理の対象を ASCII 文字列といくつかの制御文字へと抽象化することで、正規表現のような強力な道具を用いた処理を可能とした世界です。UNIX でのお話ですから、ここでの具体的な処理の単位は char であり、全体としては char[] になります。この char の中身は上で述べたと

[mandel59]

こういうことを本当は英語圏のプログラマーが知っておいてほしいんだけど

[xlc]

Perlのutfフラグは悪魔の所業。

[ishisaka]

コードとエンコードが分けられていないのですっきりしない。それは横に置いてもむしろRubyの扱いが例外なのではないか

[ghostbass]

「ワイド文字列が変なことしてマルチバイトより厄介なことになってる」ってこと？

[zu2]

“結局の所、ワイド文字という試みは失敗であったし、今となっては無意味な複雑化であると結論づけていいのではないかと思います”

[Cujo]

『ワイド文字はオワコン』

[TOKOROTEN]

なるほどー

[VoQn]

UNIXにおける「文字列」の実装の歴史的経緯とRubyの選択した方式に関して

[mas-higa]

unicode オワコンになってくれんかなぁ

[rryu]

Rubyはワイド文字をやめたというよりは内部エンコーディング方式を避けた感じだと思う。引き換えにバイト列が扱いづらくなった気が。

[seiunsky]

はてブしてなかった

[hitode909]

おもしろい

[Jxck]

なるほど。これでいうと Go はワイド文字列が []rune で マルチバイト文字列が []byte で、相互変換メソッド群が unicode/utf8 or utf16ってことか。

[kz78]

ワイド文字はbit数と文字列長が比例するのがメリットだったはずなのに、Unicodeが結合文字を取り入れた結果、結局bit数と文字列長の比例関係がくずれてマルチバイト文字と同じ逐次処理をしないと文字列長がわからなく

[r-west]

HTTP処理でバイト列と文字列を行き来ってどういう事？ヘッダとボディの境界のこと？

[W53SA]

「まとめ　ワイド文字はオワコン。」ふーむ

[t-wada]

Ruby の M17N (多言語化) 機能を手がけた成瀬さんによる「文字列を文字の列とみなす単純化」議論の補足 "「Unicode路線に見切りをつけ」たのではなく、ワイド文字路線に見切りを付けたのである"

[nanakoso]

Unicodeがあれだということ

[hyogo473]

なるほど

[ymmtmdk]

すげえ分かりやすい

[hiroshi_revolution]

「文字列」について - 2014-11-07 - はてなるせだいあり

[zetamatta]

ワイド文字とマルチバイト文字についての説明

[syuu1228]

”「文字列」について”

[nagachika]

これは勉強になる