trimやstripが全角スペースをトリミングしない理由で盛り上がったのでまとめてみた - Qiita

はじめに RubyのString#stripが全角スペースをトリミングしてくれないことにこの間初めて気づきました。 そこでフィヨルドブートキャンプのSlackで質問してみたところ、結構盛り上がったので記事にまとめます。 本編 自分で調べたこと まず自力で調査したことをまとめます。 Javaのtrimメソッド Javaのtrimのロジックは「\u0020(半角スペース）の文字コードより大きいか小さいか」が判断基準になっています。 ただ、それが他の言語の場合同様のロジックで実装されているのかまではわかりませんでした。 RubyのString#strip(Cのコード) 前後のオフセット値を算出してそれを利用して前後のスペースのトリミングを実現しています。 ただ、C力が圧倒的に足りないのでどういうロジックでそのオフセット値を算出しているかまではわかりませんでした。 追記 RubyのRuby実装、R

[nyarou]

論点は文字コードの大小じゃなくASCIIの範囲だけかどうかでしょ。例えばJavaのApache CommonsのStringUtilsでは全角スペースを含むかどうかをtrimとstripで区別してる。

[otchy210]

個人的な線引きとしては、半角スペースのみ → \t\n\r も含む → 全ての Unicode スペース、っていう感じで、日本語の全角スペースだけ特別扱いする理由は無いように思う。

[rryu]

文字コードごとに独自のスペース文字がある可能性があり、標準でそれに対応するのはオーバースペック過ぎるのだと思う。Unicodeのスペース類も割とカオスだし…

[Fushihara]

trimは引数で、前だけtrim 後ろだけtrim、trimする文字指定、文字列指定をオプション出来るようにして

[mattn]

そんな中、Go は cutset を第二引数で受け取った。

[chimerast]

分岐コストとかの速度の話がほぼ出てこない優しい世界線。少し話がずれるけど、Unicode正規化に真面目に対応したらクソ遅いよ。ICUライブラリを触ってみると多分わかる。

[rti7743]

全角スペースってそれぞれの言語ごとに定義されているし、文字コードの問題もあるし、クソみたいに面倒になりオーバースペックだからだろう。それ用の関数を作ることかな。そもそも制御文字でもVSCIIみたいな変態が(ry

[paulownia]

ここでJSの話が出てないのが意外。JSのtrimは全角も削除する。JSは歴史のある言語だけどtrimが入ったのはES5で、すでにUnicodeの時代になっていたからだろうなぁ

[trashtoy]

場合によって空白としたい文字の範囲が変わってくるから, 極力共通の仕様でいてほしい. 例えば DSL のインタプリタを実装する場合に 0x20 や 0x0D 以外の空白が勝手に空白扱いされたら困る.

[aquarickn]

制御文字全般も消して欲しい

[taku-o]

PHPの三項演算子は人に教えてもらったわ。

[kazuau]

C#なんかはUnicodeのZsクラスと一部の記号は全て空白扱いしますね。Trim()でもソースコード中でも。

[eru01]

文字型がUnicode前提かどうかだけの話やろこれ。Unicodeなら空白類文字として全角も消すように作るし、そうじゃねえならエンコーディングごとに勝手にしろってするしかねえじゃん

[n314]

ハイフンを除去する関数やチルダを除去する関数があったとして、その関数は全角ハイフンや波線も除去するべき？

[kabochatori]

引数で指定できるようにするのが正解

[sucrose]

ちなみにPythonのstripは全角スペースも消してくれます https://wandbox.org/permlink/qbfSOUNXdzEXr2Gg

[tankdesant]

スペースは" "だけじゃない的な話 http://anti.rosx.net/etc/memo/002_space.html

[koji28]

全角スペースは空白ではない。日本語圏の1文字である…そういえば日本以外でも使われるのかなこの文字(´・ω・`)

[ghostbass]

C#はどうだっけ、って毎回悩む。/ 「真空片手独楽！」

[t-murachi]

そもrubyよりUnicodeの方が後発なんですよね… やるとしたら他の言語でもそうであるようにUnicode対応に伴う国際化対応の一環での機能追加でしょうし、そのために既存の関数の挙動を変えることはしないでしょ(´・ω・`)

[Kil]

PCでキーボード入力だと、全角入力中はスペースも全角になるのが普通だけど、Androidとかのスマホ入力だと、全角状態でもスペースは半角になる方が普通なんだよね。あと右キー押すと半角スペース入るし。

[xlc]

そもそも全角スペースなんてもんを簡単に入力できないようにして欲しいよ。macOSにその設定がないのが多いに不満。

[mon_sat]

歴史的経緯とか全然知らないけど、trimって半角空白で埋められた固定長データを扱うときのためにあるから全角空白は処理しないんだと思ってた。まあ今は全角も含めて削除できると嬉しいよね。

[cl-gaku]

“先生業してるときは楽”“ライブラリで抽象化”“入力者が「自分が入力した文字が全角なのか半角なのかわからずやっている」状況を助長したくはない”

[lorenz_sys]

"なぜJavaでは文字コードの大小が判断基準になっている？" Javaに関係なくバイナリに思いを馳せることができるなら当然の判断基準。multibyte文字列の正規化に関する文字列処理は自前で用意しとくもんだと思ってたけど。

[iga_k]

フィヨルドさんでやったこの議論、めっちゃ楽しかった！