Pandasで「野根（None）」という地名が欠損値（NaN）になってしまった話

Pandasの read_csv における欠損値文字列の扱い Pythonのデータ解析ライブラリPandasでは、CSVファイルを読み込む際（pd.read_csv()）、特定の文字列が自動的に NaN （欠損値）として扱われるという仕様があります。 ドキュメントによると、デフォルトで以下の値がNaNと解釈されます。 By default the following values are interpreted as NaN: “ “, “#N/A”, “#N/A N/A”, “#NA”, “-1.#IND”, “-1.#QNAN”, “-NaN”, “-nan”, “1.#IND”, “1.#QNAN”, “<NA>”, “N/A”, “NA”, “NULL”, “NaN”, “None”, “n/a”, “nan”, “null “. 実際に起きた問題: 野根（None） という地名

[suka6411144]

こういう気を利かせて裏であれこれやってくれる仕様嫌い

[sophizm]

よく見ると文字列 “NA” も欠損値扱いされるから、野根だけじゃなくてナミビア（国コード：NA）でも発生しちゃうね

[y_as]

海外でもNullさん（本名）が公的システムに登録できなかった問題を見た記憶がある。

[kokumaijp]

NounenさんがNonに強制的に変換される問題もありましたね

[greenbow]

オプションで制御できるのは素晴らしいけど、こういうの気付きにくいのでデフォルトは無効になっててほしい

[I8D]

ブコメで知ったけれど、野根町の名前が合併で消えてしまい、結局NoneはNoneになってしまったの面白いw

[Falky]

こういう話を聞くだけなら楽しいが、実際被害者になる場合はたまったもんじゃないよな…

[T-norf]

これは予想外だけど、なるほど。名字でも野根さんは全国でおよそ110人。海外のNullさんほどじゃないけど、バッチ処理とかでよくエラーになってるかも

[kaorun]

世界的なネタ地名になれるポテンシャルがあるのに隣町との合弁で町域廃止されて野根町は無くなってしまったのかぁ... https://ja.wikipedia.org/wiki/%E9%87%8E%E6%A0%B9%E7%94%BA

[hyperash]

合併で町名としては残っていないけど野根中学校とかに名残はあるみたいね。そして野根中のドメイン名none-j.kochi-ed.jpって、「なんJ」……？

[daruyanagi]

“「野根」は四国の高知にあります”

[rin51]

そうなのね

[mk173]

jsonのこれめんどい

[mohno]

タイトルだけで何が起きたか推察できるヤツ。

[stabucky]

タイのナン県で同じ目にあった。嘘。

[golotan]

ワロタ

[Fluss_kawa]

pandasを神エクセルのごとく使った結果な気がする。

[uva]

そうだったNONE

[Bookmarker]

ExcelでCSVを開いた時の自動変換がトラブルの元になってて嫌われてるのに、何で同じようなことするかな。

[nori__3]

NaNでやNone

[diveintounlimit]

ノルウェー問題とかね・・・

[Kenju]

文字列を謎の値に変換すんな

[Lumin]

こういうプログラマの自己満足でしかないごみ以下の仕様ほんと嫌い。オナニーは家で隠れてやれ

[hate_flag]

高知県宇佐町の工場で作った製品がMADE IN USAを名乗るようなものですか（ちがいます

[bike-a-to-z]

超レアパターンだと思うけど、地雷だらけのcsvを素読みするのは怖すぎる

[everybodyelse]

そうなのね。

[hkdn]

Pythonの嫌いなところ。

[pixmap]

ΩΩΩ<な、NaNだってー!?

[shidho]

「現在の高知県」過去には高知県ではなかったのか、それともここが今後高知県でなくなるのか(可能性からこう書くなら"現在"ではなく2025年現在と日付を入れるはず)。

[Shinwiki]

タイトルだけで「まあ、はい。そうねそうね」ってなる

[yetch]

使う時は「勝手にやるな」って思うけど作る時は「そんな名前やめろ」って思うよね

[shoh8]

コンピュータから存在を確認できない地区。なんかSFの最後に残りそうな気がしてきた

[nezuku]

ライブラリ側が特定の値に特別な意味を持たせちゃうとそうなっちゃうよなぁ Nullさんがいろんなシステムで困るそれみたいに

[l_etranger]

海外だと，Null(ヌル)さんが様々なシステムではねられてしまって，フォーム入力不可，ホテル予約不可，ビザ取得不可などなど，という話があった。https://gigazine.net/news/20250225-null-last-name-system/

[t_f_m]

"余談: 「野根」は四国の高知にあります 「野根」は、現在の高知県にあります"

[misshiki]

“データセットの中に「野根（のね）」という地名があり、その英語表記として "None" を付与しました。”

[taguch1]

www