Pythonで省メモリに大量の文字列を扱う工夫 - Techブログ - MNTSQ, Ltd.

たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削

[Shinwiki]

どうしてこんなに小難しいことが述べれるのに、解決に別の発想が出ないんだろう？という記事がやたら多くなってきた感がある。最近

[agricola]

標準のarrayモジュールの影が薄いどころか無い件（あるある過ぎて草も生えないが）。文字列扱うためだけにnumpyインポートするんか？/arrayはsigned charからdoubleまで扱えるのに、公式を読まない手合いは度し難い。

[strawberryhunter]

「2. 短い文字列が大量にある場合は、とりあえず結合し」ガラケーのアプリはこんな感じでゴミみたいなハードウェアスペックのために努力していたと聞く。

[yukky2000]

初見でなんだか「牛刀をもって鶏を割く」の類に見えたんだけど、似たような感想の人が多いようで安心した。

[ys0000]

“trie tree”Pythonでこういうライブラリがあったんだなぁ。知らんかった。このレベルで使うことになるかわからんけど全体的に参考になった。

[thekoruku]

一番最初に金で解決するってあるのに・・・

[hylom]

状況が分からない、機械学習系だと確かにそういうケースはありそうなんだけどそれだとマシンパワーで解決した方が良くない……？ 他のライブラリとの連携とかが不要ならCとかで外部ライブラリ書くのが無難な気もする

[mobits]

っぱ文字列処理はawkっしょ

[suzusime]

Pythonの文字列型ってUTF-8じゃなくてそんな特殊な符号化（文字列に含まれる文字種に応じてLatin-1, UCS-2, UCS-4を使い分ける）してるのか

[miau]

ブコメにあるarray、strやbytesの配列が保持できるわけではないよね…？だったら「4. str型/bytes型の範囲で工夫する」とあまり変わらないような…？/「各文字列の始点のindexをnumpyのint arrayで持つ」に対する指摘とのこと

[quabbin]

sys.getsizeof(b'a') は 34。もっともASCIIのみだから、「文字列」ができることと等価じゃないのは確かだけど。その意味で言えば、.encode('utf-8')ってことになるかねぇ。無駄に確保されて開放されたゴミメモリが気にはなるけど

[mangakoji]

フツーにarrayのバイト列 x sjis 使っちゃダメなの?

[yumu19]

へー。（タイトル見て処理系での話かと思った）

[onesplat]

“Pythonでは1つobjectを作るために50byte程度が消費されます” でっかw

[placeinsuns]

“trie tree”