はてなブックマーク

知らなかったのでメモ。 Pythonではデフォルトではオブジェクトのインスタンスの属性はdictを使って保存している。 この保存の仕方では、実行中に新たな属性を動的に設定できたりして良い。 だけど、少数の固定な属性を持つ小さなクラスを扱うときにはdictはメモリの無駄。 こういう時は__slots__に属性の名前を記述することでメモリを節約したほうが良い。 class Image(object): __slots__ = ['id', 'caption', 'url'] def __init__(self, id, caption, url): self.id = id self.caption = caption self.url = url self._setup() # ... other methods ...

2019/1016 追記: Joblibのキャッシュ機能について書きました。 [Python] Joblibのキャッシュを使って同じ計算を省略する scikit-learnのチュートリアルといえば@Scaled_Wurmマンの紹介がとても分かりやすい。 今回はたまたまソースコードを読んでいて、かつそのブログエントリでは紹介さていなかったニッチなところをメモする。 結論としては特に理由が無いならmultiprocessingで書いている部分はParallelで置き換えても良さそう、ということ。 Parallel 並列処理をおこなうクラス 基本的にはmultiprocessingで並列処理をおこなうんだけど、あったらいいな〜というヘルプ機能を提供してくれる。 multiprocessingじゃダメなの？ Parallelは (原文はソースコード中のNotes) 関数の引数をリストで作らなくもて

こういうの無いかなあと思って調べたらそのままあったのでメモ。 もし、パターンにマッチするものについて、マッチしたテキスト以上の情報を得たいと考えたとき、文字列ではなく MatchObject のインスタンスを返す finditer() が便利です。以下に例を示すように、なにかの文章の全ての副詞と、 その位置を 調べたいと考えたとき、下記のように finditer() を使います。 : >>> text = "He was carefully disguised but captured quickly by police." >>> for m in re.finditer(r"\w+ly", text): ... print '%02d-%02d: %s' % (m.start(), m.end(), m.group(0)) 07-16: carefully 40-47: quickly

from math import log from nltk.util import ngrams from nltk.tokenize import word_tokenize from nltk.probability import ConditionalFreqDist from nltk.probability import FreqDist def information_gain(labeled_documents): ig = {} labeldist = FreqDist() docnumdist = FreqDist() cldist = ConditionalFreqDist() n = 1 for (label, doc) in labeled_documents: labeldist.inc(label) unigrams = set(ngrams(word_tok