Beautiful Soupのパフォーマンス改善について - 風柳メモ

BSXPath.pyをいじっていて…… どうも、想像以上にパフォーマンスが悪いので、ボトルネックを調べていたのですが……。 ひとつには、Beautiful Soup にも原因がありそうだということが分かりました。 例えば、全ノード検索（soup.findAll()）は結構早いにも関らず、属性指定検索（soup.findAll(attrs={'class':'slow'})）になると想像以上に時間がかかります（後者は前者の数倍からひどいときには十数倍時間がかかる）。 比較にかかる分を考慮しても、ちょっとかかりすぎな気が……。 で、調べていくうちに Beautiful Soupでは、ノード(Tag)の属性への初回アクセス時に、node.attrs（[(key1,val1),...,(keyN,valN)]のようなキーと値がペアになったtupleのリスト）をnode.attrMap（{key1: