python: 何これ？set operationを使ったらin operatorより爆速だった。 - Qiita

何をしていたか あるデータベースから1,225,793個のウイルスゲノム配列をダウンロードして解析した。数か月たって、再度データをダウンロードしたところ、2,486,361個に増えていた。処理コードはすでに書いてあって、前回解析済みのものはスキップする仕組みになっている。コードのちょっとした手入れの最中に、思いがけない速度改善を得たのでそれについて書きます。 処理コードの概要 ウイルスゲノム配列はfastaファイルとして、また、前回までに解析済みのaccession idは、一行にひとつづつ書きこんだファイルに保存してあり、これらを入力ファイルとして用いる。 コードはこんな感じの作りです。 解析済みaccession idをファイルから読み込んでリスト(known_accessions)に格納する Bio.SeqIOを用いて、fasta fileから順次配列レコードを読み込んでいき、まずa