大きなデータファイルがオリジナルと同一かを確認する｜dritoshinote.mu の使い方に迷っていたところですが、次世代DNAシーケンサ(NGS)のデータ解析初心者に聞かれたことを淡々と書くのはありかも。特にコンピューティングについては基礎的すぎて、NGS解析という文脈で整理されていないので書く価値があるかもしれません。早速、最近聞かれたことを書きます。 外付けHDDで数TBのデータが *.tar.bz, *.tar.gz などで送られてくるみなさん、こんばんは。受け取ったデータが解凍できない、自分の計算機にコピーしたけど解凍できない、みたいなことありませんか。DNAシーケンスデータのように、大きなファイルはディスクやサーバ間を移動している間に欠けてしまったりします。大きなFASTQの中身を目で比較するのは大変です。ファイルサイズをみるのは良い手のひとつですが厳密ではないです。 厳密にファイルの同一性を担保するには、データの送り主に「md5 チェックサ
