pythonで巨大なファイルをソートする - Qiita
subprocess.Popenの挙動の勉強になったので、忘れないようにメモ pythonで巨大なファイルを扱うときは、全てをメモリに載せないよう、イテレータを使っての逐次処理を非常に頻繁に行う。 が、sorted()関数は巨大なファイルに対しては使えない。これはイテレータをリストに変換してから処理を行うため。 巨大なファイルをソートしたいときはUnixシステム側のsortを使う import subprocess def sorted_file_generator(filename): proc = subprocess.Popen(['sort', filename], stdout=subprocess.PIPE) while True: # while を使って1行ずつ受け取る line = proc.stdout.readline() if line: yield line.de
シェルとPythonでデータを簡単にグラフ化する - Qiita
はじめに 定期的に取得したデータをグラフ化するのは簡単かつ得られものも大きいことが少なくない。 ただ未経験の人にはハードルが高く感じられると思うので、入り口の提供になればと思う。 (あとはpythonの布教) meminfoのグラフ化 例として定期的に取得した/proc/meminfoの情報をシェルとpythonで簡単にグラフ化してみる。 meminfoの情報は<日付>/<時分秒>/meminfo.logの形式で保存されているとする(例:20160224/105312/meminfo.log) meminfoのフォーマットはこんな感じ MemTotal: 511476 kB MemFree: 269240 kB Buffers: 13936 kB Cached: 56044 kB SwapCached: 0 kB Active: 36944 kB Inactive: 47324 kB Ac
Alpine Linux入門 -環境構築編- - tehepero note(・ω<)
2016 - 02 - 29 Alpine Linux入門 -環境構築編- Linux Alpine 今、Docker界隈では Alpine Linux への注目が急速に高まってきています。 Alpine Linux は非常に軽量な ディストリビューション であり、軽量なDockerイメージを作るために必要不可欠な要素になりつつあります。Alpine Linux の有用性については、この間行われた JAWS-UGコンテナ支部 #4 - connpass でもお話させてもらったので、詳細はスライドをご覧あれ。 お前のDockerイメージはまだ重い💢💢💢 // Speaker Deck Alpineデビューする障壁 Alpineが軽いからといって、そうホイホイとDockerにalpineなイメージを簡単に作れるかというとそうではありません。最初はDockerfileを作るだけで相当消耗し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
沖縄のカツ丼の具材が多い