手軽に多めのデータ移動をするためのワンライナー - MEMOcho-
ちょっと多めのファイルを手軽に移動させたいときに 早めに終わらせたい場合 nohup bash -c "find <src directory> -type f -mindepth 1 -maxdepth 1 | xargs -t -P8 cp -t <target directory>" & nohupで切れないように xargsに-tをつけてログを出しておく depthのoptionは間違い防止 再帰的にcpされても問題ないなら要らない xargsのPでprocess並列 cpやmvは-tでtarget directoryを先に書けるのでxargsのとき便利 時間がかかってもよい場合はrsyncを使うと進捗がわかりやすく確実 rsync -auz --info=progress2 --no-inc-recursive <src directory>/ <target directory
colaboratoryで使うdatasetをどこに置いておくのがよいか調べる - MEMOcho-
前回こんな記事を書いたが、どこに置いておくのが効率よいのか気になったので調べてみた https://blog.hatena.ne.jp/y-kamiya/jsapachehtml.hatenablog.com/edit?entry=26006613718710543 colaboratoryは起動のたびにまっさらの状態になるためデータセットなどのリソースは永続化可能な別の場所に置いておく必要がある。publicなデータセットを使う場合であっても、ダウンロード速度の問題で自前で用意した場所に置いた方がよい場合もある。 よって以下のような条件を満たす最適な場所を探したい ダウンロードが速い 無料で使える(or なるべく安価で) ちなみにuploadの計測で使った環境はこちら 場所: 東京 アップロード速度: 200Mbps こちらで計測(https://fast.com/ja/) 試したパター
haskellでちょっとした処理のメモ - MEMOcho-
久しぶりにhaskellを触ったので、その際に調べたtips的な処理についてメモ リストのslice https://stackoverflow.com/questions/4597820/does-haskell-have-list-slices-i-e-python slice :: Int -> Int -> [a] -> [a] slice from to xs = take (to - from + 1) (drop from xs) リストから最大値を持つindexを取得(argmax) https://stackoverflow.com/questions/14550458/find-max-element-and-index-of-a-list-in-haskell/56056069 import Data.List import Data.Ord maximumBy (c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
