タグ

2019年1月15日のブックマーク (6件)

  • ケツの穴に不幸的な偶然でテレビのリモコン入っちゃった

    出てこないんだがどうしたらいいんだ? 医者に行くにしてもこんな偶然どうやって説明したらいいのかわからん こういうことがみんなの身にも起こりうるんだから 一緒にどう説明するか考えてみないか?

    ケツの穴に不幸的な偶然でテレビのリモコン入っちゃった
    remix-cafe
    remix-cafe 2019/01/15
    増田「Alexa 出てきて」 Alexa「ちょっとよく分からないです」
  • 大きなデータをソートする - merge sort by sort - シリコンの谷のゾンビ

    諸事情により,メモリに入りきらない大きなデータをソートする必要が出てきた. 当然勉強したばかりのマージソートを実装しようと思ったのだが,思いのほか面倒くさそうなので,既存のUnixコマンドにはマージソートが実装されていないのかを調べてみた. ・・・当然ながらあった. 実装する前に気がついてよかった. 覚えておくと便利なオプション -S 使用メモリ容量の上限を設定 e.g., sort -S 500M -m ソート済みのファイルマージするオプション e.g., sort -m hoge1.sorted hoge2.sorted hoge3.sored > hoge.sorted -T 一時ファイルの保存先を変更する e.g., sort -T ./ -n 数値として比較 -r 逆順でソート(数値の場合,降順) これらの知識を総動員して実行してみる. > sort -S 500M *.sort

    大きなデータをソートする - merge sort by sort - シリコンの谷のゾンビ
    remix-cafe
    remix-cafe 2019/01/15
    サイズ大きいファイルのソート3
  • pythonで巨大なファイルをソートする - Qiita

    subprocess.Popenの挙動の勉強になったので、忘れないようにメモ pythonで巨大なファイルを扱うときは、全てをメモリに載せないよう、イテレータを使っての逐次処理を非常に頻繁に行う。 が、sorted()関数は巨大なファイルに対しては使えない。これはイテレータをリストに変換してから処理を行うため。 巨大なファイルをソートしたいときはUnixシステム側のsortを使う import subprocess def sorted_file_generator(filename): proc = subprocess.Popen(['sort', filename], stdout=subprocess.PIPE) while True: # while を使って1行ずつ受け取る line = proc.stdout.readline() if line: yield line.de

    pythonで巨大なファイルをソートする - Qiita
    remix-cafe
    remix-cafe 2019/01/15
    サイズ大きいファイルのソート2
  • Pythonででっかいテキストファイルをソートする - Qiita

    経緯 Windows環境で動作しているPythonスクリプトでテキストファイルのソートが必要になりました。 要件としては次のようなものです。 Windows環境で実行 対象ファイルは数GBのCSVファイル ソートキーは複数のカラムで数値のカラムもある Windowsコマンドプロンプトにはsortコマンドがあり、巨大なファイルのソートには対応しています。 しかしLinuxのsortコマンドと違い、区切り文字を指定したり(-t)、数値としてソート(-n)することはできません。 サイズが小さければPythonスクリプトで全データをメモリに読み込んでsorted関数を呼べば済むのですが、サイズが大きい場合はメモリ不足になる可能性があります。 仕方がないのでPythonで巨大なファイルに対応したソート処理を実装することにしました。 処理手順 巨大なデータをソートするにはマージソートの考え方で以下のよ

    Pythonででっかいテキストファイルをソートする - Qiita
    remix-cafe
    remix-cafe 2019/01/15
    サイズ大きいファイルのソート1
  • tail -Fなどの標準出力を一定時間ごとに指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンド evry を作った - Copy/Cut/Paste/Hatena

    ログの流量やサマリを、カジュアルに、そしてリアルタイムに確認したかったので作ってみました。 github.com これはなに 標準入力の内容を、一定時間ごと(もしくは一定行ごと)にまとめて指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンドです。 使い方 例えば、「NGINXの10秒あたりのリクエスト数を確認する」には、以下のように evry で10秒ごとにまとめた標準入力を wc -l に渡します。 $ tail -F /var/log/nginx/access.log | evry -s 10 -c 'wc -l' 8700 1260 8580 6430 [...] 例えば、「Apacheの1000リクエストあたりのアクセス先ランキング上位5を確認する」には、以下のように書けます(GNU sedを使用)。 $ tail -F /var/log/httpd/access.

    tail -Fなどの標準出力を一定時間ごとに指定のコマンドに渡し、その実行結果をシーケンシャルに出力するコマンド evry を作った - Copy/Cut/Paste/Hatena
    remix-cafe
    remix-cafe 2019/01/15
    後で確認しよう。
  • 飛行機で3時間の台湾にハワイがあると聞いて行ってきました、食&費用&行き方など「墾丁」まとめレポート

    青い海、白い砂浜、太陽の光の中でのんびりできる憧れの地・ハワイですが、実際に行くには飛行機で6時間半から8時間強かかり、しかもランチに3000円は必要というほど物価が高いので滞在費もかさんでしまうという、スケジュール的にもお財布的にも高い壁がそびえています。そんな時に「飛行機で3時間の台湾にもハワイ(のような場所)がある」と聞き、「『安くてうまい』で有名な屋台や夜市がある台湾なら滞在費も安くすんでハードルがかなり低くなるはず!」ということで、実際に行ってどんな感じなのか確かめてきました。 ◆台湾のハワイ「墾丁」行き方まとめ ◆泊まるところ&宿泊費 ◆現地のまとめ ◆何ができるのかまとめ ◆で、トータルでいくらかかるのか? ◆台湾のハワイ「墾丁」行き方まとめ 「台湾のハワイ」と呼ばれている場所は、台湾の最南端にある墾丁国家公園のこと。台湾の北側にある台北市からも行くことはできますが、かなり

    飛行機で3時間の台湾にハワイがあると聞いて行ってきました、食&費用&行き方など「墾丁」まとめレポート
    remix-cafe
    remix-cafe 2019/01/15
    食べたい。じゃなくて行きたい。