タグ

awkとgrepに関するrichard_rawのブックマーク (4)

  • Use multiple CPU Cores with your Linux commands - awk, sed, bzip2, grep, wc, etc. - RankFocus - Systems and Data

    richard_raw
    richard_raw 2013/11/01
    そういえばHomebrewでGNU Parallelをインストールしてたけど殆ど使ってませんでした。こういう使い方なんですね。
  • データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

    Index データ集計コマンド 爆速で検索したいぜ! lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ! sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ! 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ! 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記

    データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
    richard_raw
    richard_raw 2013/08/01
    lookコマンド。/LC_ALL=Cで高速化。/shufコマンドでランダムサンプリング。/pasteはよく使ってます。/grepの替わりにack or agを使えという話では無かった。
  • 突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...

    なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress

    突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
    richard_raw
    richard_raw 2011/02/08
    おー、ほぼやったこと無いのになんだか懐かしいログ解析。awkで取りだしてcut|sort|uniq
  • 【レポート】Linuxでよく使うコマンド50 | エンタープライズ | マイコミジャーナル

    Guides, HowTos and Tips for Technology Geeks - The Geek Stuff UbuntuやFedoraなど人気のある最新のディストリビューションはインストールから利用、アップデートまでよく組まれており、ターミナルが使えなくても問題なく利用できることが多い。しかし、ある程度慣れてきたらGUIを使うよりもCUIを使う方が作業効率がいいことがあることもまた事実。また、サーバとして運用している場合にはCUIで利用するしたり、遠隔ログインしてCUIベースのターミナルで作業することも多い。 50 Most Frequently Used UNIX / Linux Commands (With Examples)において、UNIXやLinuxでよく使われるコマンドが50個紹介されている。ビギナーユーザにはコマンドの参照リストとして、中級者以上のユーザには知

    richard_raw
    richard_raw 2010/11/14
    なんでtarやねん。/Linuxでwhatis使えましたっけ?/原文読めということですね、わかりました。
  • 1