データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記
旧・Macの手書き説明書 - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ https://mac-tegaki.comへ移転中 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
シェルプログラミングTips - UEC - usp engineers' community
UEC - UNIXを深く理解し、シェルプログラミングを極めるコミュニティサイト Info インフォメーション イベント情報 / ニュース・プレスリリース ユニケージについて ユニケージ開発手法とは / ユニケージエンジニアとは ユニケージ開発手法 技能検定 / 試験日程 ユニケージ開発手法 教育講座 / 開講日程 ユニケージ開発手法 教育講座レポート 出版物 シェルスクリプトマガジン / 注文 / 取扱書店 / 問合せ USP出版書籍 / 注文 / 取扱書店 / 問合せ Software Design / FreeBSD Expert FreeBSD Weekly Topics / 日経Linux 推薦図書 オススメの定番書 / より上級者を目指す UNIXビギナー向け教本 / UNIXの文化を知る AWK/SEDを習得する / 手元に置きたい実用書 古典を楽しむ UECサイトについて
テキストファイルを処理するときのUnixコマンドまとめ - nokunoの日記
個人的にテキストファイルを処理することが多いのですが，簡単な処理ならUnixのコマンドをパイプとリダイレクトで組み合わせてできることが多くあります．今回はそんななかでもちょっとマニアックなTIPSをまとめてみました． sortコマンドでタブ区切りのファイルを指定する最近知って驚愕したのがこれ．sortコマンドでタブ区切りのファイルを指定したいときは，Ctrl+v Tabでタブ文字を入力していたのですが，$ sort -t $'\t' -k 2,2 のようにしてタブ区切りで2番目のキーでソートすることができます． 1000行おきにデータをサンプリングする1000行おきにファイルからデータをサンプリングしたいときとかは，perlでワンライナーを書くのが速いようです．$ perl -ne '$i++; print unless ($i % 1000)' 某所のコードゴルフによるとこれだけ短くでき
コンピュータ系技術書を無料で読めるサイトまとめ - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 特に探すつもりはなかったけど、技術書を無料で読めるサイトに複数遭遇したので、出会った分だけでもとまとめてみた。無料で読めるサイトと言っても、基本的には無料公開されているページへのリンク集という形。 O'REILLY Open Books http://oreilly.com/openbook/ リンク先の右にあるリンクの書籍が無料。左のジャンル分けは通常の書籍一覧なので注意。他のサイトに比べるとだいぶ少ない。 O'REILLY Open Feedback Publishing System (OFPS) http://ofps.oreilly.com/ 出版前の書籍を公開して、フィードバックを受け付けるというサイト。作りかけの本も存在するが、最新の内容が読めると
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress
【レポート】Linuxでよく使うコマンド50 | エンタープライズ | マイコミジャーナル
Guides, HowTos and Tips for Technology Geeks - The Geek Stuff UbuntuやFedoraなど人気のある最新のディストリビューションはインストールから利用、アップデートまでよく組まれており、ターミナルが使えなくても問題なく利用できることが多い。しかし、ある程度慣れてきたらGUIを使うよりもCUIを使う方が作業効率がいいことがあることもまた事実。また、サーバとして運用している場合にはCUIで利用するしたり、遠隔ログインしてCUIベースのターミナルで作業することも多い。 50 Most Frequently Used UNIX / Linux Commands (With Examples)において、UNIXやLinuxでよく使われるコマンドが50個紹介されている。ビギナーユーザにはコマンドの参照リストとして、中級者以上のユーザには知
UPS出版、書籍「プログラミング言語AWK」を復刊 | パソコン | マイコミジャーナル
ユニバーサル・シェル・プログラミング研究所 出版部(UPS出版)は、書籍「プログラミング言語AWK」を復刊し、発売を開始した。価格は3,990円。復刊ドットコム上にて販売されている。 書籍「プログラミング言語AWK」販売ページ プログラミング言語AWKは、AWK開発者(Alfred Aho、Peter Weinberger、Brian Kernighan)による解説書を翻訳したもの。何度かの絶版および復刊を経て、今回UPS出版より改めて販売されることとなった。判型はA5判、ページ数は320ページ。目次などの詳細は復刊ドットコム上を参照してほしい。
awk4j - Home
The AWK~plus Programming Language AWK~plus は、プログラム言語AWK言語仕様と GNU GAWKの主要な拡張機能、 型推論と関数型プログラミングによるシンプルな外観、 言語レベルでのロックフリーでスレッドセーフな並列プログラミング、 動的と静的な型システムをサポートする 次世代スクリプト実行環境です。 最新の言語仕様を実装した AWK~plusによる、新しいスクリプテイングの世界を体験ください。 AWK~plus Scripting for Android AWK~plusインタプリタ環境を組み込んだランチャーは、 Android マーケットから入手可能です。 awk4j (AWK for Java platform) awk4j は、 GNU AWK 互換の言語処理環境で、 AWKスクリプトを、中間言語としてのホスト言語 ( Java, Java
bash,awk,sed - スキルアップ輪講
参考文献 † # Web サイトのことをやたらと HP という人がいますが，HP は Hewlett-Packard のことです． 非常に有益です． 入門 UNIX シェルプログラミング UNIX の部屋 awk manual sed manual 正規表現メモ Cyberam-シェルスクリプト 吉田淳「シェル&シェルスクリプト」, 日経 Linux, 2004/4- 森島直人「シェルの魔術」, UNIX MAGAZINE, 2004/11- man コマンド ↑ bash スクリプトの書き方 † スクリプトファイルの名前は何でも良いが，慣例として拡張子は .sh とする． スクリプトファイルは，必ず以下の行で書き始める． #!/bin/bash なお，/bin/bash とは，bash コマンドへのフルパスである．Linux オペレーティングシステムでは /bin 以下にある sh は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
