Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
sort と uniq でさくっとランキングを出力する - blog.nomadscafe.jp
知っている人多いと思うけど、よく使うイディオム $ .. | sort | uniq -c | sort -nr 「sort | uniq -c」で重複行をカウントでき、さらに「sort -n」で行を数字と見なしてソートすることで重複行のカウントで並べなおすことができます 例えば、Webサーバのaccess_logからよくアクセスしてくるIPアドレスを集計してランキングを表示するには以下のよう書けます $ tail -10000 access_log |cut -f 1 -d ' ' | sort |uniq -c|sort -nr|head -10 209 207.46.204.192 203 59.106.108.114 202 66.249.69.108 171 199.59.149.168 137 78.46.45.35 129 66.249.69.65 120 66.249.69
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
screenを使ってファイルを転送する。 - こせきの技術日記
「いま、sshで見えてるこのファイルが手元にほしい」という時に、scpは手間がかかりすぎる。 接続するホスト = sshで接続しているこのホスト 欲しいファイル = いまlsで見えてるこのファイル なのに、なぜscpにコマンドラインオプションを渡さなければならないのか。そもそも踏み台サーバを経由している場合など、単純にscpできないこともある。 目の前のssh接続を利用して、ファイルを手軽に転送したい。できることならリモートのコマンドラインで $ get file.tar.gz $ put file.tar.gz としたい。が、実現する方法が思いつかないので、screenを使う方法を考えた。 以下、Ctrl-Aはscreenの設定にあわせて読みかえてください。 Screen User's Manual GNU 404 - エラー: 404 JM 原始的な方法。 uuencodeされたファイ
netstat | grep が遅いなぁと思ったときにはgrep -m - As a Futurist...
サーバ間の通信を調査したいときに、netstatはよく使うと思います。たとえば、あるポートを使ってるプロセスを探したい時。 # netstat -taopn | grep :29324 tcp 0 0 192.168.11.11:29324 192.168.11.12:3306 ESTABLISHED 10726/perl off (0.00/0/0) ただ、すごいたくさん通信してるサーバだと、netstat自身がすごい遅くて、上記コマンドが終了するのに時間がかかります。手で見てる時はまぁどうでもいいんですが、自動化したい時とかにずっと待ってると微妙ですよね。 見つけたいのは 1 行だけだなぁと思ったので| head -1とかしてみたんですがあんまうまくいってない。 # time netstat -taopn | grep :29324 | head -1 tcp 0 0 192.168.
socatコマンドの使い方: UNIX/Linuxの部屋
最終更新 2019-01-13 socat コマンドはひとことで言うと proxy ツールである。入力と出力にファイル・標準入出力・コマンド・他のマシンなど、いろいろな種類を割り当てることができる。FreeBSD・Linux などでは外部パッケージとして用意されているので、pkg・yum・apt-get などで簡単にインストール可能である。
オンラインソフトを使え! 「第12回 Netcat」
本文書は、NetworkWorld誌に寄稿した記事の原稿を、IDGジャパン編集部殿の許可を得た上で掲載したものです。 システム管理をしていると、システムの動作確認などでSMTPサーバやWebサーバ等に直接アクセスし、生のプロトコルで通信したいといったケースがよくある。今回はそのような時に便利なツール、「Netcat」を紹介しよう。 NetcatはHobbit氏によって開発された、汎用TCP/UDP接続コマンドラインツールである。接続先IPアドレス（もしくはホスト名）とポート番号を指定することにより、その接続先の該当するポートで待ち受けているサーバソフトウェアと通信することができる。またリッスンモードでは、指定したポート番号で通信を待ち受け、接続してきたクライアントソフトウェアと会話することも可能だ。 Netcatのインストール Netcatは1995年から1996年にかけて開発が行われ、1
追記: sort を使うときは，LC_ALL=C を忘れずに - ny23の日記
> wc --lines unigram_raw.txt 290768333 unigram_raw.txtそもそも，たかだか3億要素，1.7Gのデータのソートに，最近のマシンで sort | uniq -c が858分もかかるのは変ですよね． > export LC_ALL=C > time sort -S 2G unigram_raw.txt | uniq -c > tmp.sort.uniq sort -S 2G unigram_raw.txt 389.93s user 16.32s system 99% cpu 6:49.61 total uniq -c > tmp.sort.uniq 15.40s user 1.56s system 4% cpu 6:49.62 totalIntel Xeon E5462 (3.2Ghz) が Dual Core AMD Opteron 1210
lessでソースコードに色をつける
シェルの操作中「テキストファイルをちょこっと覗きたいな」と思ったときに抜群に便利なlessコマンドであるが、普段綺麗に色付けされたソースコードを見慣れていると、モノクロのソースコードの見づらさに愕然としてしまう。結局lessを終了して他のエディタで開きなおすことになるのだが、lessでソースコードに色付け（シンタックスハイライト）できれば便利なのになーっ！と思ったことはないだろうか。そう、あるんです！lessでシンタックスハイライトする方法はあるんです！というわけで、今日はその方法を紹介しよう。 GNU Source-highlight結論から言うと、今日紹介する方法はGNU Source-highlightを使う。GNU Source-highlightを使えばイッパツだ。なのでまずGNU Source-highlightをインストールしよう。UbuntuやFedoraならリポジトリにあ
Unix Programming with Perl 2 (my slides at YAPC::Asia 2011)
No matter if some one searches for his required thing, therefore he/she desires to be available that in detail, so that thing is maintained over here. http://forsan-elnil.com/arabic/?id=1 شركة نقل اثاث بالدمام http://forsan-elnil.com/arabic/index.php?id=2 شركة نقل اثاث بالجبيل http://forsan-elnil.com/arabic/index.php?id=3 شركة نقل اثاث بالخبر http://forsan-elnil.com/arabic/index.php?id=5 شركة نقل
crontabで%(パーセント記号)を使うときは\でエスケープする | Webシステム開発／教育ソリューションのタイムインターメディア
cronはUNIX系システムでタスクの定時実行を行うためのツールです。どのUNIX系システムでもまず間違いなく入っているので、システム開発の際でもよく使いますが、古いUNIX由来のツールにありがちなバッドノウハウに嵌ったのでご紹介します。 crontabのコマンドを指定するところで%(パーセント記号)を使うときは\でエスケープする 日付つきのファイル名でログを保存しておきたくなることや、コマンドライン引数中に%を使いたくなることがたまにあります。dateコマンドを使う場合には、次のように書きたくなるわけですが、これはうまく解釈されません。 0 0 * * * wonderful_command > log_of_date +%Y%m%d.txt (そうです、あのウザいメッセージがプロンプトの上に延々と表示されることになります! You have new mail. You have new
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
技術メモ帳 - pgrep, pkill を使用してプロセスを殺す
最近、会社でシェルの操作方法について教えているのだが、 pgrep / pkill / skill / pidof といった 便利なプロセス操作系コマンドを知らない人が実に多い。 プロセスを殺すというのは、よくある作業なので 今回はコレについて書いてみる。 たとえば、これらのコマンドを知らない人が、 指定した名前のプロセスを kill する手順はだいたい 以下のようなものになることだろう。 $ ps aux | grep プロセス名 | grep -v 'grep' # コマンドの出力結果から pid を目で確認 12345 ... .. hoge .. .. $ kill 12345 この作業は非常に面倒で退屈だ。 もし殺さなければならないプロセスがたくさんあったときは どうするのだろうか。 おまけに、grep コマンド自身が候補に含まれてしまう事があるのだが、 grep -v grep
中規模データ処理で学んだ tips - フリーフォーム フリークアウト
移転しました http://please-sleep.cou929.nu/20101230.html
ackを使おう! - tototoshi の日記
みなさんgrepしてますか!? 便利ですよねgrep。自分はLinuxを触りはじめたころ、 grepを使いこなせるようになれば一人前だ って言われて、なにいってんのこの人きもいとか思ってないですよ全然。 まあ今となってはgrepをそれなりに使いこんでるわけですよ。 $ find . -name "*hoge" -type -f | grep -v '\.svn' | xargs grep piyopiyo とかやってね。 なんかfind|xargs|grepとかまさにUNIX的ですよね。素敵やん。 簡単なコマンドを組み合わせてでっかいことやっちゃう？？みたいな？？ めんどくせーよっ!!! ってことで、ackを使いましょう。 ack昨日知りました。 で、今日、使いはじめて2日目。 とりあえず、公式(Beyond grep: ack 2.12, a source code search too
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cron でうごかしているコマンドをタイムアウトさせる - tokuhirom's blog
Eric Blake - Re: grep problem?
Unix Programming with Perl
