[B! awk] Mukeのブックマーク

Muke id:Muke

awkに関するMukeのブックマーク (3)

最近覚えたシェルスクリプトの小ネタ - カメニッキ
シェルスクリプト神から教えていただいた。忘れないように書いとく (追記)聞いて、自分の記憶した内容をそのまま書いちゃったので、ちゃんとマニュアル通りか確認してなかったので反省 $ man bash 目次 xargsでfunctionを叩く連想配列もどき変数間接参照なんでもかんでもawkで整形しない文字列の末尾から数えて○文字目を△文字取り出す番外編:やたら if [ ]; then を使わない ※Markdownで目次の書き方がわからんかった xargsでfunctionを叩く下の例だと find xxxx | xargs cp xxxx ってかけば良さそうでイマイチだけど、もっと複雑な処理やらせたいときに。前はこう書いてた #!/bin/bash for x in `find /var/www -name xxx` do cmd="cp -v /hoge/fuga/xxx
Muke 2016/06/30
bash

hoge

awk

function

tips

shell
リンク
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
Muke 2015/09/02
web

awk

Python

node

Node.js

スクレイピング

クローラー
リンク
大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると「catいらなくね？」と指摘さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter　＜　「キャッシュに入れて高速化してるんかと思った」とコメントをもらいました。ので、どっちが速いかの検証です。注意加工の目的はログファイルからある期間だけの行を抜き取りたい正規表現がいけてないのは気にしない比較 awkにファイル指定す
Muke 2015/07/23
cat

IT

awk
リンク
1