タグ

unixとshellに関するrichard_rawのブックマーク (51)

  • UNIX・Linuxでファイル名・フォルダ名の一括置換を行う | 俺的備忘録 〜なんかいろいろ〜

    LinuxやUNIXを利用していると、スクリプト名などのファイル名のルールが変更したため、一括で置換を行いたいときがある。 そんな時は、どうすればいいのだろうか? 1.『rename』コマンドを利用する もし『rename』コマンドがあるようならば、これを利用するといいだろう。 Linuxには大体最初から用意されている。(なお、Ubuntuの場合だと置換の指定方法がPerl(sed)の指定方法になっている) rename 置換する単語 置換後の単語 対象PATH この対象PATHにはワイルドカードも利用できるので、以下のように一括で置換を行える。 [root@test-centos7 test]# ls -l 合計 0 -rw-r--r--. 1 root root 0 7月 3 06:37 TCScript0.sh -rw-r--r--. 1 root root 0 7月 3 06:37

    richard_raw
    richard_raw 2015/07/08
    今までforループでやってました。renameコマンド便利そう。OS Xでも使えるかしら。
  • AWK & Shell テキスト処理ブーム再来について熱くなる夜。|ジュンク堂書店 池袋本店|イベント・フェア詳細 |丸善&ジュンク堂ネットストア

    「AWK & Shell テキスト処理ブーム再来について熱くなる夜。」 ジュンク堂書店 池袋店 開催日時:2015年06月18日(木)19:30 ~ フェア・イベント一覧 開催店舗ページへ 上田隆一(産業技術大学/『シェルプログラミング実用テクニック』著者) 中島雅弘(アーヴァイン・システムズ代表/『AWK実践入門』著者) 富永浩之(香川大学/『AWK実践入門』著者) 上田隆一、USP 研究所『シェルプログラミング実用テクニック』 中島雅弘、富永浩之、國信真吾、花川直己『AWK 実践入門』 刊行記念イベント UNIX誕生直後から現在も使われ続けているシェルとAWKは、UNIXというOSの性格を語 る上では不可欠の存在です。一方、なじみの無い人にとっては、その使い方、そして強 力さを垣間見る機会は限られています。 そこで前半では、「AWK実践入門」の作者陣から、プロの現場

    richard_raw
    richard_raw 2015/06/04
    行きたいけど無理だにゃあ……(近畿在住)
  • どのUNIXコマンドでも使える正規表現 - Qiita

    特定コマンドの正規表現で使えるメタ文字が何だかわからない! 正規表現自体は知っているけど、それが今から使おうとしているコマンドで使えるものなのかわからずに困っている人も多いと思うのでまとめてみた。 たった3つの正規表現メタ文字セットだけ知ればいい コマンドによって、対応している正規表現メタ文字の範囲には違いがある。しかし、最低限知っておけばよいのは2種類+1サブセットの3つだけだ。 BRE(基正規表現)メタ文字セット ERE(拡張正規表現)メタ文字セット AWKのサブセット もちろん、これ以外にもGNU拡張正規表現メタ文字セットやPerl拡張正規表現メタ文字セット、JavaScript拡張正規表現メタ文字セットなどいくつかあるのだが、「どのUNIXでも(=POSIXで)使える」という特長を持たせたいのであれば、それらは覚えても意味がないので上記の3つさえおさえておけばよい。(例えPOSI

    どのUNIXコマンドでも使える正規表現 - Qiita
    richard_raw
    richard_raw 2015/05/07
    EREはBREの上位互換じゃない、だと……。
  • Windows上で動作するUnix互換環境「Cygwin」がメジャーバージョンアップ

    Windows上で動作するUnix互換環境「Cygwin」がメジャーバージョンアップ
    richard_raw
    richard_raw 2015/04/30
    Windowsでシェルスクリプトが動かせるのが便利……だけど最近はMinGW使ってるなあ。
  • 忘れんぼなサーバ管理者の備忘録 ~ Solaris NFS編 ~

    share -F nfs -o rw -d "comment" /data1 share -F nfs -o ro=hostA,root=hostD -d "comment" /data2 share -F nfs -o rw,root=@192.168.10.0/24 -d "comment" /data3 デフォルトでは全ての行はコメント行であり、shareコマンドを追記していく。 このファイルに記述したshareコマンドを起動時に実行していくことで共有設定が行われる。 各行はコマンドラインからそのまま実行しても共有設定されるが、再起動を行うと消えてしまう。 shareコマンドの詳細は、MANページを確認してください。(man share、man share nfs)

    richard_raw
    richard_raw 2015/04/13
    職場の古いNFSサーバーがSolarisだったのでブックマーク。
  • Cool, but obscure unix tools

    Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. A little collection of cool unix terminal/console/cu

    richard_raw
    richard_raw 2015/01/23
    tppとかclocとかqalcとか気になります。
  • find/xargsを使ったファイル・ディレクトリ名の一括置換/一括作成コマンド一覧

    業務で楽するためのUNIXテクニック集 ファイル・ディレクトリ名の一括置換/一括作成 この記事は2008年~2009年頃に翔泳社で連載していた「業務で楽するためのUNIXテクニック集」の原です。 はじめに この連載では、UNIX系OSをコマンドライン上から効率よく利用するために知っておくべきテクニックや、便利な小技を紹介していきます。 今回は、第0回、第1回で紹介したfind/xargsコマンド、シェルの変数展開、制御構造を利用した「ファイル・ディレクトリ名の一括置換」に関するテクニックを紹介します。 また、「ファイルやディレクトリの一括作成方法」「シンボリックリンクの作成方法」に関するテクニックも紹介します。「ファイル名の置換」テクニックを検証する際の、コマンド確認環境構築にご利用ください。 関連記事 シェル制御構造と正規表現の基礎 grepを使った便利なコマンド一覧 find/xar

    find/xargsを使ったファイル・ディレクトリ名の一括置換/一括作成コマンド一覧
    richard_raw
    richard_raw 2014/11/20
    『サブディレクトリに渡るすべてのファイルの拡張子を「.txt」に変更する』が役立ちました。readコマンドのオプションとかあまり気にしてなかった。/唐突にperlが出てくるのは何とかなりませんかね。
  • sed に関するメモ

    richard_raw
    richard_raw 2014/10/14
    複数ファイルに書き出しとか出来たのか……。
  • 技術/UNIX/なぜnohupをバックグランドジョブとして起動するのが定番なのか?(擬似端末, Pseudo Terminal, SIGHUP他) - Glamenv-Septzen.net

    ホーム 検索 - ログイン | |  ヘルプ 技術/UNIX/なぜnohupをバックグランドジョブとして起動するのが定番なのか?(擬似端末, Pseudo Terminal, SIGHUP他) [ Prev ] [ Next ] [ 技術 ] 何をいまさら当たり前の事を・・・と思われるだろう。 $ nohup long_run_batch.sh & SSHからログアウト後も実行を続けたいバッチジョブを、"&"を付けてバックグラウンドジョブとしてnohupから起動するのは定番中の定番である。 しかし、「nohupを使わなくても実行を続けることが出来る」やり方があったり、さらには「nohupを付けてもログアウト時に終了してしまう」パターンがあるとしたらどうだろう? そして、ある日あなたの後輩や同僚がこれらについてあなたに質問してきたら、あなたはどう答えるだろうか? 「Web上で検索したら見つか

    richard_raw
    richard_raw 2014/09/18
    なにこれ超詳しい。……じっくり読もう。
  • コマンドラインツールを作るときに参考にしている資料 | SOTA

    コマンドラインツールについて語るときに僕の語ること - YAPC::Asia Tokyo 2014 コマンドラインツールが好きで昔からつくってきた. 今年のYAPCで,そのコマンドラインツールをつくるときにどういうことを意識して作っているのか?どのような流れで開発しているのか?といったことを語る機会をもらえた. 具体的な内容については,是非トークを聴きに来てもらうとして, スライドをつくるにあったって過去に読んだ資料や,よく参考にしている記事を集め直したので,その一部を参考資料としてまとめておく. UNIXという考え方 UNIXという考え方 Mike GancarzによるUNIXの思想や哲学をまとめた.古いが全然色あせてない. コマンドラインツールの作り方を書いたではないが,これらの思想の上で動くツールはこの思想に準拠して作られるべきだと思う.何度も読んで考え方を染み付かせた. 小さい

    richard_raw
    richard_raw 2014/08/28
    ロングオプションのまとめとかあるんですね。/ドキュメント書くの苦手なので、Readme駆動開発しようかしら。
  • いまさらgrepが10倍高速化したのはなぜか – はむかず!

    最近GNU grepコマンドの最新バージョンがリリースされ、速度が10倍になったとのアナウンスがあった。それを聞いて、なんであんな枯れた技術に10倍もの高速化の余地があったのだろうと不思議に思った人も多いだろう。 ニュース記事:grepコマンド最新版、”-i”で10倍の高速化 家のリリースノート:grep – News: grep-2.17 released [stable] 今回のリリースでは正確には、マルチバイトロケールで、-iオプション(–ignore-case、つまり大文字小文字を区別しないオプション)をオンにした時の速度が10倍くらいになったそうだ。 なぜそんなに速くなったのか?逆を言えば今までなぜそんなに遅かったのか? そもそも、多くの日人にとって「大文字小文字の区別」というと英語のアルファベットか、せいぜいフランス語とかドイツ語とかのアクサン記号・ウムラウトがついたものく

    richard_raw
    richard_raw 2014/02/25
    そう言えばLANG=Cで速くなるという話は聞いたことがあったような。大文字と小文字でバイト数が違うコーディングか……。
  • コマンドラインでデータを扱う方法の色々 | Yakst

    headやgrepなど基的なコマンドから、CSVのためのcsvtoolやJSONを扱うjqコマンドまで、テキストデータを処理する時に使う各種ツールを例とともに解説する。 RやPythonのような成熟したコンピューティング環境は、詳しくデータを分析するのには素晴らしいものだ。しかし、素早くシンプルにデータの調査や捜査をしたいときには、UNIXのコマンドラインツールはものすごく効率的だ。この記事では、自分で見つけ日々使っているいくつかのツールに光を当ててみようと思う。新しいツールをあなたのレパートリーに加えられたらうれしい。 ファイルをのぞき見る( head tail less ) NASAのサンプルWebログデータをダウンロードするところから始めよう。 $ wget ftp://ita.ee.lbl.gov/traces/NASA_access_log_Jul95.gz ダウンロードされた

    コマンドラインでデータを扱う方法の色々 | Yakst
    richard_raw
    richard_raw 2014/02/13
    shufでランダムサンプリングとかcsvtoolとかjqとか。
  • cmder | Console Emulator

    cmder is software package that provides great console experience even on WindowsCmder is a software package created out of pure frustration over absence of nice console emulator on Windows. It is based on amazing software, spiced up with Monokai color scheme and custom prompt layout. Looking sexy from the start. With help of the best Think about cmder more as a software package than a separate app

    cmder | Console Emulator
    richard_raw
    richard_raw 2013/12/11
    Conemu+clink+msysgitらしい。今のmsys環境が壊れたら検討してみます。
  • シェルスクリプトを書くときに気をつける9箇条 - Qiita

    最新の類似投稿としてシェルスクリプトのコーディングルール2014も併せてどうぞ。 2014/10/09追記 ぼくがシェルスクリプトを書くときに気にしていること、過去の失敗で書き留めたことを忘れないために。 1. グローバル変数は大文字 PATH や HOME など、環境変数が大文字なので、エクスポートする変数を大文字で書くという習慣は一般的であるような気がしますが、エクスポートする変数を抱えるシェルスクリプトを作成する機会が稀なので。 グローバル変数は大文字 ローカル変数は小文字 エクスポートする変数も大文字 関数内からグローバル変数にアクセスする場合がありますが、やはり区別していると、可読性が増すような気がするのでお勧めです。 2. awk を知る Unix 上にて文書処理をするときに、数多くのフィルタコマンド(grep、cut、tr、head、sort、uniq、sed、awk、wc、

    シェルスクリプトを書くときに気をつける9箇条 - Qiita
    richard_raw
    richard_raw 2013/10/10
    ついついcatを使ってしまうので反省。/what用の記述、昔は書いてたなあ……。/"$()"は素のshで使えましたっけ?
  • 7 Command-Line Tools for Data Science | Jeroen Janssens

    Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for

    7 Command-Line Tools for Data Science | Jeroen Janssens
    richard_raw
    richard_raw 2013/09/20
    JSON関連が多いですね。scrapeとRioは使ってみたい。
  • catコマンド 10の使い方

    Guides, HowTos and Tips for Technology Geeks - The Geek Stuff The Geek Stuffにcatコマンドや関連するコマンドの10の使い方の記事が掲載された。catコマンドはLinuxやFreeBSDで頻繁に使われる基コマンドのひとつ。ファイルの中身を表示するコマンドと認識されることが多いが、コマンド名の由来は「連結する」を意味するconcatnateであり、ファイルの連結に使われる。 catコマンドは便利なコマンドだが、ファイルの中身を見るためだったりパイプへ流すためだけに使われるなど、意外と活用されていない。「10 Cat Command Examples to Manage Files in Linux / UNIX」ではcatコマンドの10の基的な使い方を紹介しており参考になる。紹介されているcatコマンドの使い方は

    richard_raw
    richard_raw 2013/04/22
    そういえば由来を忘れていました。
  • Re: UNIX Command Idioms - (ひ)メモ

    Re: [twitter:@riywo]'s UNIX Command Idioms ps auxwwwwwww number of "w" depends on my mood in that day :D ps auxwwwwwwwww -L netstat -tna / -una / -tnl / -tnap tar xvf tar zxvf / jxvf / Jxvf are boring trailing slash in rsync rsync -av file [file] HOST:dir/ rsync -av dir/ HOST:dir/ tcpdump -i any -nlx strace -s 100 -fFTttt diff -u /path/to/file <(ssh host cat /path/to/file) see also: http://d.haten

    Re: UNIX Command Idioms - (ひ)メモ
    richard_raw
    richard_raw 2013/02/27
    そういえば、あんまり関数とかaliasとか設定してなかったなと。
  • jq

    jq is a lightweight and flexible command-line JSON processor. jq is like sed for JSON data - you can use it to slice and filter and map and transform structured data with the same ease that sed, awk, grep and friends let you play with text. jq is written in portable C, and it has zero runtime dependencies. You can download a single binary, scp it to a far away machine of the same type, and expect

    richard_raw
    richard_raw 2013/01/04
    コマンドラインでJSON解析。
  • シェルスクリプト総合誌「USP MAGAZINE」

    シェルスクリプト総合誌「USP MAGAZINE」 http://www.usp-lab.com/pub.magazine.html http://www.facebook.com/uspmag こんな雑誌があったとは…「USP MAGAZINE」は、サーバー管理者やUNIX系プログラマーに向けて、2011年に創刊したUNIX/Linux/FreeBSD/シェルスクリプトの総合誌です。 シェルプログラミングにとどまらず、様々なジャンルの「洗練された」技術技術者を紹介しています。USP友の会というコミュニティから生まれた雑誌らしいです。安いし、取扱書店の前を通った時に買ってみようかな。通販でもいいんだけど。

    シェルスクリプト総合誌「USP MAGAZINE」
    richard_raw
    richard_raw 2012/12/24
    こんな雑誌あったのか……。
  • Mountain Lionで追加された便利なUNIXコマンド6個 | ソフトアンテナ

    Mountain Lionでは、通知センターの追加やiCloudの強化など派手な機能の追加の他に、新しいUNIXコマンドもいくつか追加されているみたいですね。 「Interesting new UNIX commands/binaries in OS X Mountain Lion « Ask Different Blog」で、Mountain Lionで追加されたUNIXコマンドがリストアップされています。 sharing - afp,ftp,smbサービスの共有ポイントを作成するコマンド。 serverinfo - サーバー環境で実行されているかどうかを判定するコマンド。 caffeinate - システムがスリープするのを防ぐコマンド。 fdsesetup - FileVault有効化ツール。 pgrep,pkill - 名前を使ってプロセスを見つけたりシグナルを送ったりするコマンド

    richard_raw
    richard_raw 2012/08/13
    caffeinateは使ってみたいかも。