Advanced Shell Scripting Techniques: Automating Complex Tasks with Bash
Advanced Shell Scripting Techniques: Automating Complex Tasks with Bash Bash scripting, a cornerstone of Unix and Linux system administration, offers powerful tools to automate repetitive tasks, streamline workflows, and handle complex operations. For those already comfortable with basic scripting, diving into advanced techniques can unlock new levels of efficiency and capability. This post will e
パイプに関係するさまざまなバッファ、ちゃんと意識していますか？ - Qiita
はじめに コマンドをパイプでつなげた時、各コマンドの間にはいくつかのバッファが存在します。そのバッファについてちゃんと意識しているでしょうか？ バッファの存在によって各コマンドの実行には分かりづらい変化があります。そのバッファを知らないと罠にハマってしまう・・・かもしれません。 プロセス間のパイプ通信のバッファ まずプロセス間のパイプ通信に存在しているバッファです。多くのコマンドは行単位でデータを処理しますが、一般的にパイプでつなげた各コマンドはそれぞれ処理速度が異なります。処理がすぐに終わるコマンドもあれば時間がかかるコマンドもあります。各コマンドは並列で動作可能ですが必ずしも並列で動作するわけではありません。 一般論としてパイプライン全体の処理にかかる実時間はパイプでつながったコマンドの中で一番遅いコマンドに足を引っ張られます。いくら並列で動作可能と言ってもデータが到着しなければ処理す
Tera Term 私的おすすめ設定 - Qiita
自分が普段 Tera Term をインストールしたときに必ずやっている初期設定を紹介します。 それぞれ、 危険な機能の無効化 利便性向上 個人的好み のいずれかを目的としたものです。特に「危険な機能の無効化」カテゴリのものは万人にお薦めします。 なおこの記事は Tera Term 4.106 を前提に記載しています。 インストーラーでの設定 追加プラグインを全て有効化する カテゴリ 利便性向上 変更理由 デフォルトでは追加プラグインは「TTXResizeMenu」と「TTXttyrec」しか有効になっていない。しかし個人的には「TTXKanjiMenu」もしばしば使うため。 インストール後の TERATERM.INI のカスタマイズ ConfirmPasteMouseRButton を off から on に変更 カテゴリ 危険な機能の無効化 変更理由 off だと右クリックした瞬間にクリ
単純作業を自動化して人類の無駄な時間をなくそう - 竹迫の近況報告
このエントリーは Recruit Engineers Advent Calendar の 5日目の記事です。 www.adventar.org 目次 自己紹介 時間は有限、大切に使おう sshで30台のサーバをセットアップする expect コマンドを使おう StrictHostKeyChecking no chpasswdでパスワード設定 chmod u+sとSUID seqコマンドとbash拡張構文{1..9} Excel業務を自動化しよう Win32::GuiTest でキーボード入力を自動化 MouseMoveAbsPix でマウス操作を自動化 マインスイーパーの自動化 BadUSBによるキーボード入力の自動化 まとめ 1. 自己紹介 @takesakoです。最近、まつもとゆきひろさんと岸川克己さんが技術フェローと技術顧問に就任した会社で専門役員を担当しています。 会社ではホールデ
bashで覚えておきたいショートカットキー(キーバインド) | 俺的備忘録 〜なんかいろいろ〜
Linuxでデフォルトのログインシェルといえばbash。sshで接続するにしても、bashは必ず使うものだ。 今回は、そんなbashで利用できるショートカットキー(キーバインド)で覚えておくと便利なものをピックアップしてみた。 1.カーソル移動系 カーソルを移動する際に便利なショートカットキー。 こうしてみると、意外と知らなかったショートカットキーがあったりする。 コマンド 機能
サーバで作業時にログを残す - Qiita
あらまし サーバ上でなにかしら作業する時にhistoryコマンドで見直してもいいけどだるいよね。 -> コマンドと実行結果をログに吐かせておこう。 環境 CentOS 6.6 察しの言い方は既に何やろうとしてるか気づいてると思います。 Scriptコマンド $ man script - 早い話がこれで解決する。 使い方 ### script <保存ファイル名(パスで指定してもいい)> $ script log スクリプトを開始しました、ファイルは log です #ここから $ touch hogehoge $ exit exit スクリプトを終了しました、ファイルは log です #ここまでが記録される $ ls hogehoge log $ cat log スクリプトは 2015年07月09日 06時17分01秒 に開始しました$ touch hogehoge $ exit exit ス
シェルスクリプトワークショップ資料 - 上級者向け「シェル芸」
OSC・シェルのプロが語る『make を使ったデータ処理。』 【make 教】 - OSC2015 Tokyo/Spring 発表資料博文 斉藤
シェルスクリプトワークショップ資料 - 初心者向け「シェル芸」
OSC・シェルのプロが語る『make を使ったデータ処理。』 【make 教】 - OSC2015 Tokyo/Spring 発表資料
grepコマンドで覚えておきたい使い方14個(+3個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUnixを使っていく上で、どんなに経験が浅くても一度は利用するgrepコマンド。 今回は、このgrepコマンドで覚えておきたい使い方について紹介する。 なお、ここで扱うgrepコマンドはLinuxのものをベースに記述している。商用UNIXやBSD等の場合、オプションなどが異なる事があるので注意。 1.基本の使い方 まずは基本的な使い方から。 テキストファイルから特定の文字列を含む行のみ出力する。 grep 検索したい文字列 検索したいテキストファイル ワイルドカードを用いる事で、複数のファイルを指定してgrepを行う事も出来る。 コマンドの出力結果から検索する場合は、「|(パイプ)」を利用する。 コマンド | grep 検索したい文字列 2.複数の条件でor検索する 複数の条件で検索を行う場合、eオプションを付与する。 grep -e 検索したい文字列1 -e 検索したい文字列
忘年会しても忘れてはいけない便利最高grepオプション - すがブロ
grep -o これです。おじさんになっても恥ずかしがらずにこういうのを書いていくのが重要かなと思うようになりました。 おじさん、grep -oを知りました— IT業界のマー君 (@sugamasao) 2014, 12月 26 -oを使うと、その引数にマッチした文字列のみ出力できます。 例えば、こんなアクセスログがあったとして…… xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:12 +0000] "HEAD /login.do HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:15 +0000] "HEAD /login.action HTTP/1.0" 40
一時ファイル作成が不要になる「プロセス置換」
LinuxやMacなどで一時ファイル作成が不要になる「プロセス置換」の使い方について紹介します。 １．はじめに 2つのファイルを比較するときには、通常diffを利用します。 % diff foo.txt bar.txt ですが、一方または両方のファイルを加工してから比較したい場合、次のようなことを行うことがあります。 % grep -v hoge foo.txt > foo2.txt % grep -v hoge bar.txt > bar2.txt % diff foo2.txt bar2.txt 具体的な例として、5月9日と5月10日のウェブサイトへのページ別アクセス数のログ（CSVファイル）があるとします（Google AnalyticsからダウンロードしたCSVとか）。 % cat 0509.log aaa.html,300 bbb.html,20 ccc.html,156 ddd
マルチ画面でコマンドを実行させられる「multitail」コマンド | 俺的備忘録 〜なんかいろいろ〜
SSHごしに、マルチ画面でtailやコマンドの実行を行えるツール『multitail』というものがあると知ったので試してみることにした。 マルチ画面でtailをかけられるということは、監視などでいくつもTeratermのウィンドウを開かなくてもいいということか…ちょっと便利そう。 1.インストール まずはインストールから。 以下のコマンドを実行しインストールを行う。 Debian/Ubuntu sudo apt-get install multitail RHEL系Linux yum install multitail ※RHEL系の場合、RPMforgeを有効にする必要がある。 2.コマンド実行 実際にコマンドを実行してみる。 以下のコマンドを実行し「/var/log/syslog」「/var/log/apt/history.log」「/var/log/auth.log」を同時にtail
うっかりnohup無しで長時間かかるコマンドを実行したときに後から終了しないようにする - Glide Note
いつまで経っても終わらないから帰れない… 途中で終了してしまうと困るので、ログアウトしても終了しないように。 作業の流れ Ctrl+Zでコマンドの中断 bgでバックグラウンドに回す jobsでジョブの確認 disownでログアウトしても実行されるようにする 実際のコマンドだと
データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記
xargs -P が激しく便利なのでメモ - おともだちティータイム
xargs の -P オプションを使うとプロセスを複数起動して処理を並列に行なうことが出来る。 例 例えば、 1 万枚の JPEG 画像を全て 800x800 に収まるように効率良くリサイズしたい。 まず私はこのようなコマンドを考えた。 convert --geometry 800x800 *.jpg しかし zsh に怒られた。 zsh: argument list too long: convert 引数が全て展開されるためこのような事が起きる。 私は xargs を使って処理することを思い付いた。 ls | xargs -I{} convert --geometry 800x800 {} c_{} 処理は行なわれるが非常に遅い。 しかも CPU を全く使っていないことが分かり、私は処理を並列的に行なう事を考えた。 そこで xargs の -P オプションの出番である。 P の後に並列
最近の tar には a (--auto-compress) オプションなるものが追加されたために人類の生産性がおよそ1%程度（当社比）向上する - Cry’s Diary
最近の tar には a (--auto-compress) オプションなるものが追加されたために人類の生産性がおよそ1%程度（当社比）向上する - Cry’s Diary http://d.hatena.ne.jp/Cryolite/20120329#p2 知らんかった…$ tar acf hoge.tar.bz2 foo bar $ tar acf hoge.tar.gz foo bar $ tar acf hoge.tar.xz foo bar$ file hoge.tar.* hoge.tar.bz2: bzip2 compressed data, block size = 900k hoge.tar.gz: gzip compressed data, from Unix, last modified: Wed Dec 5 00:02:07 2012 hoge.tar.xz: XZ
joinコマンドが便利過ぎて生きるのが辛い - Y's note
Linuxシステムプログラミング 作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 181回この商品を含むブログ (29件) を見る 結合 Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoinコマンドを利用します。joinによりSQLのinner joinに近いことがコマンドだけで出来てしまいます。今までテキスト処理をコマンドで行う事が少なかったのでjoinの活用方法を知りませんでしたが、今回調べた内容を記録します。似たコマンドとしてpasteというものもあり、こちらは同じ行数の内容を単純に結合します。そちらについても簡単に紹介します。 join join前にsort joinコマンドを利用する場合は2つのファ
zshのzargsコマンドの使い方 - 技術メモ帳
zsh には、zargsコマンド(組み込み関数) というのが用意されている。 これは、拡張グロブ用の xargs コマンドと言っても良いだろう。 マニュアルを見ると、xargs コマンドとオプションは、完全に互換しているらしい。 autoload zargs とする事で利用可能だ。 使い方だが、xargs というと、標準入力から読み込んだ要素、行に対して 特定のコマンドを実行するというものだが zargs の場合は、引数に指定した 拡張グロブ に対してこれらの処理を行う。 % zargs OPTIONS -- 拡張グロブ -- 実行したいコマンド たとえば、xargs で一番利用されると思われる ファイル数が ARG_MAX を越えてしまっているディレクトリ内のファイルを まとめて削除したい場合などは、次のようなコマンドを入力すれば良い。 % zargs -- ./* -- rm これだけ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【脱sed】いい加減シェルスクリプトで文字列をsedで置換するなんてやめよう - Qiita
よく使う 9 つの便利なシェル芸 - Qiita
