[B! study][bash] raimon49のブックマーク

シェルスクリプトの [ ] と [[ ]] の違いを歴史的に解説〜言語設計者の気持ちになって理解しよう - Qiita

はじめに bash などのシェルには [ ... ] と [[ ... ]] の二種類の比較方法があります。一つはコマンド、もう一つはシェルの文法なのですが、具体的にはこの二つは一体何が違うのでしょうか？そもそもなぜ似ている機能が二つもあるのでしょうか？この記事は言語設計者の気持ちになって考えることで、その理由を解き明かそうという記事です。なお、違いについての簡単な説明については「test と [ と [[ コマンドの違い - 拡張 POSIX シェルスクリプト Advent Calendar 2013 - ダメ出し Blog 」の記事がよくまとめられていますので紹介します。一通りの違いを素早く知りたい方はこちらを参照してください。参考シェルの歴史や種類については「シェルの歴史総まとめ（種類と系統図）と POSIX の役割」に詳しくまとめています（系統図とか頑張って書いたので見

raimon49 2022/11/07

リンク

bash スクリプトの実行中上書き動作について

を設定してから再度試した所 bar が表示された。backupcopy は編集中のファイルによって自動で判別する auto がデフォルトになっている為、試す際には明示的に yes に設定しないといけない。 bash の実装確認 evalstring.c の parse_and_execute でコマンドが処理されており、input.c の with_input_from_buffered_stream で読み込みの準備が行われている。バッファの読み込みの本体は y.tab.c つまりパーサから直接呼ばれており、このパーサは fgets(3) で読み込まれつつ実行される為、一括でファイルが読み込まれている訳ではない。 while/do でループ実行した際に、ファイルを書き換えられたら戻り先はどうなるか、についてはスクリプトはバッファ付きで読み込まれており、そのバッファがファイルシステムから読

raimon49 2021/12/29

リンク

MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDB DB設計インデックスこんにちは、羽山です。今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な

raimon49 2021/09/01

リンク

シェルスクリプトリファクタリング～遅いシェルスクリプトが供養されてたので蘇生して256倍に高速化させました～ - Qiita

はじめにことの始まりは「シェルスクリプトでツールを作ったけど速度が遅くて使い物にならなかったので供養」というツイートを見たからです。コードを見てみると、実例をあまり見ないシェルスクリプトのリファクタリング例として丁度良い内容と分量だったため記事にいたしました。記事を書くにあたりコードの利用を快く承諾していただいた @Hayao0819 様にはこの場を借りて御礼を申し上げます。内容は章立てで構成しており、序章で事前調査をし、第一章で一般的なリファクタリング、第二章でパフォーマンスを重視したリファクタリング、終章で少し余談をして締めくくっています。最初はパイプは並列処理されるから速くなるというのは神話（そうとは限らない）についても書いていたのですが流石に長いので分けました。それでも書きたいことを色々書いていたらめちゃくちゃ長くなってしまいましたので読み物として私がどんなことを考えながらリフ

raimon49 2021/05/08

外部コマンドに頼るなら外部コマンドの使い方はちゃんと調べましょうの下りはとても勉強になる。

リンク

シェルスクリプトを書くときにいつもやるやつを調べた

bash のシェルスクリプトを書くときに、いつも脳死で以下をやっている。(同僚が整備してくれたものをコピペしている) エディタなり CI で shellcheck をまわす set -euxo pipefail と冒頭に書くこんな感じ #!/bin/bash set -euxo pipefail いつまでもコピペではさすがにアレなので、意味を調べたメモ。 shellcheck koalaman/shellcheck: ShellCheck, a static analysis tool for shell scripts イケてない書き方に警告を出してくれるそれぞれの警告にはエラーコード割り振られていてとても便利エラーコードごとに正誤例、解説が書かれているのでわかりやすい SC1000 の例 CI もそうだし、エディタのプラグインも充実しているのでとりあえず入れておくと良い set

raimon49 2021/02/17

bashスクリプト先頭に入れるおまじないの解説。

リンク

bash スクリプトの先頭によく書く記述のおさらい - Money Forward Developers Blog

こんにちは。マネーフォワードでアグリゲーション開発を担当しています中川です。今回のブログは、私が bash スクリプトを書く際に心がけている事のおさらいをします。知ってて当たり前のことかも知れませんが、意外と理解されていないアレです。では、私が bash スクリプトを書く際によく使う記述を一つずつ紹介します。 2種類の shebang シェルスクリプトの一行目に必ず記述する #! で始まる行を shebang と言います。 bash スクリプトの shebang は、bash を絶対パスで指定する方法と、env を使って指定する方法の二種類あります。 bash を絶対パスを指定する方法 #!/bin/bash env を使ってを指定する方法 #!/usr/bin/env bash 前者は /bin/bash が使われます。（/bin/bash が存在しなければスクリプトの起動時に

raimon49 2018/07/25

set -e環境下で上手く書く方法までフォローされててよい。

リンク

bashのパラメータのブレース展開での拡張子・ディレクトリ名・ファイル名の取得・拡張子の置換 - それマグで！

bash のbrace 展開で文字列を置換する文字の置換は、bashはとても楽ちんである。 NAME=www.example.com echo ${NAME//./_} # www_example.com echo ${NAME//./_} # www_example_com これをもう少し掘り下げる。 bash でファイル名から拡張子を取出す方法ファイル名から拡張子を取出すのはカンタンでした。 path=/etc/apache2/httpd.conf extension=${path##*.} #=> conf 魔法の記述方法 ${varname##*.} を使うと手軽に拡張子を取得できる。拡張子を書き換える方法拡張子を書き換えるには、変数の書き換えを使えば直ぐ出来る。 f_name=httpd.conf txt_name=${f_name/.*/.txt} #=> httpd

raimon49 2016/11/03

sed要らず

リンク

何もしない組み込みコマンド ":" （コロン）の使い道

Bash でシェルスクリプトを勉強していくと出会うのが : （コロン）という名前の組み込みコマンド。このコマンドは何もしないコマンドです。こんなコマンドの存在は不思議だなと思う反面、C言語にも void という型があったり（関数のような形で存在するのは JavaScript とかですね）、LaTeX にも \relax があったり、何もしない命令というものは機械語の NOP からある普通のものです。この Bash の : の使い道についてまとめてみました。何か書かなければならないところに仮置きする例えば「ここに制御構造を置くんだけど、この節に入るものは後で書くんだけどな〜」といった場合、制御構造の節の中に何も書かないと Bash は構文エラーとなります。 #!/bin/bash arg="$1" if [ -z "$arg" ] ; then echo "デフォルトモード開始" e

raimon49 2016/02/13

リンク

どの環境でも使えるシェルスクリプトを書くためのメモ ver4.60 - Qiita

シェルスクリプトは環境依存が激しいから…… などとよく言われ、敬遠される。それなら共通しているものだけ使えばいいのだが、それについてまとめているところがなかなかないので作ってみることにした。「どの環境でも使える=POSIXで定義されている」と定義「どの環境でも使える」とは、なかなか定義が難しい。あまりこだわりすぎると「古いものも含め、既存のUNIX全てで使えるものでなければダメ」ということになってしまう。しかし、私個人としては今も現役(=メンテナンスされている)のUNIX系OSで使いまわせることにこだわりたい。とはいっても全てのOSやディストリビューションについて調べられるわけではないので、この記事では基本的に最新のPOSIXで定義されていることをもって、どの環境でも使えると判断するようにした。（飽くまで「基本的に」ということで）従って、互換性確保のため、シェルの中で使ってよい

raimon49 2015/05/06

関数内ローカル変数や簡易which()とか。力作。

リンク

configureスクリプトとは何なのか

Home Subscribe configureスクリプトとは何なのか 19 February 2015 おはこんばんちは!! 尾藤 a.k.a. BTO です。みなさん Unix のパッケージをインストールする時、configureスクリプト実行しますよね。なんかいっぱいいろんな事してるみたいで便利そうですよね。でも実際は何をしてるんでしょうね。 configureスクリプトの出力見てますか? エラーが起きたときしか見てない事ないですか? 先日、よく使ってるんだけどよく知らないと思われる configure スクリプトの正体について、オトバンクで勉強会をやりました。魔法の呪文 ./configure && make && make install よく打っているコマンドだと思いますが、これだけで解決します。素晴らしいですね!! GNU Autotools configure

raimon49 2015/04/09

リンク

仕事で使えるシェルスクリプト

[第136回関西Debian勉強会 + Linux Kernel 勉強会 LT大会](https://debianjp.connpass.com/event/90376/)での発表資料です。

raimon49 2014/12/30

setコマンド

リンク

bash によるオプション解析 - Qiita

すこし記事が長いため、簡単なアウトラインを書いておきます。要点だけ掴みたい場合は、最終項の「まとめ」を読むのがいいかもしれません。コマンドライン引数の一般的な解析手法それぞれの特徴〜 getopt と getopts の違い getopts（メリット・デメリット） getopt（メリット・デメリット）自前で解析しちゃう（唯一のデメリット）まとめ ============================= コマンドライン引数を処理する一般的な手法として、 getopts getopt shift などで自力で解析といった具合に、上から順に考えつくかと思います。getopt(3) は UNIX において、コマンドの引数を処理する一般的な C 言語のライブラリ関数です。それを用いて実装されたコマンドが getopt(1) です。Bourne シェル系だと内部関数になりますが、同系統の

raimon49 2014/12/21

getoptのBSD系とか。

リンク

パイプとフィルタ ~ソフトウェア工学における有用なアーキテクチャ~ | POSTD

パイプラインは、最近のソフトウェアエンジニアリングにおいて、非常に便利な（そして驚くほど活用されていない）アーキテクチャパターンです。ソフトウェアでデータの流れを制御するためにパイプとフィルタを用いる考え方は、最初のUNIXシェルが作られた1970年代からあります。もしターミナルエミュレータでパイプ” | ”を使ったことがあるなら、”パイプとフィルタ”を活用できていることになります。以下の例を見てみましょう。 cat /usr/share/dict/words | # Read in the system's dictionary. grep purple | # Find words containing 'purple' awk '{print length($1), $1}' | # Count the letters in each word sort -n | # Sort l

raimon49 2014/11/20

$PIPESTATUS変数知らなかった。前の連結したパイプにおけるあらゆるプロセスのリターンコードを確認できる。

リンク

[Linux][セキュリティ] shellshockはPerl/CGIでsystem()にダメージありや無しや - ろば電子が詰まつてゐる

bashの脆弱性"shellshock"が非常に話題になっておりますが、これがいろいろと事情が入り組んでおり全容がつかみづらい。ということでここでは全容を理解するのを早々に放棄して、以下のレガシー環境に絞った狭い話をします。レガシーとは言っても、それなりに鉄板の構成なので対象者は多いのでは無いでしょうか。私は老害なので、Perlしか分からないのです。PHPは嫌い。 CentOS(Red Hat) 6 or 7 PerlのCGIの内部で、system()を使っている。 (CGIとして動作させており、mod_perlやPSGI/Plackは使っていない）なお、shellshock自体の解説はここでは行いません。基礎知識：CentOSの/bin/sh はじめに、/bin/shとbashの関係について予備知識を知っておく必要があります。現在のCentOSおよびRed Hat Linuxにお

raimon49 2014/10/02

＞Perlでは、system()への引数が一つだけのときはそこにシェルのメタ文字があるかをチェックされ、メタ文字がある場合はシェルに解釈させる(丸投げする)ために/bin/shが起動されます。すなわち、shellshockされます。 / おおー

リンク

私が他人のシェルスクリプトから学んだこと | Yakst

私はシェルスクリプトの大ファンで、他人のスクリプトから面白い方法を学ぶのが大好きだ。最近、SSHサーバの2要素認証を簡単にするためのauthy-sshスクリプトに出会った。このスクリプト群を見まわしていて、みんなと共有したいたくさんのクールなことを見つけた。出力に色付けする出力文字列を、成功した時は緑に、失敗した時は赤に、警告は黄色に色づけしたいと思うことはたくさんあるだろう。 NORMAL=$(tput sgr0) GREEN=$(tput setaf 2; tput bold) YELLOW=$(tput setaf 3) RED=$(tput setaf 1) function red() { echo -e "$RED$*$NORMAL" } function green() { echo -e "$GREEN$*$NORMAL" } function yellow() { e

raimon49 2013/08/21

URL=${URL:-http://localhost:8080}みたいな格納方法あるんだ。知らなかった。

リンク

シェルスクリプトで「ビルドスクリプト」を作る時に便利なテクニック - ククログ(2012-10-11)

プログラムの種類によっては、そのまま実行できるものと、実行できるようにするために「ビルド」が必要なものとがあります。Cなどのコンパイルが必要な言語で書かれたプログラムは当然ビルドが必要ですし、コンパイルが不要な言語であっても、インストーラパッケージを作るというビルド作業が必要な場合はあります。ビルド作業の自動化のためのツールとしてmakeなどがありますが、そこまで本格的な事をやる必要がない場合は、シェルスクリプトで「ビルドスクリプト」を作るのが手軽でおすすめです。この記事では、そのような場合に役立つシェルスクリプトのテクニックを4つご紹介します。エラーの気付きやすさとデバッグのしやすさを高めるメッセージに色を付けるシェル関数をライブラリにする一時的に作業ディレクトリの中に入るエラーの気付きやすさとデバッグのしやすさを高めるはじめに紹介するテクニックは問題が発生した時に気づきや

raimon49 2012/10/12

set -e -xと同様の情報を局所的に得られるよう"$@"や$?と組み合わせた関数と、echo -eでエスケープシーケンス出力してエラーを知らせる例。cdは処理ごとに括弧でひとまとめに。

リンク

シェルスクリプトを書く際に気を付けていること8箇条 - カイワレの大冒険 Third

エンジニアという職業柄かシェルスクリプトを書くことはちょくちょくあるのですが、自分なりに気を付けていることを備忘録＆自分への戒めも含めて、簡単に書いてみたいと思います。変数は大文字シェルスクリプト書いていれば変数の出番は至るところであるでしょう。その際、可読性を増すように、変数は大文字を使っています。 RET=`cmd1`みたいに。好みの問題もあるでしょうが、分かりやすいので。クオテーションは選ぶクオテーションにはシングルだったり、ダブルだったり色々ありますが、使い分けておいたほうがよいでしょう。変数の展開がないようであれば、シングルクオーテーションのほうがスマートでしょうし、展開があるのならダブルクオーテーションを使えばと。ダブルクオーテーションを使うのにも意味があって、変数は「$RET」のようにクオテーションで囲まなくても動作はたいていするのですが、 echo "${RET

raimon49 2012/02/24

構文チェック系

リンク

シェルスクリプトのパスとパイプ - wyukawa's diary

考えてみるとここ1年はJavaのコードはほとんど書いていなくてそれよりはシェルスクリプトを書いている機会の方が多かった。なのでここら辺でシェルスクリプトを書いていてハマったところというかちょっとしたTipsをメモっておこうと思う。前提としてBashである。まずはパスについての話。シェルスクリプトでパスをべた書きしているとポータビリティが失われてしまい別のマシンに移行する場合に困るケースが多い。なのでこれをスマートに解決したいわけである。かといって単純に相対パスを使っていると困るケースがある。例えばある基準となるディレクトリ${BASE_DIR}があってその下にシェルスクリプトをおくディレクトリscriptsとログをおくディレクトリlogという構成にしたいとしよう。 scripts/ log/この場合にシェルスクリプトの中で echo ... > ../log/log.txt と

raimon49 2012/01/28

スニペット

リンク

高密度小池／ zsh の謎の挙動に悩まされていました

zsh の謎の挙動に悩まされていました nohup unko としてプログラムを起動した場合、端末を閉じたり exit コマンドを発行した場合にもそのまま動いていて欲しいものですが、 zsh 上ではこれも終了されてしまう。しかし、シェルスクリプトを書いてその中で nohup していた場合は端末や zsh を殺しても大丈夫。ちょっと調べたら答えがあった。端末を殺した場合のフロー端末が殺される→中で実行しているシェルに SIGHUP が送られる→シェルがよろくやるんでこれが bash の場合は SIGHUP を送らないのだけど zsh の場合は子プロセス全部に問答無用で SIGHUP を送るので、 nohup していても殺されてしまう。シェルスクリプトの中で nohup していて死なないのは、端末の死→ zsh にSIGHUP が来る → zsh

raimon49 2011/08/01

setopt nocheckjobs

リンク

はてなブックマーク

タグ

関連タグで絞り込む (29)

studyとbashに関するraimon49のブックマーク (19)

お知らせ

今週のはてなブックマーク数ランキング（2024年8月第4週）

今週のはてなブックマーク数ランキング（2024年8月第3週）

今週のはてなブックマーク数ランキング（2024年8月第2週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス