shellscriptでDBに大量データを登録する - rochefort's blog
ストアドプロシージャ使えない（面倒）、Rails Console利用できない場合にBulk Insertする例。すぐ忘れるのでメモ。 #!/bin/bash set -eu DB_USER="root" DB_PASS="pass" DB_NAME="db" DB_HOST="host" INSERT_NUM=100000 BREAK_NUM=1000 function execute_sql () { local sql=$1 mysql -u "${DB_USER}" -p"${DB_PASS}" -h "${DB_HOST}" "${DB_NAME}" -e "${sql}" } function main () { local insert_statement="INSERT INTO some_table (some_column)" insert_statement+=" VA
bashでJSONに変数を埋め込むための3つの方法 | DevelopersIO
昨今のWEB APIは、情報のやりとりにJSONを用いることが多いかと思います。Linuxのサーバを運用していると、手軽に書けるシェルスクリプトを使っていろいろなAPIを叩く機会が多いのですが、JSONの扱いには頻繁に悩まされます。 その悩みの一つは、いかにしてJSONに変数を埋め込むかというところです。例えば { "foo" : "bar" } のようなJSONがあったとします。ここで、fooのvalueであるbarの部分を、値を変数として受け取り、それを設定したいことになりました。JSONの文字列はダブルクォートで囲まれている必要があるため、コマンドラインやシェルスクリプトで利用する時にはシングルクォートで囲む必要があります。ですが、そうすると変数展開の機能が使えなくなってしまいます。 筆者も今までに何度か悩みました。この投稿では、これまでに使った3つの方法をご紹介します。 今回は、例
SoftwareDesign2018年1月号「使えるシェルスクリプトの書き方」特集が面白かった件 | DevelopersIO
AWSを日常的に触っていると、シェルスクリプトを書く機会が山のようにあります。あるんだけれど、どうにも考え方が特殊というか、他の一般的なプログラミング言語とは扱い方が違うというか、使いこなせて無い感を強く持ってました。 そんな折、SoftwareDesign2018年1月号でシェルスクリプト特集があったので、渡りに船とばかり購入して読んでみたところ、むっちゃええ感じの特集だったのでここに紹介いたします。 普段からシェルスクリプト書いているんだけれど、「これで良いんかなぁ」というモヤモヤ感をお持ちの方には有用なヒントが満載の特集だと思いますYO __ （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ｼｪﾙｽｸﾘﾌﾟﾄﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 以下、コマンド例は、bashを前提としています。 第1章「使えるシェルスクリプトにするために」 最初の章では、「使えるシェ
シェルスクリプトの罠を避ける三つの tips
シェルスクリプトは、Unix 系環境で仕事をするエンジニアなら誰もが一度は書くであろうにもかかわらず、書き方や特性を熟知している人が少ない言語です。この記事は、シェルスクリプトを書くときに罠を踏まないようにするために最低限あなたが気を付けるべき tips 集です。「たかがシェルスクリプト」とは思わないでください。生半可に書かれたシェルスクリプトはあなたの (チームの) 生産性をかえって低下させます。 Shebang に bash を明示しろ Bash でしか使えない機能のことを俗に Bashism と言います。Bashism はもちろん Bash 以外のシェルでは動きません。これに関するありがちな罠は、以下のように発生します。 Bash が /bin/sh として使われている環境でシェルスクリプトを書く。うっかり Bashism がシェルスクリプトに含まれていても、 /bin/sh は何も
プログラマーの君！ 騙されるな！ シェルスクリプトはそう書いちゃ駄目だ！！ という話 - Qiita
本記事が切っ掛けとなってお声がけを頂き、本記事の増補リファイン版となる記事をSoftwareDesign 2018年1月号のシェルスクリプト特集第2章として執筆しました。リファイン版には、この記事で触れていない文法面での分かりにくさについての解説が含まれています。その文法面での分かりにくさの解説の一部に相当する記事もありますので、ぜひそちらも併せてご覧下さい。 Shell Script Advent Calendarをご覧の皆様、図々しくも5日目に続く2度目のエントリーのPiroです。 前回は自作のBashスクリプト製Twitterクライアントをネタに実装を解説しましたが、今日は他の言語で多少のプログラミング経験はあるんだけど、どうにもシェルスクリプトは苦手だ……という人のための、シェルスクリプトによるプログラミングの勘所を解説してみようと思います。多分、プログラミング入門レベルの人や上級
エラー監視時(set -e)の汎用トラップコード(trap) - Qiita
今回実現すること シェルスクリプトの途中でエラーが発生した（コマンドの終了ステータスが 0 以外だった）とき、スクリプトを中断し、エラー発生時の環境情報を出力する。実行例は以下。 $ ./sample1.sh aa "bb" "cc dd" hello mondai hassei ← ここで問題発生 ------------------------------------------------------------ Error occured on ./sample1.sh [Line 8]: Status 1 PID: 3888 User: kobake Current directory: /test/shell Command line: ./sample1.sh "aa" "bb" "cc dd" ----------------------------------------
bashのTips色々 - Qiita
概要 bashの記法は独特なものが多く毎回ググってしまうのでまとめて(と言いつつまとまりがないですが。。。)おこうと思います。 ある程度まとまってからpostしようとか思ってたらごちゃごちゃになっちゃいました。 bashで使えるという意味なのでposixシェル共通のネタも混ざってます。 随時更新します。参考になれば幸いです。 参考 man bash リファレンスマニュアル Advanced Bash-Scripting Guide カッコ色々 bashでは色々なカッコがありますが、よく違いが分からず使っていたりするのでまとめてみます。 []と[[]] []はtestコマンドのaliasです。[[]]じゃないとできないこととしては、以下のようなものがあります。 空白を含む文字列をクォートしなくてOK var='abc 123' # []の中だとクォートしないとエラーになる [ $var =
ターミナルの作業が捗るかもな小技５つ - Qiita
ターミナルで作業する事が多いんですが、そのときによく使っているちょっとしたときに便利なコマンドなどを紹介します。 bashで説明します。 (zsh でもつかえるし、もっと便利になる物も多いですが) 1. 並列な階層に複数ディレクトリを一度に作成 {} を利用します。 aa,bb,cc というディレクトリを作るとき。
USP研究所: 出版 - シェルスクリプトマガジン
「シェルスクリプトマガジン」は、サーバー管理者やUNIX系プログラマーに向けて、2011年に創刊したUNIX/Linux/FreeBSD/シェルスクリプトの総合誌です。 シェルプログラミングにとどまらず、様々なジャンルの「洗練された」技術・技術者を紹介しています。 シェルスクリプトマガジン リニューアルのお知らせ シェルスクリプトマガジンは、2017年3月25日より、Webと紙のハイブリッドマガジンへとリニューアルしました。 リニューアル その1 Webマガジンの立ち上げ shell-mag.comにて、冊子版との連動記事やダイジェスト記事を発信しています。 リニューアル その2 冊子版の隔月刊化と内容の充実 シェルスクリプトマガジンは隔月刊にリニューアルし、これまで以上に充実した記事をお届けしています。 シェルスクリプトマガジン以下の号は在庫切れとなっております。（2021年10月現在）
シェルスクリプトを書くときはset -euしておく - Qiita
エラーがあったらシェルスクリプトをそこで打ち止めにしてくれる（exit 0以外が返るものがあったら止まるようになる）。「あっあれここでうまくいってないからデータ準備できてないのにあれあれっもうやめて！」ってなるのを防げる。 set -u 未定義の変数を使おうとしたときに打ち止めにしてくれる。Perlでいうuse strict 'vars';的なもの。 って気軽な気持ちで書いてしまって、「ん、やたら時間かかると思ったらスペルミスうわなにをするやめ」ってなるのを防げる。 一部だけ例外にしたい はてなブックマークのコメントより -e は command1 || command2 みたいなことが出来なくなるの使うことないな。-uは付けといて良いが。 確かにおっしゃるとおりですね。コマンドの失敗を考慮して書いている部分については（もしくはやたらexit 0以外するコマンドを呼ばないといけないときなど
シェルスクリプトを書くときに気をつける9箇条 - Qiita
最新の類似投稿としてシェルスクリプトのコーディングルール2014も併せてどうぞ。 2014/10/09追記 ぼくがシェルスクリプトを書くときに気にしていること、過去の失敗で書き留めたことを忘れないために。 1. グローバル変数は大文字 PATH や HOME など、環境変数が大文字なので、エクスポートする変数を大文字で書くという習慣は一般的であるような気がしますが、エクスポートする変数を抱えるシェルスクリプトを作成する機会が稀なので。 グローバル変数は大文字 ローカル変数は小文字 エクスポートする変数も大文字 関数内からグローバル変数にアクセスする場合がありますが、やはり区別していると、可読性が増すような気がするのでお勧めです。 2. awk を知る Unix 上にて文書処理をするときに、数多くのフィルタコマンド（grep、cut、tr、head、sort、uniq、sed、awk、wc、
シェルスクリプトを書く時に気をつけている事など - Qiita
あくまでも個人的な意見であって、自分がシェルスクリプトを書く時に気をつけている事を備忘録的に列挙しているだけです。 「こうするべきだ」と押しつけている訳ではありません。 勿論「私はこうしている」とか「こうすると良いよ」という意見や議論は大歓迎です。 export (1) しないシェル変数は全て小文字で書く。 PATH や HOME などは環境変数なので大文字で。 スクリプト内で使っているのは単なるシェル変数なので小文字で。 使い方をちゃんと区別する事は重要だと思う。 シェルの変数展開を活用しよう
"set -e": 実行コマンドが0以外の終了コードの場合、シェルスクリプトを終了する - 元RX-7乗りの適当な日々
「シェルスクリプトの実行過程でエラーが発生した場合に処理を止めたい」・・・それをすごくシンプル(簡単)に実現したい場合に使えます。 例えば、以下のようなシェルスクリプトを書いた場合、、、 #!/bin/sh mkdir /tmp/hoge/fuga touch /tmp/hoge/fuga/test.txt 実行結果は以下のようになります。 $ ./test.sh mkdir: ディレクトリ `/tmp/hoge/fuga' を作成できません: そのようなファイルやディレクトリはありません touch: `/tmp/hoge/fuga/test.txt'にtouchできませんでした: そのようなファイルやディレクトリはありません/tmp/hogeディレクトリが存在しないので、/tmp/hoge/fugaのmkdirでこけます。まぁ普通ですよね。。。 が、何も考えずに書くと、↑のように、その
システム統合にSOA？ RDBMS？ bashで十分！ － ＠IT
2009/09/07 毎年夏に開催される軽量プログラミング言語（LL：Lightweight Language）をテーマにした「LLイベント」。第7回目となる「LLTV」が、2009年8月29日に東京・中野で開催された。この記事ではプログラムの一部、「大改善!!劇的ビフォーアフター」をレポートする。前編では、Rubyによるfortuneコマンドの“増築”と、Firefox拡張によるslコマンドの実装というネタ系発表をレポートした。中編ではC言語にLisp風のマクロを取り入れ、lsコマンドのソースコードを約半分に削減する匠の技をレポートした。後編となる本記事では、売り場業務が滞りがちだった販売管理システムをbashコマンドで“建て直した”という劇的ビフォーアフターの発表をレポートする。 DBを捨ててテキストファイルに変換 「100万件ぐらいの検索なら、シェルだけでも1000分の数秒でできます
シェルスクリプト入門 [演算・比較]
乗算の演算子は「*」ですが、UNIXでは「*」はワイルドカードという特別な意味がありますので、エスケープ文字「\」を使用して「\*」と書きます。また、演算子の前後のスペースは省略できませんので注意してください。以下は四則演算のサンプルスクリプトです。 expr_test.sh #!/bin/sh a=`expr 5 + 3` b=`expr 5 - 3` ab=`expr $a + $b` c=`expr 5 \* 3` d=`expr 5 / 3` e=`expr 5 % 3` echo "a=$a" echo "b=$b" echo "ab=$ab" echo "c=$c" echo "d=$d" echo "e=$e"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bashのそれって実はこういう書き方できるよ一覧 - Qiita
恐怖！シェルショッカーの POSIX原理主義シェルスクリプト
bash-hackers.org
今日のワンライナー - 日向夏特殊応援部隊
IDEA * IDEA