CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi
The GNU Awk User's Guide - はじめに
移動先 先頭, 前, 次, 末尾 セクション, 目次. "To boldly go where no man has gone before" is a Registered Trademark of Paramount Pictures Corporation. Copyright (C) 1989, 1991, 92, 93, 96, 97, 98, 99 Free Software Foundation, Inc. This is Edition 1.0.4 of Effective AWK Programming, for the 3.0.4 (or later) version of the GNU implementation of AWK. Published jointly by: @multitable {Specialized Systems Consultants,
シェルスクリプトを何万倍も遅くしないためには —— ループせずフィルタしよう - Qiita
🐚 🐚 🐚 🐚 シェルスクリプトは遅すぎて使えない 普通の「速い言語」より何百、いや、何千倍も遅い 他のプログラミング言語を経験してからシェルスクリプトに入門し、このような感想を持つ方も多いのではないでしょうか。 実際、こういったことは往々にして起こり得ますので、「速い言語」を使うべきか否か見極めることは大事だと思います。 しかし、本当にシェルスクリプトというのは、そこまで遅いのでしょうか？ データ量が多い場合は常に最初から「速い言語」で書いた方がよいのでしょうか？ 実は、そうとも限りません。 シェルスクリプトにはシェルスクリプトなりの「速い書き方」があります。 この「速い書き方」で処理できる問題に関しては、シェルスクリプトは「速い言語」なのです。 では、「速い書き方」とは何かというと、端的には「たくさん繰り返されるループはシェルスクリプトで記述しない」ことです。 以下でこれを説明
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
bash,awk,sed - スキルアップ輪講
参考文献 † # Web サイトのことをやたらと HP という人がいますが，HP は Hewlett-Packard のことです． 非常に有益です． 入門 UNIX シェルプログラミング UNIX の部屋 awk manual sed manual 正規表現メモ Cyberam-シェルスクリプト 吉田淳「シェル&シェルスクリプト」, 日経 Linux, 2004/4- 森島直人「シェルの魔術」, UNIX MAGAZINE, 2004/11- man コマンド ↑ bash スクリプトの書き方 † スクリプトファイルの名前は何でも良いが，慣例として拡張子は .sh とする． スクリプトファイルは，必ず以下の行で書き始める． #!/bin/bash なお，/bin/bash とは，bash コマンドへのフルパスである．Linux オペレーティングシステムでは /bin 以下にある sh は
All commands
The 30 means start extracting frames from 30 seconds into the video. The 3 means extract the next 3 seconds from that point. The fps can be adjusted based on your preferences. The 320 is the width of the gif, the height will be calculated automatically. input.mp4 is the video file, which can be any video file ffmpeg supports. The output.gif is the gif created. ffmpeg -ss 30 -t 3 -i input.mp4 -vf "
sed一行野郎 - ボクノス
ネタを大量に拾ってきたので、遊んでます。楽しすぎ。 ## スペーシング {{{ # 1行空ける sed G # 空白行を除いて1行空ける sed '/^$/d;G' # 開けたスペースを取り除く sed 'n;d' # マッチした行の上に空白行 sed '/regexp/{x;p;x}' # マッチした行の下に空白行 sed '/regexp/G' # マッチした行の上下に空白行 sed '/regexp/{x;p;x;G}' # }}} ## 行番号 {{{ # イマイチな行番号 sed = # 何故だか2行に表示されるので、2行を1行に結合する。 sed = | sed 'N;s/\n/\t/' # 何故かawk。 awk '{print NR,"\t",$0}' # 右揃え。prel風に書くと、s/^/ / *(.{6,}\n)/ つまり・・・" | 123|"と切り取る。 sed
AWKの一行野郎
わずか一行のプログラムで、 AWKでは現実的で便利な処理ができます。そん なプログラムを一行野郎とか one linersと呼びます。一行 野郎は、スクリプトファイルを作らずに、次の例のようにコマンドラインにプ ログラムを直接書くのが粋です。ここに上げる例は、みなgawkのマニュアルに 載っていたものです。例中のdatafileは処理したいファイル名に置き換えてく ださい。 % gawk '{ if (length($0) > max) max = length($0) } END { print max }' datafile この一行野郎は、datafileの行の最大の長さを出力します。 % gawk '{if (length($0)>m) m=length($0)} END{print m}' datafile 一行野郎では変数名はうんと短かくて良いと思います。これは一つ目の一行野
The GNU Awk User's Guide - 便利な一行野郎
多くの有用なawkプログラムは短く、一行か二行のものである。ここに集 めたのはそういった、便利で短いプログラムである。これらのプログラムのうち の幾つかは、まだ説明していない機能を使っている。プログラムの説明は何かを するための良いアイデアをあなたにもたらすだろうが、どうかこの マニュアルの残りを読んで欲しい。あなたがawkのエキスパートと なるために! 例の大部分は`data'という名前のデータファイルを使用している。これは 単なるプレースホルダー(placeholder)である。これらのプログラムを使う 場合、`data'を好きな名前に置き換えることができる。 awk '{ if (length($0) > max) max = length($0) } END { print max }' data このプログラムは入力行の中でもっとも長いものの長さを出力する。 awk 'lengt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【山田祥平のRe:config.sys】 GUIの助っ人
サービス終了のお知らせ
IBM Developer
IBM Developer