AWS のタグを jq, JMESPath, Jsonnet でいい感じに取り扱う話 - estie inside blog
estie SRE の sugitak です。今日はね、 JSON を扱っていこうと思います。 何の記事？ 手元で bash や zsh を使っていると、環境変数ってこういう形ですよね。ペアで扱います。 Environment=production Product=estie ... DD_ENV=production ところが AWS はこういうふうに保持しています。これは人間の目に優しくないので、できれば手元と同じく Key=Value っぽい形で取り扱えたら嬉しいな。そのように思っているわけです。 [ { "Key": "Environment", "Value": "production" }, { "Key": "Product", "Value": "estie" }, ... { "Key": "DD_ENV", "Value": "production" } ] これを j
DuckDB as the New jq
Recently, I’ve been interested in the DuckDB project (like a SQLite geared towards data applications). And one of the amazing features is that it has many data importers included without requiring extra dependencies. This means it can natively read and parse JSON as a database table, among many other formats. I work extensively with JSON day to day, and I often reach for jq when exploring document
コンソールやシェルスクリプトからのメッセージ通知(日本語OK) - Qiita
これもたまに話題になる「CLI/cronとかからSlackとかへの通知」のためのスクリプトです。 スクリプトそのものよりは、curlでのAPIを叩く動作や、そのためのjqの利用Tipsが有用じゃないかな、というところです。 経緯 まだ(いまも)シェルスクリプトとかに不慣れな頃、「作業完了とかでの通知があるといいな」と思い、調べてみたが、それぞれの手法について、自分の環境に上手くフィットさせれなく、使えていなかった。 それから幾星霜(1年くらい?)、自分の環境に向いたツールやスクリプトなど状況を用意できたので、公開する。 なんらかのシェルスクリプトの動作完了通知を好きなメッセージングサービス経由で通知してもらえるのと、それを簡単に切り替え可能なのが良いところ 大枠の特徴 XMPP/SlackやTwitter...etcへ通知を行うためのスクリプト 自分の秘密情報は分離している が、個人の秘密
NVD公開のREST APIを用いて脆弱性情報を取得する - Qiita
背景 NVD (National Vulnerability Database) は、NISTが管理している脆弱性情報のデータベースであり、ソフトウェアやハードウェアの脆弱性情報を確認する際、NVDにお世話になることは非常に多いです。 そんなNVDですが、各CVEの脆弱性の情報が取得できればいいなあと思っていたところ、 NVDがREST APIを2019年9月に公開しているのを見つけました。 https://nvd.nist.gov/General/News/New-NVD-CVE-CPE-API-and-SOAP-Retirement 結構簡単に情報を取得できたので、情報共有も兼ねてプログラムを公開します。 実行環境 Ubuntu 18.04 LTS Python 3.9.1 ざっくりセキュリティ用語 厳密な意味はググれば出てくると思うので、ここではざっくりレベルで。 CVE (Comm
パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)
jq（https://stedolan.github.io/jq/）の紹介では、「JSON処理のワンライナー〈一行野郎〉としてめちゃくちゃ便利！」とアピールするのが定番です。もちろんそれは本当で、「めちゃくちゃ便利！」です。が、実は jq は、ワンライナー記述にとどまらない、かなり本格的なプログラミング言語です。 JSON処理のためのDSL〈Domain Specific Language | 領域特化言語〉なので、汎用言語ではありません。しかし、汎用言語が備えている言語機能の一部（関数定義、モジュールシステムなど）を jq も持っています。また jq は、独特で楽しいプログラミング・パラダイム -- “パイプライン指向”に基づいて設計されています。 この記事では、ワンライナーを超えた jq の使い方と、プログラミング言語としての jq の特徴を紹介します。長い記事になってしまったので、一
詳細解説 jqコマンドとシェルスクリプトの正しい使い方と考え方 〜 データの流れを制するUNIX哲学流シェルプログラミング - Qiita
詳細解説 jqコマンドとシェルスクリプトの正しい使い方と考え方 〜 データの流れを制するUNIX哲学流シェルプログラミングShellScriptUNIXシェル芸jqUnix哲学 はじめに シェルスクリプトから JSON データを処理する時に良く使われるのが jq コマンドです。しかしほとんどの人は jq コマンドとシェルスクリプトのつなぎ方を間違えています。jq コマンドの使い方が間違っているというより、シェルスクリプトの設計思想や考え方を正しく理解していないために、間違ったつなぎ方をしていると言った方がより正確でしょう。「シェルスクリプトは正しい書き方をすれば簡単になる」このことをこの記事では明らかにしています。 追記 「jqコマンドとシェルスクリプトの上手い速い使い方」に要約版を書きました。この記事は長すぎた…。 タイトルの「UNIX 哲学流」とは jq コマンドをフィルタして使い、J
curl で取得した気象庁公式の天気予報の情報（JSON）を jqコマンドで処理する - Qiita
この記事で書いている内容は、以下の記事を書いた際に使った「気象庁公式の天気予報の情報を curl で取得する方法」に関して、取得した情報に対する後処理を行ってみる話です。 ●気象庁公式の天気予報の情報（JSON）を curl・Node.js で取得し Node.js での処理を試す - Qiita https://qiita.com/youtoy/items/932bc48b03ced5a45c71 具体的には jqコマンドで JSON に対する処理を行います。 jqコマンドを利用する Mac にインストールする まずは、jqコマンドが利用できるようにインストールを行います。 Mac で Homebrew を利用しているのであれば、以下の記事などにあるとおり brew install jq 実行するだけで OK です。 ●HomeBrew で jqをインストールしてみる - 覚えたら書く
GitHub - 01mf02/jaq: A jq clone focussed on correctness, speed, and simplicity
jaq (pronounced like Jacques1) is a clone of the JSON data processing tool jq. jaq aims to support a large subset of jq's syntax and operations. jaq focuses on three goals: Correctness: jaq aims to provide a more correct and predictable implementation of jq, while preserving compatibility with jq in most cases. Examples of surprising jq behaviour nan > nan is false, while nan < nan is true. [[]] |
GitHub - brimdata/zed: A novel data lake based on super-structured data
Zed offers a new approach to data that makes it easier to manipulate and manage your data. With Zed's new super-structured data model, messy JSON data can easily be given the fully-typed precision of relational tables without giving up JSON's uncanny ability to represent eclectic data. Trying out Zed is easy: just install the command-line tool zq. zq is a lot like jq but is built from the ground u
Introducing zq: An Easier (and Faster) Alternative to jq
If you’ve ever had the need to query or transform large amounts of JSON data, you’ve undoubtedly turned to the phenomenal and ubiquitous tool jq. Yet your first experience trying out jq was probably a bit challenging. Its syntax is powerful but also terse and arguably a little too clever. It’s kind of like a Unix pipeline but not really. Don’t get me wrong. jq is awesomely useful. But overall, it
jq Cheet Sheet
jq-cheetsheet.md Processing JSON using jq jq is useful to slice, filter, map and transform structured json data. Installing jq On Mac OS brew install jq On AWS Linux Not available as yum install on our current AMI. It should be on the latest AMI though: https://aws.amazon.com/amazon-linux-ami/2015.09-release-notes/ Installing from the source proved to be tricky. Useful arguments When running jq, t
rjとtとjqコマンドでHTTPレスポンスを試験する - ゆーすけべー日記
Web 開発者は HTTP レスポンスをよく見る。 以前 CDN を導入する際に、キャッシュがヒットしているかどうか、どこのエッジがキャッシュを返しているかを確認するためにヘッダをよく見ていた。また、ヘッダだけではなく、TTFB といったレスポンスタイムも気にしている。とにかく HTTP レスポンスをよく見る。 HTTP レスポンスを確認する３つの方法 Chrome さえあれば DevTools を見て一目瞭然である。 とはいえ、コマンドラインで確認したい時がしばしばある。 GUI を操作するよりも手軽である。 その場合はcurlコマンドを叩けばよい。 これでプロトコル、ステータス、ヘッダが分かる。 また、レスポンスタイムを測りたければ、その名もttfb.shというcurlをラップしたコマンドラインツールがある。 https://github.com/jaygooby/ttfb.sh この
setouchino.cloud - このウェブサイトは販売用です！ - setouchino リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
コマンドラインJSONプロセッサー jqのオプションとフィルタ – エラーの向こうへ
jq（Command-line ISON processer） jqはJSONデータをスライスしたりフィルタしたりできるプログラムです。 コンソール上でJSONデータをきれいにインデント、ハイライトして表示することもできるのでJSONビューワーとしても使えます。 jqはc言語で書かれており、特定のライブラリに依存しません。 Windows,MacOS,Linuxなど多くのプラットフォームに対応しています。 –version バージョンをアウトプットして、exitステータス0で終了する –slurp/-s 各JSONオブジェクトに対してフィルタを実行する代わりに、全てのインプットストリームを読み込み配列に入れて1度だけフィルタを実行する –online-input/-I トップレベルのインプットの値が1つの配列のとき、配列の代わりにそのエレメントを提供する。非常に大きくなるかもしれないトップ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ynqa/jnv: interactive JSON filter using jq
Using Uncover with Netlas.io module
GitHub - orf/html-query: jq, but for HTML
Installation | Zed
Alerting on IOCs using Suricata
LZone Cheat Sheets | LZone