JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる
ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a file: jnv data.json - Read from standard input: cat data.json | jnv Arguments: [INPUT] Optional path to a JSON file. If not prov
DuckDB as the New jq
Recently, I’ve been interested in the DuckDB project (like a SQLite geared towards data applications). And one of the amazing features is that it has many data importers included without requiring extra dependencies. This means it can natively read and parse JSON as a database table, among many other formats. I work extensively with JSON day to day, and I often reach for jq when exploring document
The Ultimate Interactive JQ Guide
The Ultimate Interactive JQ Guide Learn how to search, query, and modify JSON data with 25 interactive jq examples and explainations Cover Photo by Pixabay Has this ever happened to you? You’ve just received a massive JSON file that looks like it was designed to confuse you. Or maybe you entered a command, and you got so much JSON that it looks incomprehensible. The data you need is buried inside,
jqコマンドのストリーミング処理 (--stream) をパイプでawkにつなぐ方法のまとめ - Qiita
はじめに 誰もが知っている通り jq コマンドは JSON データを処理するためのフィルタコマンドです。awk コマンドと同じように抽出や編集といったデータ処理を行える専用の言語を備えています。jq コマンドは巨大な JSON データをストリーミングで処理することができる --stream オプションを持っており、データの完全な取得を待たずにデータを受け取りながら処理することが出来ます。しかしその使い方は難しくあまり解説されていません。そこでどのように使うと良いのかを調べてまとめました。 ストリーミング形式の出力 （--stream) まず次のような JSON データを用意しました。 [ {"name": "apple", "price": 210, "count": 10 }, {"name": "banana", "price": 140, "count": 15 }, {"name"
jq 1.7をリリースしました - プログラムモグモグ
jqがjqlang organizationに移譲され、数名の新たなメンテナーを入れた開発体制に移行してから三か月が経ちました。 私にとってこの三か月はとても濃厚で、これまでのOSS活動の中でも特に大変な期間でした。 itchyny.hatenablog.com github.com リポジトリの管理権限をいただいてからまずやったことは、既存のissueやPRの整理でした。 500ほどのissueとPRに目を通し、ラベルをつけて、解決済みのものを閉じて、直近で入れたいものを独断でリリースマイルストーンに入れていきました。 この整理がついた頃には他のメンテナの活動も活発になり、私の作ったマイルストーンのissueやPRを確認してくれました。 そして先日、ようやく1.7をリリースしました。 1.6から実に五年弱、一時は開発が完全に止まってしまいプロジェクトの存続を危ぶむ声も上がるような状況から
YouTubeの文字起こし、youtube-transcript-apiで簡単に取得でき、LangChainでLLMに入力できる！ - nikkie-ftnextの日記
はじめに 夢見ていた nikkieです。 最近LangChainに執心ですが、今回は「こんなこともサクッとできちゃうの！？」という個人的ビッグニュースをアウトプットします🔥 目次 はじめに 目次 YouTubeの文字起こしをこんなに簡単に取得できちゃうの！？ 素振り：LangChainでYouTube動画の文字起こしを取得する 動作環境 文字起こし取得 ChatGPTに要約をお願い youtube-transcript-api 終わりに YouTubeの文字起こしをこんなに簡単に取得できちゃうの！？ 話題の つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 を眺めていたnikkie氏。 Chapter 07「Youtube動画の要約をしよう」を読んでいると YouTubeの動画の文字起こし（transcript
1993年に提案されたCGIを「デプロイ」 Perlとjqを使用したそれぞれのデモ
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。まずは、CGI（Common Gateway Interface）のデプロイについて話します。 macopy氏の自己紹介 macopy氏：よろしくお願いします。「デプロイ今昔物語～CGIからサーバーレスまで～」ということで、その（CGIからサーバーレスの）間にいろいろありますけれど、デプロイを次々とやっていって、みなさんを混乱させていくセッションになっています（笑）。 （話す）スピードが速いと思うので……。スピードというか、けっこう（内容を）ぎゅうぎゅうにしているので早口になっちゃうこともあるかもしれないですが、よろしくお願いします。ということ
jq が jqlang organization に移譲されました - プログラムモグモグ
JSONを操作するコマンドラインツールであるjqは、これまでオリジナル作者であるStephen Dolan氏 (@stedolan)のリポジトリ(github.com/stedolan/jq)で管理されていました。 メンテナンスはNico Williams氏 (@nicowilliams)とWilliam Langford氏 (@wtlangford)の二名が行なっていましたが、近年は活動が減っておりメンテナンスが滞っていることが度々指摘されていました。 最新のリリースは2018年11月に行われた1.6であり、その後に様々なバグ修正やパフォーマンス改善、新機能の実装が行われているのにリリースされておらず、またissueやPRも放置されがちになっていました。 さらにCI (AppVeyor)は常に落ちるので、簡単なドキュメント修正でもCIが通らず苦情が来る、数か月放置されたPRは作った人が諦
jq使えますと言うまでに読んでおきたい記事
この記事はDeNA 23新卒内定者 Advent Calendar 2022の 10日目の記事です。 こんにちはgari8です。 今回は内定先のAdvent Calendarに参加させていただくため久しぶりに筆を取りました。 DeNA 23新卒内定者 Advent Calendar 2022ではこの記事の公開日（2022/12/10）以降もさまざまなジャンルの技術に関する記事が更新されるのでぜひご覧ください！ さて、早速本題に入りたいと思いますが、jqという言葉を耳にしたことがあるでしょうか。 jQueryではなくjqです。（余談ですが、jqを検索する時はjQueryが入ってきてしまうことが稀によくあるので-jQueryを後ろに入れて弾くことをお勧めいたします。） jqを使いこなすと、GitHubActionsやCircleCIで無双できる（個人的にはできていませんが…）ので知らなかった方
パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)
jq（https://stedolan.github.io/jq/）の紹介では、「JSON処理のワンライナー〈一行野郎〉としてめちゃくちゃ便利！」とアピールするのが定番です。もちろんそれは本当で、「めちゃくちゃ便利！」です。が、実は jq は、ワンライナー記述にとどまらない、かなり本格的なプログラミング言語です。 JSON処理のためのDSL〈Domain Specific Language | 領域特化言語〉なので、汎用言語ではありません。しかし、汎用言語が備えている言語機能の一部（関数定義、モジュールシステムなど）を jq も持っています。また jq は、独特で楽しいプログラミング・パラダイム -- “パイプライン指向”に基づいて設計されています。 この記事では、ワンライナーを超えた jq の使い方と、プログラミング言語としての jq の特徴を紹介します。長い記事になってしまったので、一
詳細解説 jqコマンドとシェルスクリプトの正しい使い方と考え方 〜 データの流れを制するUNIX哲学流シェルプログラミング - Qiita
詳細解説 jqコマンドとシェルスクリプトの正しい使い方と考え方 〜 データの流れを制するUNIX哲学流シェルプログラミングShellScriptUNIXシェル芸jqUnix哲学 はじめに シェルスクリプトから JSON データを処理する時に良く使われるのが jq コマンドです。しかしほとんどの人は jq コマンドとシェルスクリプトのつなぎ方を間違えています。jq コマンドの使い方が間違っているというより、シェルスクリプトの設計思想や考え方を正しく理解していないために、間違ったつなぎ方をしていると言った方がより正確でしょう。「シェルスクリプトは正しい書き方をすれば簡単になる」このことをこの記事では明らかにしています。 追記 「jqコマンドとシェルスクリプトの上手い速い使い方」に要約版を書きました。この記事は長すぎた…。 タイトルの「UNIX 哲学流」とは jq コマンドをフィルタして使い、J
AWS IAMリソースの棚卸し方法をまとめてみた | DevelopersIO
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 皆さんは定期的にIAMリソースの棚卸しや管理をしていますか？いつの間にか溜まっちゃってる不要なIAMユーザーやIAMポリシーは無いですか？ 不要なIAMリソースを放置することはセキュリティ的に危険です。不要なものは定期的に削除しちゃいましょう。 そこで今回は不要なIAMリソースを少しでも楽に棚卸しする方法をまとめてみました。下記ターゲットに当てはまる方は是非ご一読ください。 本記事のターゲット IAMリソースを管理していない方/出来ていない方 IAMリソースの棚卸しをマネジメントコンソール上から手動でポチポチやって時間がかかっている方 やりたいこと あまり時間をかけずにIAMリソースの棚卸しをしたい 普段使っていないIAMリソースや新規作成したIAMリソースを定期的に確認したい やってみた 今回は以下の3つの
GitHub - wader/jqjq: jq implementation of jq
123, .123, 1.23, 1.23e2, 1.23e+2, "abc", true, false, null Scalar literals Unicode codepoint escape "\ud83d\ude03" Handle surrogate pairs \ud800-\udfff, should translate to codepoint. Control code and quote escape "\"\n\r\t\f\b\\\/" "abc \(123)" String interpolation {key: "value"} Object literal {key} {"key"} {$key} {(f): f} {("a","b"): (1,2), c: 2} Multiple key/value outputs {"\("abc")": 123} Key
ちょっとしたデータファイルのフォーマットにJSON Linesを使うと便利 - Lambdaカクテル
データ構造が決まるとアルゴリズムも自ずから定まる、みたいな話もあるように、ソフトウェアエンジニアリングの文脈では「どうデータを持つか」が重要だ。これはちょっとしたシェルスクリプトでも同様。 自分はUNIX哲学が好きで、なんかちょっとしたツールを作るときは基本的に1行1データのテキスト形式を喋るように作成する。そのほうが適用できるツールが多くなるからだ。shellscriptを使うときはwhile read文を使えば1行1コマンドを実行する処理をすぐ書けるし、sedを使えば基本的な加工ができる(互換性の問題があるから基本的にgsedを使うけど)。開発や運用にLinuxを使っている以上、こういう形式を採用しておくと取り回しやすくなる。 その一方、1行1データのテキスト形式はそれ自体では構造化されていないという問題がある。ちょっとでも複雑な形式で書こうとすると、CSVやTSVにしようとか、:でセ
JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利
JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利 2022-06-13-1 [Programming] コマンドラインでの JSON の操作には jq (軽量JSONパーサ)[2017-10-24-1] を使っています。万能で便利なんですが、奥まったところにある値だけを取りたいときとかちょっと面倒なんですよね。ちらっと値を見たいだけなのにおおげさになっちゃいがち。 ということで、 gron というのを使ってみました。 GitHub - tomnomnom/gron: Make JSON greppable!JSONをgrepしやすくするコマンドラインツールgronの紹介 - Qiitagronでjsonの扱いが楽になった話 – Tower of Engineers あ、これでいいや。 いわゆる「顧客（＝私）が本当に必要だったもの」だわ。 例えば、
GitHub - 01mf02/jaq: A jq clone focussed on correctness, speed, and simplicity
jaq (pronounced like Jacques1) is a clone of the JSON data processing tool jq. jaq aims to support a large subset of jq's syntax and operations. jaq focuses on three goals: Correctness: jaq aims to provide a more correct and predictable implementation of jq, while preserving compatibility with jq in most cases. Examples of surprising jq behaviour nan > nan is false, while nan < nan is true. [[]] |
Introducing zq: An Easier (and Faster) Alternative to jq
If you’ve ever had the need to query or transform large amounts of JSON data, you’ve undoubtedly turned to the phenomenal and ubiquitous tool jq. Yet your first experience trying out jq was probably a bit challenging. Its syntax is powerful but also terse and arguably a little too clever. It’s kind of like a Unix pipeline but not really. Don’t get me wrong. jq is awesomely useful. But overall, it
Scrapboxのコマンドラインクライアントを作った - 詩と創作・思索のひろば
ちょっとした手元の自動化を行おうとしたときに、Scrapbox のページ一覧を取得したり、プロジェクトの情報を取得したりしたくなる。Scrapbox ではとにかくほぼすべてが わかりやすい JSON API 経由で行われているわけなので、これをしてくれるコマンドラインツールがほしいわけです。 GitHub - motemen/sbx: An unofficial Scrapbox client ちなみに完全に野良だし、API も内部 API とされていて安定はしていないはず。そういうものです。 使い方 API の薄いラッパーなので基本的に JSON を返す。--jq オプションで結果を gojq で編集できる。 % sbx page list help-jp --limit 5 --jq 'map(.title)' [ "Scrapboxの使い方", "ブラケティング", "ページをリンク
GitHub - wader/fq: jq for binary formats - tool, language and decoders for working with binary and text formats
fq is inspired by the well known jq tool and language that allows you to work with binary formats the same way you would using jq. In addition it can present data like a hex viewer, transform, slice and concatenate binary data. It also supports nested formats and has an interactive REPL with auto-completion. It was originally designed to query, inspect and debug media codecs and containers like mp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ynqa/jnv: interactive JSON filter using jq
