Live PreviewFor fast live update, only 5 elements from arrays are shown
Mock Turtle - GUI-Based Random Nested JSON Generator
Live PreviewFor fast live update, only 5 elements from arrays are shown
[Tips] JavaScriptでCSVを読み込んでJSONを作る | DevelopersIO
JavaScriptでCSVファイルを読み込んでJSONを作る簡単なサンプルを示します。 const csvFilePath = '[CSVファイルのパス]' const jsonFilePath = '[JSONファイルのパス]' const csv = require('csvtojson') const moment = require('moment') const fs = require('fs') csv() .fromFile(csvFilePath) .then((rows)=>{ rows = rows.map((row) => { row.id = new Number(row.id) row.success = new Boolean(row.success) row.registrationDate = moment(row.registrationDate).f
![[Tips] JavaScriptでCSVを読み込んでJSONを作る | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c6082d053d0b1940e3a9c4d81bf031a09b51ab0c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F04%2Fjavascript.png)
CUE言語に入門してみた | DevelopersIO
こんにちは、AWS事業本部コンサルティング部に所属している今泉(@bun76235104)です。 みなさんはCUE言語(CUE lang)を使っていますか？ CUEはGo言語との相性も良く、KubernetesのYAMLファイルをCUEに置き換えたりすることもでき、話題のCIツールのDaggerでも利用されています。 筆者は「JSON のすごいやつ」程度の認識しかなかったのですが、学んでみたいツールにCUEが利用されているため、今回公式のチュートリアルを通してCUEに入門してみました！！ なお、本記事では練習用のデータとして、筆者が大好きなお笑い芸人の名前などが出てきますが、特に意味はございませんのでスルーしていただけますと幸いです。 そもそもCUEとはなんなのか 公式サイトには以下のように記載されています。 CUE is an open-source data validation la
[AWS Lambda] APIから取得したCSV形式のデータをJSON形式に変換する（AWS CDK） | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、APIから取得したCSV形式のデータをJSON形式に変換するAWS Lambda関数をAWS CDKで作成してみました。 やってみる 準備 準備として下記の内容のCSVファイルusers.csvをS3バケットにアップロードします。（この用途については後述します。） userId,userName,age u001,Tobey,46 u002,Kirsten,39 u003,James,43 u004,Alfred,68 u005,Rosemary,94 csvtojsonの導入 今回、CSV形式のデータをJSON形式に変換するために用いたのはcsvtojsonです。。CSV文字列からの変換とCSVファイルからの変換のいずれにも対応しているライブラリです。 csvtojson - npm csvtojsonをインストールします。 $
![[AWS Lambda] APIから取得したCSV形式のデータをJSON形式に変換する（AWS CDK） | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
JSONをいい感じに見るCLIを作った
その他 OS の方は GitHub のrelease ページから DL することができます。 使い方 tv はミニマムな CLI として作ったのでテーブル表示の機能とそれに付随したオプションのみを提供しています。 配列になっている JSON をテーブル表示する キーを指定することでそのキーを使ってソートできる いくつかのスタイルでテーブルを表示できる 以上が主の機能です。 Table 表示 ユースケースとして JSON が帰ってくる API を想定します。 API の例として jsonplaceholder を利用します。 今回は https://jsonplaceholder.typicode.com/users を使います。 この API は以下のようなデータが返ってきます。 $ curl -s https://jsonplaceholder.typicode.com/users [
Node.js で JSON データを BigQuery にインポートする | DevelopersIO
吉川@広島です。 掲題の通り、 Node.js で JSON データを BigQuery にインポートする検証をしてみましたので共有します。 本記事の実施にあたり、 BigQuery に JSON 形式のファイルデータをロードする場合の挙動や制限事項を確認してみた こちらのブログを大いに参考にさせて頂きました。ありがとうございます。 環境 Node.js 14.13.0 TypeScript 4.1.3 dotenv 8.2.0 @google-cloud/bigquery 5.6.0 データセットの作成 GCP メニューから BigQuery を選択し開きます。 本記事の目標はテーブルを作成しそこにデータを保存することですが、その前に BigQuery のデータセットというリソースを作成する必要があります。 データセットの概要 プロジェクト > データセット > テーブル のような階層構
DataAnalyzer.app - JSON/CSVから各種言語向けのスキーマを生成 MOONGIFT
Web APIを使った開発時において、JSONを解析して他の言語向けに構造化することがよくあります。定型作業なので、毎回行うのが面倒だったりします。JSONは柔軟なフォーマットですが、スキーマを用いずに使えるので、こうした手間が発生します。 そこで使ってみたいのがDataAnalyzer.appです。JSONから各種言語向けの構造を生成します。 DataAnalyzer.appの使い方 JSONからTypeScriptの型定義を生成する例です。 Knex向けのコード生成。 MongoDB用。 PostgreSQLのスキーマ生成。 CSVからも生成できます。 デモにポケモン用スキーマを生成する例があります。 カラムの種別をグラフ化する機能もあります。 DataAnalyzer.appを使うことで、JSONやCSVから各種言語やデータベースに合わせたスキーマが生成されます。TypeScript
配列やnull（特定のキーがない）があるJSONからjqでTSV作ってみた | DevelopersIO
jqを使ってJSONからTSVを作りたかったのですが、やり始めてから このJSON、中に配列持ってるわ...。 あ、このkeyを持ってないレコードもあるし...。 と気付きました。 JSONは単なるKeyValueに限らず、Valueとして配列なども持つことができますし、 ファイルに含まれているレコードが全て同じKey項目を持っていることなどもちろん保証できません。 この辺を考慮できないと2次元のTSVに落とすことはできません。 最初は諦めてPythonのコードを書こうかと思ったのですが、 調べてみるとjqなら難なくできることがわかりました！ 今回は、配列は単純にカンマ区切りの文字列にできるものとして、 配列を含むJSONからTSVを作る処理を行ってみました。 具体的には以下のようなJSONから test.json [ { "job": { "jobId": "sample_job_01"
[Chrome] JSON ViewerでJSONを見やすくしよう！ | DevelopersIO
API開発や利用を行うとき、ブラウザでJSONを取得することがあります。 APIドキュメントによってはJSON構造と型のみが書かれている場合もあり、「実際にどんな値が入っているの？」を確認したい場合などです。 しかし、次のように文字列が単純表示されているとかなり見にくいです。 これは気象情報を取得するOpenWeatherMapのAPIを叩いた際のレスポンスです。 分かりやすく見ようと思うと、何らかのJSON FormatterでPretty表示することが多いです。 この作業（JS0Nコピー＆JSON Fomatterに貼り付け＆Pretty表示）が地味に手間です。そこでChrome拡張機能で楽しちゃいましょう！！！ JSON Viewer 下記の拡張機能をインストーするだけです！ JSON Viewer - Chrome ウェブストア JSONが構造化されて表示される 実際に冒頭のJSO
![[Chrome] JSON ViewerでJSONを見やすくしよう！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/bedd873f740a5571b2a127355297e65d6e96d163/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fgoogle-chrome-eyecatch.jpg)
gojqのパーサーを書き直しました - プログラムモグモグ
jqはJSONを絞り込むツールですが、実はれっきとしたプログラミング言語です。 算術演算子、論理演算子、分岐構文、try・catch、そして関数定義があり、ループは再帰関数で実装します。 単に .foo とか .[0] とかでJSONを辿るだけのツールだと思われている方は、builtin関数の定義を見ていただくと良いかと思います。 selectやmapのように、よく使われる関数でさえ内部実装になっていない (Cで書かれていない) のは面白いですね。 jqのクエリを思ったように書けないという経験から、jqをより深く知るためにGo言語で再実装したのがgojqです。 去年の4月から開発を始め、8月にブログ記事を書きました。 jqのほぼすべての機能を実装しており、pure Goで書かれているのでGo言語のツールに簡単に組み込むことができます。 この記事公開以降も開発を続けています。 --arg,
Node.jsで FirestoreにJSONデータをアップロードする - 酢ろぐ！
温度計センサーや株価データなど、ローカルPCにあるデータをCloud Firestoreにアップロードしたいことがあるかと思います。 Cloud Firestore に JSONデータ をアップロードする たとえば、以下のような s01a.json ファイルがあるとします。このデータをFirestoreにアップロードします。 [ { "number" : "001", "rarity" : "RR", "shop" : "yuyutei", "id" : "sm11a_001", "price" : 200, "date" : "2020-05-05T15:47:13Z", "sortDate" : "20200506", "version" : "sm11a", "name" : "フシギバナ＆ツタージャGX" } ] ローカルPCで node import_json.js s01a.j
jsonui - CUIで使えるJSONビューワー
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました JSONはWeb API、つまりコンピュータ同士が対話するのに向いたフォーマットですが、開発者が中身を閲覧する機会も多いです。そんな時、改行がない状態で表示されると読み誤ったり、理解するのに時間がかかるでしょう。 そこで使ってみたいのがjsonuiです。大きなJSONファイルでも簡単に構造を可視化できるJSONビューワーです。 jsonuiの使い方 表示しているところです。左側にアウトライン、右側に実際のJSONが表示されます。 キーボードで構造を辿れます。 キーボードショートカットキーです。 jsonuiは折りたたんだり、開くことができるので、大きなJSONでも簡単に構造が分かります。また、JSONのパスも表示されるので、jqなどを使う際にも役立つ情報になるでしょう。編集はできな
対話モードでPythonを実行して辞書データ（JSON文字列）を処理してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 AWSを利用したIoTシステムの開発で、作業の際にJSONデータを扱うことが多いため「この通常データのJSONを加工して例外データとしプログラムのテストに利用したい」「この1行のJSON文字列を整形して内容を見やすくしたい」という時がしばしばあります。 そこで今回は、そのような時にPython（対話モード）を利用してJSONデータを手元でぱぱっと処理して加工する方法を整理してみました。 基本的な使い方 まず、対話モードでPythonを実行して辞書データを扱う際の基本的な使い方を確認します。 最初にPythonの対話モードを開始します。pythonコマンドを実行するとプロンプトが>>>となりpythonコードが対話式で実行可能となります。 $ python Python 3.6.8 (default, May 24 2019, 18:27:52) [GC
JSON Editor - シンプルなUIのJSONエディタ
システム開発時にJSONを使う機会が増えています。Web APIなどで自動で出力させる場合もありますが、設定ファイルなどで自分の手作業で作る場合もあります。しかし、手作業で作るとミスしやすく、ストレスがたまります。 そこで使ってみたいのが専用のエディタです。今回はシンプルなUIのJSON Editorを紹介します。 JSON Editorの使い方 JSONファイルを開いたところです。 折りたたみできます。 プレビューで、JSONの内容をそのまま見られます。 クエリを使って絞り込みも。 特定のフィールドだけを出すこともできます。 JSON EditorはシンプルなUIで、すぐに使いこなせるでしょう。検索で絞り込んだり、並び替える機能は便利です。JSON Editorを使えばダブルクォートや改行なども気にせずさくさくとJSONを書けるでしょう。 JSON EditorはTypeScript製の
JSON にもコメントを書きたい - Qiita
JSON の構文は至ってシンプルです。 JSON は名前（キー）と値のペアがセットになった「オブジェクト」から構成されています。 キーはダブルクォートでくくられた文字列です。 値はダブルクォートでくくられた文字列、数値、真偽値、null 値、配列、またはオブジェクトです。 キーと値はコロン（ : ）で区切ります。 ペアとペアの間はカンマ（ , ）で区切ります。 前後を中括弧（ { , }）で挟みます。 { "文字列": "文字列", "数値": 0, "真偽値": true, "null値": null, "配列": [ "要素1", "要素2" ], "オブジェクト": { "キー": "値" } } そう、JSON にはコメントを記載するための構文がないのです。近年では設定ファイルなどで利用されることも多い JSON ですが、コメントによる説明が不要なキーを名付けることは現実的ではあり
JSONCrush - JSONをURLフレンドリーに圧縮
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました JSONはWeb APIのフォーマットとして多用されるようになっています。しかし広く普及すると、その使い勝手に対して不満を感じる人たちが増えます。サイズが大きい、もっと圧縮したいと考える人もいるでしょう。 今回紹介するJSONCrushはURLフレンドリーにJSONを圧縮します。 JSONCrushの使い方 適用したところです。約10%圧縮されたようです。 URLに適用されたJSONCrushの文字列をデコードしました。プログラマブルな文字列になっています。 JSONCrushはあくまでもURLとして使えるレベルでの圧縮を行っています。小さくするだけであればGZipなどを使えばいいですが、URLフレンドリーではありません。できあがった文字列をJSONCrushで展開すれば、元のJS
jqのGo実装 gojq を作りました！ ― スタックマシン型インタープリタによるイテレータセマンティクスの実装 - プログラムモグモグ
jqはとても便利なコマンドです。 JSONを返すAPIを実装するときや、SaaSのAPIから特定の情報を抜き出してシェル変数に代入するときなど、web開発や運用には欠かせないツールとなっています。 しかし、私にとってjqのクエリを一発で書くのは容易ではなく、思い通りの出力が得られないことがよくありました。 難しいエラーメッセージに悩まされて、jqで書くのを諦めて別の言語で書き直すこともありました。 jqの十八番と思える場面で使いこなせないのは、なかなか悔しいものがあります。 ツールを使うのが難しいなら、同じものを作ってしまえばよいのです。 jqの全ての機能を実装する jqを言語としてきちんと書けるようになる jqを完全に理解する jqの全ての機能を自分で実装してしまえば、jqがどういうものか、クエリがどのように処理されるのか、詳しくなれるはずです。 jqを得意な言語と言えるようになって、ク
JSON/YAMLで定義可能なHTTPモックサーバーMmockを触ってみる（シナリオに合わせて動くステートフルなモックの定義と部分的なプロキシモードの適用） | DevelopersIO
こちらの記事（JSON/YAMLで定義可能なHTTPモックサーバーMmockを触ってみる）で紹介させていただいたHTTPモックサーバー、Mmockですが本記事ではもう少し踏み込んだ利用方法について紹介させていただきます。 本記事は、 シナリオに合わせて動くステートフルなモックの定義 部分的なプロキシモードの適用 の各機能を実際にMmockへ適用しながらどう設定するのか、何ができるのかを紹介いたします。 Mmock Mmock | GitHub MmockはGo言語で書かれたHTTPモックサーバーです。 README.mdでは、主な特徴として以下があげられています。 JSONもしくはYAMLでのモック定義 レスポンスにフェイク用のデータ or リクエストのデータを利用できる パラメータを含んだパスを定義可能 ワイルドカードによるマッチング メソッド、URL、クエリパラメータ、ヘッダ、クッキー
Dejavu - Elasticsearch用Web UI
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Elasticsearchはオープンソースの有名なデータベースです。MOONGIFTの検索機能でも使っています。細かな条件指定ができるので、検索としてはもちろんデータベースとして使っている人も大勢います。 そんな ElasticsearchのWeb UIとしてDejavuを紹介します。 Dejavuの使い方 トップページです。 クエリを実行できます。 結果を確認できます。 データを選択して削除できます。 DejavuはJSONデータを表形式に並べてくれるので内容が確認しやすくなっています。Webで公開されている Elasticsearchに接続して内容が確認できるので、本番環境にインストールする必要もないでしょう。データが正しく入っているか、確認するのにも便利です。 Dejavuは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Efficient data transfer through zero copy