[Go] json.Unmarshal と json.Decoder の使い分け ～ json.Decoder に親しむ
はじめに 今やあらゆるアプリケーションは Go で書かれていると言っても過言ではない（過言）。そして、今やあらゆるデータは json であると言っても過言ではない（過言）。 となると、Go で json を扱う頻度も必然的に多くなる。そして初めて Go で json をデコードするコードを書こうとした人は、必ずこの問題にぶち当たる。 「json.Unmarshal と json.Decoder は何が違うのか？そしてどちらを使えばいいのか？」 そしてググると大抵以下のような答えにたどり着く。 入力が文字列（string）やバイト列（[]byte）の場合は json.Unmarshal() を使う 入力がストリーム（io.Reader）の場合は json.Decoder を使う なるほど、確かにパッと見はそれでいいように思える。思えるんだが、よく見ると実は他にもいくつか考慮すべき点がある。
![[Go] json.Unmarshal と json.Decoder の使い分け ～ json.Decoder に親しむ](https://cdn-ak-scissors.b.st-hatena.com/image/square/8b53126231c805e6489affeea33cbb9b9506f9dd/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--GE8Zjrfw--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGo%25255D%252520json.Unmarshal%252520%2525E3%252581%2525A8%252520json.Decoder%252520%2525E3%252581%2525AE%2525E4%2525BD%2525BF%2525E3%252581%252584%2525E5%252588%252586%2525E3%252581%252591%252520%2525EF%2525BD%25259E%252520json.Decoder%252520%2525E3%252581%2525AB%2525E8%2525A6%2525AA%2525E3%252581%252597%2525E3%252582%252580%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%25258B%2525E3%252582%25258A%2525E3%252582%252584%2525E3%252581%2525BF%2525E3%252581%2525A4%2525E3%252582%25258B%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly96ZW5uLWRldi5naXRodWIuaW8vZGVmYXVsdC1hdmF0YXJzL2Rhcmsvay5wbmc%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Go言語で高速JSONライブラリをメモリ安全にしたらさらに速くなった話
はじめに こんにちは。Sugawara Yuutaです。"Go言語で最速のJSONデコーダーを作った話", "それでも僕はGoで最速のJSONデコーダーを作りたかった"...以来の方はまた読んでいただきありがとうございます。まだの方は、経緯を伝えやすくなると思うので、そちらの方も読んでいただけたら幸いです。 その後 Go言語チームのメンバーが取り組んでいる新しいバージョンのJSONライブラリであるgo-json-experiment/jsonというレポジトリを発見しました。(厳密に言うと、知ってはいたのですが中身等は見ていない状態でした。) そこで学んだことが少しでも役に立てばとissueを提出したところ、そのときのJSONデコーダーに足りないものが見えてきたため、今回は僕の見つけた課題と、どのように解決しようとしたか・したかを話せればと思います。 見つけた課題 パフォーマンスも重要ですが
Goで知らないフィールドのあるJSONを取り扱う - 詩と創作・思索のひろば
野良 HTTP JSON API クライアントを作ってると、API が返してくる JSON の形に確信が持てないし、「これ何に使うんだろ」みたいなフィールドもあったりして struct にエンコードするのをサボったりする。 そういったコードがライブラリとして使われる余地を残すとすると、struct で表現されていないデータにも何らかの方法でアクセスできるようにしておきたい。こういうパターンあるんじゃないかと思うが、みんなどうやってるのか分からなかったのでメモ。 まあ素直に、json.RawMessage を struct に持たせておくのが一番よいだろう。冗長にはなるが、構造体の定義されたフィールドに便利なデータはあるし、より詳細に見たいなら RawMessage 経由で生データを見ればよい。ということにする。また、RawMessage を保持している場合は JSON 化したときにこれをそ
Big Sky :: Go の struct は小さくできる(fieldalignment のススメ)
動的型付けプログラミング言語や、class を持つようなプログラミング言語を使う場合、そのフィールドメンバの定義順などを意識する事は少ないかもしれません。 Go は struct という、C言語が持っている構造体と同じ様にメモリ配置され、構造体そのものをレシーバとして、メソッドを定義しつつプログラミングを行います。struct はデータ構造そのものを示し、それが大きくなるにつれ、当然ながらメモリ使用量も多くなります。 さて、例えば以下のコードを実行すると、struct 100 個分のサイズは幾らになるでしょうか。 package main import ( "fmt" "unsafe" ) type Account struct { TimeZone struct { Name string `json:"name"` UtcOffset int `json:"utc_
jqコマンドで日付のフォーマット変更とタイムゾーン変更
jq コマンドで日付を扱うときに、出力する日付のフォーマットを変更したり、タイムゾーンを UTC から JST に変更する機会があったので備忘録。jq Manual (Dates) に載っているコマンドを参考に整理したものになります。jq のバージョンは 1.6。 前回書いた集計方法の記事も併せてどうぞ。 目次 strptime() で受けて、strftime() でフォーマットする strptime() と strftime() で使えるフォーマット文字列 ISO 8601 形式の場合は専用の機能が使える macOS の jq では、ミリ秒を perse しようとするとエラーに UTC から JST に変換 strptime() のフォーマット文字列 %z に注意 strptime() で受けて、strftime() でフォーマットする 基本はこの形。日付文字列を strptime()で
BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0
この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現したいこと SaaSデータの処理方法 SQLサンプル1: 純粋な配列だけのケース SQLサンプル2: 配列内にハッシュマップがあるケース SQLサンプル3: 配列宣言ナシでカンマ区切りのハッシュマップが突如始まるケース SQLサンプル4: 配列とハッシュが入り乱れるケース SQLサンプル5: JSONの中に親子構造があるケース SQLサンプル6: Objectを定義したくなるケース 最強のJSONパースの関数は作れるか jsonデータの処理をどこで行うか 最後に
【PHP】Laravel で JSON 形式の Web API を実装する時に考えること - 猫でもわかるWebプログラミングと副業
はじめに JSON 形式の Web API とは Laravel で JSON を返す基本的な実装 JsonSerializable インタフェースを使う JsonSerializable を使うと便利な点 想定外の例外が発生した場合の対応 Laravel デフォルトのエラー画面 Laravel のレスポンス形式は Accept ヘッダで決まる Laravel デフォルトのエラーハンドリングの実装 エラーハンドラの実装を変更したい場合 render メソッドを修正して想定した Json を返すように その他の修正例 shouldReturnJson メソッドを修正して常に JSON を返すようにする prepareJsonResponse メソッドを修正して JSON のフォーマットを変更する まとめ はじめに この記事は、 Laravel アドベントカレンダー 4日目の記事です。 他にも
Standard SQLのCOALESCEで、時間経過によってカラム名が変化したデータを柔軟に抽出する
Standard SQLのCOALESCEで、時間経過によってカラム名が変化したデータを柔軟に抽出する 2021-11-06 データの蓄積帰還が長くなってくると、例えば JSON 形式でログを取っているが、同じデータでもマイグレーションやロギングロジックの更新などでkey の名前が変化したりする場合がある。 その場合取り扱いに困るのが、古い key と新しい key をどのように併合するかだ。 例えば特定の日次できれいにデータが入れ替わっているのなら、色々やりようがあるが、クライアントなどのログの場合データの変化も均一ではないので、徐々に変化していることが大半なので、日次で別々の抽出をして結合するというアプローチも難しい。 その際に役立つのが Standard SQL 条件付き構文の COALESCE だ。 COALECSCE は、引数の最初の非 NULL の値を返す関数で、 だと Bが返
PostgreSQLのjsonbを使うときの落とし穴 - Qiita
皆さん、PostgreSQL使ってますか？ オープンソースRDBであれば、ほぼこれ一択。というプロダクトですよね。 と、まずはじめに MySQL 派に喧嘩を売ってみました。ちなみに当方は喧嘩を売られても買いません。 さて、 PostgreSQL にはJSONデータを格納するための json型と jsonb 型の2つがサポートされています。 一般的にはバイナリデータで保存される jsonb 型のほうがパフォーマンスが高いので、通常は jsonb 型を使うと思うのですが、 jsonb 型にはいくつかの落とし穴があります。今回はそれをお伝えします。 jsonbの落とし穴 同じキーが集約される。 キーが自動的にソートされてしまう。 になります。順番に見てみましょう。 同じキーが集約される。 JSONの事実上の仕様である RFC 8259 によると When the names within an
JSON Schema で複雑な仕様の入力フォームの実装に立ち向かった話
Ruby on Rails を用いたシステム上で入力フォームを実現する際、Rails が提供しているフォームヘルパーを利用した実装や、React や Vue によるコンポーネントの自前での実装が一般的に行われます。 ここで、職業で学生を選択した場合は学校名と学年、会社員を選択した場合は役職と年収を入力する...といった、条件分岐が大量に生まれる入力フォームを想像しましょう。 一般的な実装手法では、あるフォームの入力値が他のフォームに影響を与えるような、複雑で動的な入力フォームの実現をするために、大量の if 文を書く必要があります。 また、ユーザから送信された入力値の正しさをバリデーションするために、バックエンド側に同様の if 文を大量に書く必要が出てきます。 そこで私は、複雑な仕様の入力フォームの実装のための JSON Schema 活用方法および事例について紹介します。入力フォームの
RustでWebアプリケーションを作る - CADDi Tech Blog
はじめに はじめまして、キャディでバックエンドエンジニアとして働いている高藤です。 キャディではRustを使ったバックエンドAPIを実装しています。業務ではgRPCサーバを実装していますが、今回はRustを利用した簡単なWebアプリケーションを作成し意外と簡単にAPIサーバが作れる事を紹介させていただきます。 今回はまだRustを触ったことない方でも記事を読み、ちょっとRustやってみようかなと思ってもらえたら幸いです。 前提 Rustの言語仕様など基本的な説明は省略させていただきます。Rust未経験であれば、是非公式のドキュメントを読んでください。 https://doc.rust-lang.org/book/ 有志による日本語訳 https://doc.rust-jp.rs/ 作るもの 今回はまず単純にHTTP RequestをするとJSONを返すサーバを実装を行います。 環境 ❯ r
Jsonnetの薦め - Qiita
JsonnetというJSONテンプレート言語を紹介する。 後で見るように、これはJSONを生成するための汎用テンプレートというよりはむしろ、計算や依存関係を含む設定を静的に書き下すために便利なのではないかと考えられる。 実際Jsonnetの仕様はGoogleのBCLに似ている。BCLはGoogleでコンテナクラスタシステムBorgの設定を記述するために使われている言語だ。 JSONテンプレート言語 ある意味でJsonnetは毎度おなじみのやつだ。JavaScriptの文法の不便さに対してalt JSが多数出てきた。CSSにおけるネストの分かりづらさやの記述の重複に対してCSS preprocessorが多数出てきた。それと同じようにして、Webにおける機械可読データのLingua FrancaたるJSONを記述するのが不便なのでJSONテンプレートが出てきた。 Jsonnetはその中の1つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dcmoura/spyql: Query data on the command line with SQL-like SELECTs powered by Python expressions
GitHub - multiprocessio/dsq: Commandline tool for running SQL queries against JSON, CSV, Excel, Parquet, and more.
Working with JSON data in BigQuery
GraphQL 導入の反省と再挑戦 / jsconf jp 2021
GoとJSON
GitHub - microsoft/api-guidelines: Microsoft REST API Guidelines
api-guidelines/Guidelines.md at vNext · microsoft/api-guidelines
GitHub - gulyasm/jsonui: jsonui is an interactive JSON explorer on your command line
