Building a high performance JSON parser
JSON is important, damn near everything that we do as programmers or operators involves JSON at some point. JSON decoding is expensive, if your product talks JSON then performance of marshalling data in and out of JSON is important. This is a talk about designing an efficient replacement for encoding/json.Decoder.
2020年版 チーム内勉強会資料その1 : JSON Web Token - r-weblife
おはようございます。ritou です。 5月下旬ぐらいにチーム内勉強会としてJSON Web Token(JWT)についてわいわいやりました。 その際に作成した資料に簡単な説明を添えつつ紹介します。 このブログではJWTについて色々と記事を書いてきましたが、その範囲を超えるものではありません。 ちょっとだけ長いですが、ちょっとだけです。お付き合いください。それでは始めましょう。 JSON Web Token boot camp 2020 今回の勉強会では、JWTについて概要、仕様紹介という基本的なところから、業務で使っていくにあたって気をつけるべき点といったあたりまでカバーできると良いなと思っています。 JSON Web Token 概要 まずは概要から紹介していきます。 JSON Web Tokenの定義とはということで、RFC7519のAbstractの文章を引用します。 JSON W
中身が不定のJSONオブジェクトをGo言語で扱うのに mattn/go-jsonpointer が便利だった - えいのうにっき
今日書くのは、先日Go言語の個人プロジェクトである Pixela に手を加えた際に実感したことについて。 先日手を加えたものの一部に、以下のようなものがあった。 > 以下のようなコマンドを実行してみましょう。 > > curl -X GET https://pixe.la/v1/users/a-know/graphs/stopwatch-test/20200504 -H 'X-USER-TOKEN:thisissecret' > > Pixela では、各日付ごとのデータを pixel と呼んでいるのですが、その詳細を取得できるコマンドです。`20200504` のところは詳細を確認したい日付を指定します。このコマンドの実行がうまくいけば、以下のような結果が表示されると思います。 > > {"quantity":"0.50","optionalData":"{\"stopwatchUsag
JSONを解析して要素を出力（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第３章を参考にさせていただきながら、urllib.request+jsonで、Web上から、JSONファイルをダウンロードして解析後、要素を出力できるようになりました。 Docker上に構築した開発環境で実行しています。 Dockerでの開発環境の構築については、過去記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 JSONを解析して要素を出力する。 1.JSONとは何か 2.全体像 3.JSONファイルをダウンロード 4. JSONを解析する 5.ランダムに施設名称を出力 6.コマンドラインから実行してみる。 JSONを解析して要素を出力する。 1.JSONとは何か JSONは、
JSON Web Signatureを簡単かつ安全に使うためのkid/typパラメータの使い方 - r-weblife
こんにちはこんにちは、ritou です。 現状、様々な用途で利用されているJWTですが、今後はますます開発者にとって "簡単に" かつ "安全に" 利用できる状況が求められていくと考えられます。 今回はそのために重要になる、各種パラメータの扱いに注目します。 とりあえずライブラリ使えで終わりでは？ JWTを扱うためには 各種暗号化処理 JSON, Base64URLエンコード/デコード あたりの処理が必要です。 関連仕様がRFC化されてからある程度時間も経っており、各言語で仕様を忠実に実装されたものから自身が使う機能をピンポイントで抽出して実装したものまで様々なライブラリが存在します。 ここで、 仕様に忠実に、全ての暗号化処理をサポートするライブラリ を使うだけで、誰もが安心、安全に利用できるかと言うと、そうでもないことは想像できるでしょう。 JWTの各種仕様とは別で最近RFC化された "
curl write-out JSON | daniel.haxx.se
This is not a command line option of the week post, but I feel a need to tell you a little about our brand new addition! --write-out [format] This option takes a format string in which there are a number of different “variables” available that let’s a user output information from the previous transfer. For example, you can get the HTTP response code from a transfer like this: curl -w 'code: %{resp
RFC 8725 JSON Web Token Best Current Practices をざっくり解説する - Qiita
ritou です。 今回は RFC 8725 JSON Web Token Best Current Practices を紹介します。 みんな大好き JWT (JSON Web Token) の BCP ときたらチェックせずにはいられないでしょう。 概要 JWTは 署名/暗号化が可能な一連のクレームを含む、URLセーフなJSONベースのセキュリティトークン です JWTは、デジタルアイデンティティの分野および他のアプリケーション分野の両方の多数のプロトコルおよびアプリケーションにて、シンプルなセキュリティトークンフォーマットとして広く使用/展開されています このBCPの目的は、JWTの確実な導入と展開につながる実行可能なガイダンスを提供することです ということで、何かのフレームワークでもプロトコルでもなければJWTを使ったユースケース考えたよって話でもなく、JWTを導入する上で基本的な部
CUEを試して見る | フューチャー技術ブログ
前回のエントリー、一周回って、人間が読み書きする設定ファイルはJSONが良いと思ったの続きです。 設定ファイルをどうするか問題はいろいろ悩ましい問題であります。そんな中、設定ファイル用言語という触れ込みのCUEがリリースされました。 すでに、NSSOLの方が、Linterとして使うという紹介記事をすでに書かれています。これはユースケースの一部（これでも有用ですが）です。まだ使い込んだわけではなく、チュートリアルとドキュメントを一通り読みつつ軽く試した程度ですが、全体的な紹介をしようと思います。 yamlやJsonのチェック(Lint)ができるCUEの紹介 CUEによってできるようになること主な特徴としては次のような感じです。 人が書く設定ファイル(JSON/YAML/TOML/iniあたりがライバル)のための言語 スキーマ定義が書けて、バリデーションが可能 テンプレート機能で一部が違うデー
Best practices for speeding up JSON encoding and decoding in Go
Custom software development Tailored software solutions and software augmentation services to meet unique business needs, drive operational efficiency, and stimulate business expansion Read more Development teams Dedicated development teams and professionals that work exclusively on your project and ensure top-notch tailored solutions Read more IT consulting Expert guidance on leveraging advanced
jqを使って少し複雑な条件式でフィルタリングする方法をまとめてみた - Qiita
エンジニアになって以来あまりシェルを触ることがなく、必要に迫られてシェルを改めて勉強し始めてからは、シェルの表現力の高さをようやく実感しています。 今回はコマンドラインでJSONを操作するjqで少し複雑な条件式を書く時のサンプルをまとめてみました。 selectでフィルタリングをする まずはこのようなJSONデータを用意します。(今回はスペースの都合上、配列に一つの要素だけを含みますが、実際には不特定多数の要素が入っていることを想定します) { "items": [ { "rendered_body": "<h1>Example</h1>", "body": "# Example", "coediting": false, "comments_count": 100, "created_at": "2000-01-01T00:00:00+00:00", "group": { "create
jqのGo実装 gojq を作りました！ ― スタックマシン型インタープリタによるイテレータセマンティクスの実装 - プログラムモグモグ
jqはとても便利なコマンドです。 JSONを返すAPIを実装するときや、SaaSのAPIから特定の情報を抜き出してシェル変数に代入するときなど、web開発や運用には欠かせないツールとなっています。 しかし、私にとってjqのクエリを一発で書くのは容易ではなく、思い通りの出力が得られないことがよくありました。 難しいエラーメッセージに悩まされて、jqで書くのを諦めて別の言語で書き直すこともありました。 jqの十八番と思える場面で使いこなせないのは、なかなか悔しいものがあります。 ツールを使うのが難しいなら、同じものを作ってしまえばよいのです。 jqの全ての機能を実装する jqを言語としてきちんと書けるようになる jqを完全に理解する jqの全ての機能を自分で実装してしまえば、jqがどういうものか、クエリがどのように処理されるのか、詳しくなれるはずです。 jqを得意な言語と言えるようになって、ク
Google Sheets REST API, connect Google Spreadsheet with your site
Turn a Google Spreadsheet into a JSON API Connect Google sheets to CRM, API, Website, WordPress, any application or tool. Create Free API Use Cases Documentation [ { "id": "1", "name": "Tom", "age": "15", "comment": "" }, { "id": "2", "name": "Alex", "age": "24", "comment": "" } ] Easy to use and implement SheetDB will turn your sheets into a JSON API, easy to integrate with other tools and all pr
jpp - JSONを整形、ハイライト表示 MOONGIFT
JSONはWeb APIを使う上でのデファクトとも言えるフォーマットになっています。XMLに比べると可読性が高いですが、それでも人が読むには辛いことが多いです。しかし開発している際にはJSONを読まなければならないことも多いでしょう。 そこで使ってみたいのがjppです。JSONを整形、ハイライトしてくれます。 jppの使い方 jppの実行例です。JSONは標準入力で渡す必要があります。 ヘルプです。インデントと幅を指定できます。 $ jpp --help Usage of jpp: -i string indentation (default " ") -w int width (default 102) jppはJSONの整形としてぴったりです。いつもはWebサービスを使っていたのですが、jppであればmoreなどと組み合わせて、より見やすく使えそうです。機能はごく少なく簡単なツールでは
良い感じに詰めて整形してくれる JSON pretty-printer「jpp」を作りました - たにしきんぐダム
jpp というJSON Pretty-Printer を作りました。 github.com このコマンドはJSONを要素ごとに1つ1つ改行するのではなく、画面内(もしくは指定した幅)に収まる限りできるだけ改行を挟まずに要素を表示します。 そのため、例えばarrayの中身に大量の要素が入っているものや、objectの中身にfieldが大量にあるようなJSONを表示する際、改行をできる限り抑えて表示することによりJSONを見通しよく眺めることができます。 背景 JSONを整形して表示することができるCLIツールとして、jq、jsonppや、 python -m json.tool などがありますが(jq はpretty-printのためのツールではないが僕は普段jsonの整形のためによくjqを使っていた)、 これらの既存のJSON pretty-printerを用いて、先に述べたような要素数の
JWT形式を採用したChatWorkのアクセストークンについて - ChatWork Creator's Note
JWTを使うことは難しい？ こんにちは、かとじゅん(@j5ik2o)です。最近、JWTに関する以下のブログが話題です*1。 どうしてリスクアセスメントせずに JWT をセッションに使っちゃうわけ？ - co3k.org このブログで言及されているのは、JWTをセッションの保存先に選ぶことで「何が問題なの？」に書かれているリスクがあるよ、という話*2。確かにいくつか検討することがありますね。 auth0.hatenablog.com auth0の中の人？よくわからないけど、反論的なブログエントリが公開されています。この記事では、指摘の問題が起こらないように設計するのはあたり前では？という意見みたいです。まぁごもっともではないでしょうか。 私も技術そのものというより、要件に合わせて技術を組み合わせる設計の問題だと思っています。加えて、JWTを利用することはそんなに難しいことかという疑問があった
interface要素を持つstructへのJSON Unmarshal - すぎゃーんメモ
ちょっとやり方が分からなくて調べたのでメモ。 例題 type hoge struct { Foo int `json:"foo"` Bar baz `json:"bar"` } type baz interface { hoge() } type fuga struct { Fuga string `json:"fuga"` } func (*fuga) hoge() {} という感じで "foo" は int に固定されているけど "bar" は baz interface というのだけ定義されている hoge struct がある。 baz interface を正しく実装している fuga structを使ってその要素を持つJSONをhoge structにunmarshalしたい。とする。 func main() { str := `{"foo":3,"bar":{"fuga":"
JSON SchemaでAPI開発を自動化する
JSON SchemaでAPI開発を自動化する Tweet このエントリは弊社の英語ブログのAutomating your API with JSON Schema — Commerce Hack の翻訳です。 APIのドキュメントとクライアントライブラリの保守には苦労します。時間もかかるし、ドキュメントの更新をついつい忘れてしまうこともよくあります。私たちは、こういう作業をするのにいいツールはないものか、ずっと探していました。 そして見つけたのが JSON Schema です。これは本当にクールな技術で、私たちはこれを、APIのドキュメント生成、クライアントライブラリ内のロジック、そして自動化テストの中で活用しています。ここではその活用法を紹介したいと思います。 JSON Schema とは何か? JSON Schema とは、JSON object の記述と検証のための標準で、概略はこ
各プログラミング言語におけるシンプルなJSONサーバ・JSONクライアントの作り方 - MyEnigma
イラスト図解式 この一冊で全部わかるサーバーの基本posted with カエレバきはし まさひろ SBクリエイティブ 2016-03-29 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Python Server Client Julia Server Client C++ Client Server curl Client 参考資料 MyEnigma Supporters はじめに 最近、様々な言語で作られたツールを連携するのに、 JSONファイルを使っているのですが、 myenigma.hatenablog.com 今回は、 そのJSONファイルを様々なプログラミング言語でやり取りするための シンプルなJSONサーバ・JSONクライアントのコードを紹介したいと思います。 今回のサンプルコードでは、 基本的にクライアントがJSONファイルをHTTP
JSONを使ってコマンドラインを動的に組み立てて実行するjfillを作った | おそらくはそれさえも平凡な日々
https://github.com/Songmu/jfill 標準入力からJSONを受け取り、その値を使ってコマンドラインを組み立てて実行するユーティリティです。以下のような具合です。 インストール % go get github.com/Songmu/jfill/cmd/jfill もしくはGitHub Releasesからご利用ください。 使い方 % echo '{"name":"jfill"}' | jfill echo Hello {{name}}! Hello jfill! {{name}} の部分がプレースホルダーです。それがJSONの入力を元に置換され実行されています。 プレースホルダー内には以下のようにデフォルト値を指定することも可能です。 % echo '{}' | jfill echo Hello {{name:jfill}}! Hello jfill! {{name
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - shellbound/jwalk: Streaming JSON parser for Unix
