窓辺の小石(34) Excel vs JSON
JSON（ジェイソン。JavaScript Object Notation）は、テキストベースのデータ表現方法の1つ。クラウドサービスなどで使われることが多いJavaScriptで、オブジェクトのシリアライズなどに使われるデータ形式だ。プログラム間のデータの受け渡し以外にも、ファイルへの保存形式などに使われることが増えてきた。簡易で柔軟性があるためJSONに対応する言語実装も少なくない。 表計算ソフトウェアであるExcelもJSONの読み込みに対応している。しかし、表計算であるExcelの宿命として、データは表構造である必要があり、自由な構造を表現できるJSONとは相性が悪い。「ExcelでJSON読めるじゃないですか」とやってみるとたいていエラーになりガッカリする。 ExcelのJSON対応は、純粋なJSONに限られ、データ構造が均質な配列になっていないと、ちゃんと読み込めないからだ。し
BigQueryでJSON文字列を攻略する関数たち - ドワンゴ教育サービス開発者ブログ
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ドワンゴ教育事業におけるデータアナリストは企画開発組織の一員としてKPI可視化やレポーティングなどをメイン業務としています。個人的には新たなサービスが生まれる瞬間のお仕事が一番好きで、「何の指標をみていくのか」「どんなデータが流れてくるのか」など少し上流の工程からデータの取り扱いを検討するとともに、既存のダッシュボードをバージョンアップする良い機会にしたり、新たなステークホルダーに対して良いデータ分析の提供を考えたりと、楽しい日々が続きます。 私たちドワンゴ教育事業では大学開学やR高の開校など大きなサービスリリースが予定されていますので、サービス環境の変化を楽しみながらやりがいをポジティブなパワーに変えていきたいと思っています！ 課題について（導入に代えて） 昨今、分析対象としてJSON文字列を取り扱うことが増えてきま
ただJSONサイズを80%削減する話
モチベーション HowToだけを知りたい方は読み飛ばしてもOKです。 モチベは次の２つです。 通信量を削減したい！ 難読化したい！ 1. 通信量を削減したい！ 個人開発しているサイトでNetlifyを使っていました。 NetlifyにはFreeのプランがありますが、通信量の制限があります。 個人開発で潤沢にポケットマネーがあるわけではないので、できるだけ通信量のケアをしたい！ 2. 難読化したい！ サーバーからブラウザへJSONを配信すると、JSONの中身が見れてしまいます。 苦労してデータ作ってるので、JSONの中身見られてパクられるのがちょっとなぁ...(※)と思ってました。 nginxのようなミドルウェア層でgzipやBrotli圧縮しても良いのですが、ブラウザのディベロッパーツールで見れちゃったり、よく知られた圧縮方式なのでデコードもしやすいです。 独自の方式で難読化したい！ (※
ExcelでWEBに公開されている超絶便利なAPIを使い倒せ！
こちらの動画では、ExcelのWEBSERVICE関数を使って、WEB上に公開されているAPIを利用し、データを取得したり変換したりする方法について紹介します。 千葉 悠市 #Excel #Tips #API #便利 #スキルアップ #動画解説 #数式 #関数 #ビジネス #社会人 #JSON #インボイス #住所 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ ■ タイムスタンプ ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ [ 00:00 ] はじめに [ 00:32 ] WEBSERVICE関数 [ 02:08 ] Excel API [ 03:21 ] 祝日を取得 [ 09:21 ] 住所の表記を統一 [ 15:19 ] 郵便番号を取得 [ 18:56 ] 会社の法人番号を取得 [ 20:54 ] 会社の住所を取得 [ 22:03 ] 会社のインボイス登録を確認
JSON攻略法.pdf
Power Automateのデータ操作(Data Operation)について (Ver.モダンデザイナー）
業務で使えるかもしれない…！？GitHub Actions の Tips 集 / CI/CD Test Night #7
Event https://testnight.connpass.com/event/311263/ Archive https://youtu.be/96KUNLiMe6w?t=327
JSONの差分を取ってJSON Patchを得るにはdiffsonがおすすめ - Lambdaカクテル
こういうツイートを見た。 Scala (or Java) で、jsonのdiffをpatchファイルみたいな感じでわかりやすいテキストで出力してくれるライブラリないかなあ。そしてjacksonに依存してないといいな— Arthur (@Arthur1__) 2024年1月13日 現代のプログラミングではJSONの差分を取ったり、逆にパッチを当てるということがよくある。可能ならそれがPretty Printできると良い。 JSONの差分をScalaで取る方法についていくつか調べてみたのでメモ。 JSONの差分をどう表現する？ JSON Patch diffson diffsonでJSON Patchを生成する diffsonでJSON Patchを適用する diffsonでJSON Merge Patchを生成する diffsonでJSON Merge Patchを適用する JSON Pat
JSONをCSVに変換する方法 - Qiita
結論 使いやすいサービスが無かったのでjson to csvというアプリを作ってみました。簡単にJSONをCSVに変換できますので、ぜひ使ってみてください。 https://jsontocsvconv.com 説明 直感的に使えるようにはしていますが、一応サービスの説明をまとめます。と言っても２つのステップ、1. JSONのアップロードと、2. CSVのダウンロード、だけです。 1. JSONのアップロード JSONのアップロードは以下の3つの方法でできるようになっています。 JSONファイルをドラッグ&ドロップ Upload JSON fileボタンからJSONファイルを選択 JSONをテキストとしてペーストまたは直接書き込み これらのいずれかでJSONをアップロードすることができます。内部的にはアップロードされたJSONデータは、サーバーに送られずブラウザ内のJavaScriptで直接
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 はじめに Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(電話番号,日時,名前,人数)を正しく抽出できるか検証しました。 コールセンターでは、有人対応から無人対応に変更したいニーズが増えているように思います。 電話予約の無人対応を想定し、1回の発話で、下記の５つの予約情報を抽出できるか確認します。 お名前 電話番号 予約日 予約時間 人数 発話で予約情報を抽出する方法として、GPT-4 Turbo のJSONモードを利用します。 JSONモードの詳細は、下記を参照ください。 例えば、「名前はクラスメソッドで、電話番号は09011111111。来週の火曜日の19時に4名で予約できます
![[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e41bad5b85c8a6e53a308ad1ab6864682d595877/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fhirai_reservation_1200x630.png)
DB に JSON を保存したいときに Protobuf を使うと便利 #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。バクラク事業部 Enabling チームの @izumin5210 です。最近「HUNTER×HUNTER」の既刊を全部読みました。 この記事はLayerXテックアドカレ2023の9日目の記事です。 前回「1人目データアナリストとしてデータチームに異動しました 」 次回「Slack × Zapier × MiroでKPTでの振り返りをラクにする」 RDB や KVS などのデータ保存先において、データを正規化せずにそのまま保存したいと思うことはありませんか？ 8月にリリースされた「バクラク請求書発行」というプロダクトには「柔軟なレイアウトカスタマイズ」機能が搭載されています。リンク先の画面操作イメージを見ていただくと、この機能の雰囲気を理解していただけると思います。この機能が扱うレイアウトデータはまさに「関係の正規化をせずに保存したいデータ」でした。 bakuraku.jp こ
PowerAutomate: はじめての JSON (JSON なんて怖くない) - Qiita
背景 プログラミング経験があまりないと、JSON って聞くだけで難しく感じます。 その上で、JSON 解析(ParseJSON) を、って説明すると、思考停止してそうだったので、ひとまず JSON についてまとめ。 ローコードとはいえ、いろんな事やりたくなると JSON は避けて通れないですよね 概要 JSON 概要 JSON データ参照利用方法 JSON 関連のコネクタと関数 JSON 概要 この記事が結構よさげなので、翻訳してでも見てみるといいかも。 念の為、軽く抜粋すると・・ JSON は、構造化データをテキストとして表現するための標準形式 JSON データは、名前と値のペアを含む「オブジェクト」
Web API The Good Partsを読んだのでまとめる - Qiita
概要 Web API設計についてまとめた本です。 https://www.oreilly.co.jp/books/9784873116860/ 2014年発行なので少々年数は経っていますが、API設計の考え方を学ぶ上では古くなっていないと思います。 1章 Web APIとは何か 定義 HTTPプロトコルを利用してネットワーク越しに呼び出すAPI プロトコルとしてHTTPを使うため、エンドポイントはURIによって指定する。 簡単に言えば、URIにアクセスすることで、サーバ側の情報を書き換えたり、サーバ側に置かれた情報を取得できるwebシステムで、プログラムからアクセスしてどのデータを機械的に利用するためのもの。 「機械的に」というのは、人間がブラウザ越しに直接アクセスすることを目的としていないというのが要点。HTMLのように人がブラウザ上で読むための情報ではなく、JSONなどの形式でシステム
jdでJSONのdiffを手軽に抽出 - Qiita
$ cat a.json {"foo": {"bar": 1, "baz": 2}} $ cat b.json {"foo": {"bar": 1, "baz": 3}} $ jd a.json b.json @ ["foo","baz"] - 2 + 3 はじめに 更新処理前後の差分等、2つの以上のJSONファイルを見比べる際に、diff コマンドを使うことがあると思います。 しかし、diff コマンドは差分が行単位でしか出ないため、 jq で整形してもフィールド名しか出てこず「結局差分はどこで起きているんだ？」と探し回る必要があります。
Power Automate XPathで多階層JSONから動的キーを取り出す
はじめに前回記事「Power Automate エクスポートファイル definition.json の各 ID の正体を暴いた」で definition.json を紹介しました。 この巨大で多階層の JSON の値を参照するとき、例えば、作成 アクション で張り付けて、JSON の値を作成し、 outputs('作成').properties.definition.triggers ... の要領で深い階層の値を参照することができます。 definition.json をそのままコピペすると、 とエラーになるため、@ を @@ とする必要があります。（それにより、Power Automateは、@ 一文字と認識します。） 例："authentication": "@parameters('$authentication')" → "authentication": "@@paramet
複雑なJSONから特定のデータを再帰で取り出せるようになるための4ステップ - はてなの金次郎
はじめに qiita.com こちらの記事の「複雑なJSONから特定のデータを取り出す」実装するにあたり、段階的に考えることで徐々に正解に近づけていきました。もし、上記の記事だけではわかりにくかったり、もう少し詳しい説明が読みたかったりする場合はぜひ参考にしてみてください。 目次 はじめに Step1. 配列からStr型の要素を取得する Step2. 2階層構造の配列からすべてのStr型の要素を取得する Step3. n階層構造の配列からStr型の要素を取得する Step4. Int,Str,List,Dictの混合オブジェクト（JSON）からStr型のvalueを取得する リファクタ Step1. 配列からStr型の要素を取得する 配列の要素がStr型であればresに追加を配列の要素個数回繰り返します。 サンプルデータ sample = ["a", "b", 1] 取得したい値 ["a"
【JavaScript】再帰処理でJSONの階層を掘り進めて末端の値を変更したい - Qiita
#あらすじ むかしむかし（先週）あるところに、若いプログラマーがおったそうな。 彼のいるプロジェクトには、大事な情報が詰まった「おしながき」という膨大なJSONファイルがあったそうな。 ある日、プログラマは上司にこう言われた。 「OO.XX.OO.XX.OO.XX」という文字列で階層が与えられるから、「おしながき」のその階層の値を、これまた与えられた値に変更して、新しい別のJSONファイルとして出力してほしい。 はてさて、プログラマはこの先、どうなりますことやら。 （この物語は、2割くらいフィクションです） #指令の詳細 おしながきには、サービスで用いる基準値や名前など、大量のデータが入っています。また、そのデータ量もさることながら、階層も深く、多少浅いものから、かなり深いものまでマチマチです。 今回は、そんなおしながきをベースにしたテストデータを作って欲しいという指示を受けました。おしな
jq が jqlang organization に移譲されました - プログラムモグモグ
JSONを操作するコマンドラインツールであるjqは、これまでオリジナル作者であるStephen Dolan氏 (@stedolan)のリポジトリ(github.com/stedolan/jq)で管理されていました。 メンテナンスはNico Williams氏 (@nicowilliams)とWilliam Langford氏 (@wtlangford)の二名が行なっていましたが、近年は活動が減っておりメンテナンスが滞っていることが度々指摘されていました。 最新のリリースは2018年11月に行われた1.6であり、その後に様々なバグ修正やパフォーマンス改善、新機能の実装が行われているのにリリースされておらず、またissueやPRも放置されがちになっていました。 さらにCI (AppVeyor)は常に落ちるので、簡単なドキュメント修正でもCIが通らず苦情が来る、数か月放置されたPRは作った人が諦
jqコマンド(jsonデータの加工, 整形)の使い方 - わくわくBank
{ "total_count": 3, "items": [ { "id": 111, "name": "aaa", "owner": { "id": 1111111, "type": "Organization" }, "size": 10 }, { "id": 222, "name": "bbb", "owner": { "id": 2222222, "type": "User" }, "size": 30 }, { "id": 333, "name": "ccc", "owner": { "id": 3333333, "type": "Organization" }, "size": 25 } ] }
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PowerShell で Web API を叩く(kintone 編)
TypeScriptで深いJSON構造から要素を取り出すときに型をちゃんと取るTIPS