python flatten json to dataframeの検索結果1 - 3 件 / 3件

• あとで読む

  BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog

  • 50 users
  • blog.g-gen.co.jp
  • テクノロジー
  • 2024/07/18

  G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化

  • Gemini
  • BigQuery
  • AI
  • LLM
  • google
  • api
  • あとで読む

  
• あとで読む

  AWS Glueでオブジェクトの配列があるJSONをフラット化する | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2021/12/23

  AWS GlueのRelationalize機能で、オブジェクトの配列があるJSON Lines（改行区切りのJSON）ファイルをリレーショナル型に変換し、TSVファイルとして出力する。 データアナリティクス事業本部、池田です。 JSONのフラット化でけっこう苦労したのでブログにします。 オブジェクトの配列（後述）が含まれているような、やや複雑なJSONをフラット化します。 ↓基本の部分は以下の公式の記事です。 【 AWS Glue でリレーショナル変換後にピボットされたデータを使用するにはどうすればよいですか? 】 対象のJSON データ構造 ↓今回使用するサンプルファイルはこんな感じです。 {"id":"001","name":"池田","profile":{"age":17},"friends":[{"id":"002","name":"山田"},{"id":"003","name"

  • あとで読む

  
• あとで読む

  The Annotated Transformer

  • 3 users
  • nlp.seas.harvard.edu
  • テクノロジー
  • 2024/03/19

  v2022: Austin Huang, Suraj Subramanian, Jonathan Sum, Khalid Almubarak, and Stella Biderman. Original: Sasha Rush. The Transformer has been on a lot of people’s minds over the last year five years. This post presents an annotated version of the paper in the form of a line-by-line implementation. It reorders and deletes some sections from the original paper and adds comments throughout. This docume