S3からBigQueryへ連携する方法いろいろ（Omni/Transfer Service） | DevelopersIO
データアナリティクス事業本部、池田です。花粉症です。 Google CloudのBigQuery Omniを使ってみたかったので、他の連携方法と比較してみました。 切りが無さそうだったので、ソースはS3に限定し、 Google Cloudのサービスや機能でできる（作り込みが要らない）方法として3つを試しました。 また、AWS側は再利用できるように CloudFormation でテンプレートにしました。 先にまとめ 各ガイドや触ってみた結果を基に、 個人的に選定時のポイントになりそうと思ったところをまとめてみました。 ※制約や挙動などは執筆時点（2022/04/14）のものです。 定額料金のみ リージョンが限られている インタラクティブ クエリの結果の最大サイズは2MB 標準テーブルを作成できない（→CTASやINSERT…SELECT…などでS3のデータをBigQueryへ持ち出せなかっ
配車アプリ「JapanTaxi」を支える分析基盤--マルチクラウドで直面したデータ連携課題
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます タクシー配車アプリを展開するJapanTaxiは、タクシー業界にデジタル技術を取り入れることで変革を起こしている。 2011年に提供を開始した「JapanTaxi」アプリは2019年8月に800万ダウンロードを超えた。タクシーの手配や予約から料金の支払いまでをアプリだけで利用できる点が特徴だ。当初は全国10都道府県からスタートし、現在は全国47都道府県を網羅。約900のタクシー会社・約7万台のタクシー車両でネットワークを形成している。 2017年には、タクシーの後部座席に設置する車載端末「JapanTaxiタブレット」の展開を始めた。タクシーの乗客への広告配信のほか、QRコード決済を可能とし、2018年からはクレジットカードや交通系IC
BigQueryで測定系の地理関数を確認してみた(BigQuery GIS) | DevelopersIO
当エントリは、『クラスメソッド BigQuery Advent Calendar 2020』15日目のエントリです。 本アドベントカレンダーでは、12月01日〜12月25日までの25日間、弊社DA（データアナリィクス）事業本部のメンバーがBigQueryに関連するブログを公開していきます。 BigQueryはDWHとしての機能だけでなく、BigQuery GIS（地理情報システム）を用いて地理データ型と標準のSQL地理関数を使用して、地理空間データを分析および可視化を行うことが出来ます。 当エントリでは、標準のSQL地理関数の一部(測定系のみ)を紹介をしていきます。 測定系の地理関数 現時点(2020/12/15)で利用できる測定系の地理関数は5つあり、それぞれ簡単にまとめます。 標準 SQL の地理関数 ST_AREA ST_AREA(geography_expression[, use
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
