並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 32 件 / 32件

新着順 人気順

"google bigquery"の検索結果1 - 32 件 / 32件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

"google bigquery"に関するエントリは32件あります。 techfeedawsgoogle などが関連タグです。 人気エントリには 『Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery』などがあります。
  • Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery

    Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery

      Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
    • Google、BigQueryをAWSやAzureなどマルチクラウド展開へ、「BigQuery Omni」発表。Google Cloud Next '20:OnAir

      Google、BigQueryをAWSやAzureなどマルチクラウド展開へ、「BigQuery Omni」発表。Google Cloud Next '20:OnAir Googleは、BigQueryをAWSやMicrosoft Azureなどへも展開する「BigQuery Omni」を、オンラインイベント「Google Cloud Next '20:OnAir」で発表しました。 We’re introducing BigQuery Omni, a multicloud analytics solution powered by Anthos. #BigQueryOmni helps you access & analyze data across @googlecloud and other third-party public clouds, all without leaving t

        Google、BigQueryをAWSやAzureなどマルチクラウド展開へ、「BigQuery Omni」発表。Google Cloud Next '20:OnAir
      • 楽天グループが数ペタバイト級の会員分析DBを刷新、Google BigQueryを選んだわけ

        楽天グループは2022年4月19日、ユーザーの属性情報や行動情報などを分析するデータベース(DB)である「楽天スーパーDB」の稼働環境に、米Google(グーグル)のクラウドサービス「BigQuery」を採用したと発表した。これまでオンプレミス環境のデータウエアハウス(DWH)で管理していた数ペタバイト級のデータを、クラウド上のDWHサービスであるBigQueryに移行する。 楽天スーパーDBとは、同社が世界中で展開する70以上のサービスを使うユーザーの情報を分析する巨大なDBだ。グループ共通IDである「楽天ID」のアカウント数は、日本国内で1億を超える。蓄積した情報は、サービスのパーソナライズ機能やレコメンデーション機能、行動ターゲティング広告機能などに使用している。 日経クロステックの取材に応じた楽天グループのロヒット・デワン執行役員Cloud Platform Supervisory

          楽天グループが数ペタバイト級の会員分析DBを刷新、Google BigQueryを選んだわけ
        • 複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話 - Adwaysエンジニアブログ

          こんにちは、インフラの天津です。今日は 複数アカウントの AWS Security Hub 検出結果の可視化についてお話したいと思います。 前提 モチベーション AWS Security Hub とは 構想 ツール・サービスの選定 検出結果データのエクスポートについて 可視化用データベース(またはクエリサービス)と可視化ツールについて 構築 全体像 検出結果データエクスポート 検出結果データの S3 -> GCS への転送と BigQuery へのインポート Security Hub からエクスポートしたデータには BigQuery のカラム名に使用できない文字(以下禁則文字)が使用されている件 自動判別で生成されたスキーマでインポートした際に INTEGER 型のカラムに STRING 型のデータが入ってくることがありインポートエラーが発生する件 AWS アカウントデータの S3 ->

            複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話 - Adwaysエンジニアブログ
          • Google BigQueryからAmazon Redshiftにデータを移行してみる | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ

            更新履歴 – 2020/1/8 記事内容の修正を行いました。 はじめに こんにちは。データサイエンスチームのmotchieです。 データウェアハウス(DWH)を使うことで、大規模なデータに対する高速なクエリ処理が実現し、BIを初めとした様々なデータ活用が可能になります。 クラウドDWHといえば、Amazon RedshiftやGoogle BigQueryなどが有名です。 re:Invent2019では、Redshiftの新機能 Amazon Redshift RA3 ノードが発表されました。 RA3ノードはAWS Nitro Systemベースの次世代コンピュートインスタンスで、頻繁にアクセスされるデータはノード上のSSD、それ以外はS3へ自動で配置されるマネージドストレージを備えています。 RA3ノードによって、以下のように、Redshiftは大きな進歩を遂げました。 ・従来のDS2ノ

              Google BigQueryからAmazon Redshiftにデータを移行してみる | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
            • CLI で覚える Google BigQuery

              こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery 以外のクラウド DWH は AWS が提供する Amazon Redshift や Microsoft が提供する Azure Synapse Analytics などが挙げられます。 BigQuery を操作する方法は Cloud Console の Web UI、bq コマンドラインツール、REST API、クライアントライブラリの4つがあります。この記事では、bq コマンドラインツールで BigQuery を操作し、使い方を確認してみます。内容としては初学者向けです。 今回、使用する Google Cloud Platform(GCP)のサービスは G

                CLI で覚える Google BigQuery
              • Google「BigQuery Omni」に関する素朴な疑問を、米国の総責任者にぶつけてみました

                Google Cloudは2020年7月、データウェアハウスサービスの「BigQuery」を、Amazon Web Services(AWS)やMicrosoft Azure上で動かせる「BigQuery Omni」を発表しました。現在のところAWS対応は「プライベートα版」という位置付けで、一部ユーザーとの検証を進めている段階です。発表内容についてはこちらの記事をご覧ください。 このサービスについて、米Google Cloudでデータアナリティクス製品群に関する技術・ビジネスの総責任者を務めているデバンジャン・サハ(Debanjan Saha)氏(データアナリティクス担当ゼネラルマネージャー兼エンジニアリングバイスプレジデント)に単独インタビューをする機会が得られましたので、素朴な疑問を投げかけてみました。 ちなみに、サハ氏はAWSからGoogle Cloudに来た人で、AWS時代には「

                  Google「BigQuery Omni」に関する素朴な疑問を、米国の総責任者にぶつけてみました
                • ストーリーで学ぶ Google BigQuery を読んだ - public note

                  読書感想文です。 読んだ本 どんな本か 読んだ感想 読んだ本 Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery 著者: 株式会社トップゲート 出版社: 秀和システム ISBN-10: 4798059560 www.amazon.co.jp どんな本か 紹介文より引用 Google BigQuery(ビッグクエリ)は、Googleが自社で保有している膨大なデータを効率的かつ高速に分析するために構築した社内データ分析基盤を一般提供したサービスです。その内部ではBorg、Colossus、Jupiter、DremelなどのGoogle独自のコアテクノロジーが活用されており、実行されたクエリはGoogleの保有する膨大なインフラリソース上で瞬時に並列・分散処理されます。 その処理速度は1000億行のデータセットに対してインタラク

                    ストーリーで学ぶ Google BigQuery を読んだ - public note
                  • Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた - KAYAC engineers' blog

                    こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察しの方もいらっしゃるとは思いますが、BQinは弊社藤原のRinから着想を得ています。 このツールは一言で表すと、データ投入先がRedshiftからBigQueryに変更されたRinです。 プロダクションに投入し1ヶ月以上になりますが、深刻な問題は発生せず動いております。 開発動機的な話 とあるプロジェクトでAWS S3にデータが投入されるから、GCP BigQueryへデータを転送したいという話がありました。 はじめのうちは、Cloud ComposerやBigQue

                      Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた - KAYAC engineers' blog
                    • Google BigQueryの既存テーブルをパーティション化

                      こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 弊社ではDWHとしてBigQueryを採用しているのですが、テーブルサイズが巨大になりそのクエリコストが課題になっていました。 そこでテーブルにパーティションを設定し、クエリの書き方を工夫することによってコストを抑えようと試みたので内容を共有します。 パーティションテーブルとは 1つのテーブルを指定した単位で分割させることでクエリ時に参照するレコード数を削減し、クエリコストの削減やパフォーマンス向上を狙うことができます。 RDBMSのパーティショニングに近い機能ですね。 パーティションは1テーブルに対して1つのみ設定でき、「時間単位の列(TIMESTAMP型やDATETIME型)」、「整数型の列」、「取り込み時間」に対して設定できます。 今回はTIMESTAMP型の列に対して”HOUR”単位でパーティションを設定し

                        Google BigQueryの既存テーブルをパーティション化
                      • Microsoft AccessのリンクテーブルからGoogle BigQuery のデータを利用 - CData Software Blog

                        CData Japan 技術ディレクター桑島です。本記事では、多くのお問い合わせをいただいている Microsoft AccessのリンクテーブルでGoogle BigQueryのデータを利用する方法をご紹介します。 利用製品 利用方法 Google BigQuery側の設定 ODBC Driverのインストール Google BigQueryへの接続設定 OAuthでの接続方法 DSN構成画面からの設定 Microsoft Accessリンクテーブルからのアクセス リンクテーブルの作成 リンクテーブルからの利用 Tips 集 データセット、課金プロジェクトの指定 プロキシ・ファイアウォール設置環境での利用 大量データが格納されているテーブルへのアクセス 選択クエリからの利用 データ型が長いテキスト型となってしまう BigQueryへのAPIリクエストの確認 テクニカルサポートについて ま

                          Microsoft AccessのリンクテーブルからGoogle BigQuery のデータを利用 - CData Software Blog
                        • OSS の Google BigQuery UDF `bqutil.fn` を使えば UDF の独自実装を置き換えられるかもしれない

                          OSS の Google BigQuery UDF `bqutil.fn` を使えば UDF の独自実装を置き換えられるかもしれない 2022-01-20 TL;DR;UDF を独自実装する前に、bqutil.fnを眺めておくと車輪の再発明が回避できるかも 背景SQL は、特定の処理を行う際にデータの型が同一でないとエラーが発生しますが、もとのスキーマを紹介するよりももっとお手軽にカラムの型を確認したいときがありませんか? 例えば、出力結果を見ただけでは、12345 が STRING なのか INT64 なのか判別不可能ですよね。(もし判別可能な方法知っている人いたら教えて下さい…) GCP による OSS UDF の bqutil.fnなのでお手軽に BigQuery の結果の型を確認したい時になにか良い方法がないかなと調べていたら、OSS でbqutil.fnという UDF が GCP

                            OSS の Google BigQuery UDF `bqutil.fn` を使えば UDF の独自実装を置き換えられるかもしれない
                          • [初心者向け] Google BigQueryの基礎を理解してGoogle Cloud Consoleから触ってみた | DevelopersIO

                            当エントリは『クラスメソッド BigQuery Advent Calendar 2020』1日目のエントリです。 本アドベントカレンダーでは、本日(12/01)〜12/25までの間、弊社DA(データアナリィクス)事業本部のメンバーがBigQueryに関連するブログを公開していきます。 まず1本目ということで、BigQuery初心者向けの超入門ブログとしてまとめていきたいと思います。 BigQueryとは BigQueryはGoogle Cloud Platform(GCP)で提供されているるエンタープライズ向けのデータウェアハウス(DWH)になります。 もともとはGoogle社内で利用していた「Dremel(ドレメル)」という大規模なクエリ実行サービスを社外向けのサービスとして公開されたのがBigQueryのはじまりです。 最大の特徴は、「高速なデータ処理」と言われています。 数TB(テラ

                              [初心者向け] Google BigQueryの基礎を理解してGoogle Cloud Consoleから触ってみた | DevelopersIO
                            • テラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行 | Amazon Web Services

                              Amazon Web Services ブログ テラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行 本記事は Amazon Web Services, Senior Analytics Specialist Solutions Architect である Fabrizio Napolitano によって投稿されたものです。 データレイクは、クラウドに構築すると有利になることがあります。セキュリティ、デプロイ時間の短縮、可用性、頻繁な機能の更新、弾力性、地理的に広範囲なサービス展開、および使った分だけ発生するコストが理由です。ところが、最近の Gartner や Harvard Business Review の調査によると、マルチクラウドやインタークラウド・アーキテクチ

                                テラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行 | Amazon Web Services
                              • Google BigQueryでお手軽機械学習(BQML) – marketechlabo

                                BigQuery ML(BQML)では 線形回帰 ロジスティック回帰 k-meansクラスタリング AutoML Tables XGBoost DNN 時系列(ARIMA) が使える。当初は線形回帰とロジスティック回帰だけだったが今では実用的な手法が増えた。何よりもXGBoostが使えるようになったのが大きい。 XGBoostのメリット XGBoostは語弊を恐れずに言うと特に何も考えなくてもそれなりの精度が出る、素人でもそこそこのアウトプットを出せてしまう手法である。これまでの線形回帰やロジスティック回帰は前提条件が扱いが難しい手法だった。 XGBoostがお手軽というのは、 正規化不要 カテゴリ変数と連続量を意識しなくてもいい 欠損値があってもいい つまり特徴量の前処理の面倒な部分がかなり軽減されている。与えられた変数を特に加工しなくても使える。たとえばAutoML Tablesはモデ

                                  Google BigQueryでお手軽機械学習(BQML) – marketechlabo
                                • Google、BigQueryをAWSやAzureなどマルチクラウド展開へ 「BigQuery Omni」発表

                                  この記事は新野淳一氏のブログ「Publickey」に掲載された「Google、BigQueryをやAzureなどマルチクラウド展開へ、「BigQuery Omni」発表。Google Cloud Next '20:OnAir」(2020年7月15日掲載)を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Googleは7月14日(現地時間)、BigQueryをAmazon Web Services(AWS)やMicrosoft Azureなどへも展開する「BigQuery Omni」を、オンラインイベント「Google Cloud Next '20:OnAir」で発表しました。 これまでBigQueryを用いたデータ分析を行うには、データをGoogle Cloudへ転送する必要がありました。BigQuery Omniを利用することで、Google Cloudへデータ転送す

                                    Google、BigQueryをAWSやAzureなどマルチクラウド展開へ 「BigQuery Omni」発表
                                  • 【コラム】Google BigQueryとデータポータルの組み合わせは最強 - コラムバックナンバー - アナリティクス アソシエーション

                                    【コラム】Google BigQueryとデータポータルの組み合わせは最強 Option合同会社 柳井 隆道 発信元:メールマガジン2020年10月28日号より GoogleのBigQueryとデータポータルは便利だなと、活用しない手はないと改めてみなさんにお伝えしたく、今日は筆を執ります。言葉だけは耳にすることが多いかもしれないBigQueryですが、これはSQLを使える、何でもデータが入った箱です。データポータルはデータを可視化・分析するためのツール(セルフBI)です。 ■一般的な分析のフロー ある程度データを活用する会社の一般的な分析フローは以下のようなものでした。BigQueryなどのデータウェアハウスに溜めておいたデータから分析で使う部分だけSQLを使って抜き出し、それをテーブルやCSVファイルに出力する。そしてそれをTableauなどセルフBIの分析ツールで読み込んで分析する。

                                      【コラム】Google BigQueryとデータポータルの組み合わせは最強 - コラムバックナンバー - アナリティクス アソシエーション
                                    • Google BigQueryで作成した複数のSQLを含むクエリをスケジュール実行&実行完了後にSlack通知を行う | DevelopersIO

                                      アライアンス統括部 サービスグループの しんや です。 DevelopersIOのブログ投稿データを収集・加工・可視化して社内に共有することをここまで実践してきていたのですが、その際に用いている環境にはAmazon Redshiftを活用していました。先日個人的に部署異動(2023年03月01日付けでアライアンス統括部に異動)したのもあり、またデータ連携と可視化の仕組みもよりスムーズに/便利に/広範に連携出来るようにしたいと思い、「社内投稿データ分析環境をBigQueryに載せ替える手順をそれぞれブログにまとめておこう」と思い立ちました。 当エントリではその中から「Google BigQueryのクエリをスケジュール実行し、実行完了をSlackに通知する」手順についてまとめておこうと思います。 目次 データ連携イメージ(構成図) 実行するクエリの準備 Webhook URLの取得 Clou

                                        Google BigQueryで作成した複数のSQLを含むクエリをスケジュール実行&実行完了後にSlack通知を行う | DevelopersIO
                                      • Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました! | DevelopersIO

                                        先日(2020/10/16)のGCP/Google BigQueryのリリースノートにて、幾つかの興味深いトピックがありました。詳細については下記公式ブログをご参照ください。 その中で、外部ストレージに関する読み書き(Reading from and writing to external storage)に関するものも含まれていました。関連する文章を上記エントリから抜粋します。 BigQuery provides users the ability to read data in external storage buckets. The new SQL commands allow users to configure tables within BigQuery pointing to these buckets as well as export data from queries

                                          Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました! | DevelopersIO
                                        • GitHub - EvgSkv/logica: Logica is a logic programming language that compiles to SQL. It runs on Google BigQuery, PostgreSQL and SQLite.

                                          Logica is for engineers, data scientists and other specialists who want to use logic programming syntax when writing queries and pipelines for databases and datawarehouses. Logica programs run on BigQuery, Postgres and SQLite. Logica compiles to SQL and gives you access to the power of SQL ecosystem with the convenience of logic programming syntax. This is useful because SQL enginers are magnitude

                                            GitHub - EvgSkv/logica: Logica is a logic programming language that compiles to SQL. It runs on Google BigQuery, PostgreSQL and SQLite.
                                          • 『集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析』サポートページ

                                            『集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析(できるDigital Camp)』の読者のみなさまに向けたサポートページです。演習用ファイルのダウンロード方法や、演習ドリルの解答ページへのリンクを掲載しています。 『集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析(できるDigital Camp)』をご購入いただきまして、ありがとうございます。こちらは読者のみなさまに向けたサポートページです。 以下のインデックスより、演習用ファイルのダウンロード方法や演習ドリルの解答ページを参照してください。 演習用ファイルのダウンロード 演習ドリルの解答ページ できるネットのおすすめ記事 演習用ファイルのダウンロード インプレスブックスのページにアクセスし、以下の手順に従ってダウンロードしてください。演習用ファイルのダウンロードには、イ

                                              『集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析』サポートページ
                                            • AWS Glue Connector for Google BigQueryを使ってBigQueryからS3にデータを転送する | DevelopersIO

                                              データアナリティクス事業本部の森脇です。 今回は「AWS Glue Connector for Google BigQuery」を使って、BigQueryからS3へのデータ転送処理を試してみました。 AWS Glue Connector for Google BigQueryとは? AWSのマーケットプレースで販売されている、AWS Glue用のコネクターです。 Amazon Web Service自身が販売しており、コネクター自体の利用料はかかりません。 (別途Glue/BigQuery等の料金はかかります) 面白そうなので試してみました。 事前準備(BigQuery側) サービスアカウントの作成 BigQueryに接続するためのサービスアカウントを作成します。 GCPコンソールを利用し、「ビッグクエリ管理者」権限にて作成しました。 クレデンシャルファイルのダウンロード サービスアカウン

                                                AWS Glue Connector for Google BigQueryを使ってBigQueryからS3にデータを転送する | DevelopersIO
                                              • QA自動化プラットフォーム Autify のデータを Google BigQuery に連携して分析 - CData Software Blog

                                                こんにちは。CData Software Japanリードエンジニアの杉本です。 今回の記事では QA自動化プラットフォーム Autify のデータをCDataSync経由で Google BigQuery にレプリケーションする方法を紹介したいと思います。 Autify とは? 実現イメージ 必要なもの Autify API用アクセストークンの取得 REST データ処理用 RSDファイルの作成 Google BigQuery の準備 CDataSyncのインストール REST データソースの設定 BigQueryへの同期先設定 ジョブの作成 同期処理の調整 テスト実行 さいごに Autify とは? Autify はフロントエンドのQAを自動化し、素早い開発サイクルを実現するQA自動化プラットフォームです。 https://autify.com/ja ブラウザ上での操作記録をベースにテス

                                                  QA自動化プラットフォーム Autify のデータを Google BigQuery に連携して分析 - CData Software Blog
                                                • AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表

                                                  AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構

                                                    AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表
                                                  • Google BigQuery I/O connector

                                                    Built-in I/O Transforms Google BigQuery I/O connectorThe Beam SDKs include built-in transforms that can read data from and write data to Google BigQuery tables. Before you startTo use BigQueryIO, add the Maven artifact dependency to your pom.xml file. <dependency> <groupId>org.apache.beam</groupId> <artifactId>beam-sdks-java-io-google-cloud-platform</artifactId> <version>2.56.0</version> </depende

                                                    • AWS Glueカスタムコネクタを使用したGoogle BigQueryからAmazon S3へのデータの移行 | Amazon Web Services

                                                      Amazon Web Services ブログ AWS Glueカスタムコネクタを使用したGoogle BigQueryからAmazon S3へのデータの移行 本記事はAmazon Web Services, Senior Big Data Specialist Solutions ArchitectであるSaurabh Bhutyaniによって投稿されたものです。 今日の接続された世界では、さまざまなデータソースにさまざまな形式のデータが存在することが一般的です。データは意思決定の重要な要素ですが、多くの組織にとって、これらのデータは複数のクラウドに分散しています。組織は、これらの無数のデータ ソースからデータを簡単に取り込み、ニーズに合わせてデータ取り込みをカスタマイズできるツールを求めています。 AWS Glueは分析用のデータの準備とロードを容易にする完全マネージド型の抽出、変換、

                                                        AWS Glueカスタムコネクタを使用したGoogle BigQueryからAmazon S3へのデータの移行 | Amazon Web Services
                                                      • Migrating data from Google BigQuery to Amazon S3 using AWS Glue custom connectors | Amazon Web Services

                                                        AWS Big Data Blog Migrating data from Google BigQuery to Amazon S3 using AWS Glue custom connectors July 2022: This post was reviewed and updated to include a mew data point on the effective runtime with the latest version, explaining Glue 3,0 and autoscaling. In today’s connected world, it’s common to have data sitting in various data sources in a variety of formats. Even though data is a critica

                                                          Migrating data from Google BigQuery to Amazon S3 using AWS Glue custom connectors | Amazon Web Services
                                                        • "Google BigQuery"、ベクトル検索を導入

                                                          垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。

                                                            "Google BigQuery"、ベクトル検索を導入
                                                          • Google BigQuery: データセットの一覧情報を取得 | DevelopersIO

                                                            小ネタです。 Google BigQueryのデータセットでは、管理下にあるテーブル群に関連する情報等がそれぞれ存在します。それらのデータを一覧参照出来る情報が欲しいなと思い、そのためにはどういう方法が使えるのかを確認し、まとめてみました。 やりたいこと、欲しいもの 「データセット」に関する一覧情報を表示させたい。そのために必要なデータセットにおける列情報を必要な分、何らかの形で取得したい。概ね以下の画面で得られるものが該当。 Pythonプログラムを介してデータセット情報を取得 公式ドキュメントには以下のテーマで展開されている情報があります。 その中で、プログラム言語による情報の取得方法が紹介されていたので試してみました。任意のデータセットIDを設定すれば取得出来る流れになっています。ただ、既存参照コードのままだと得られる情報が少なかったので、途中確認用コードを数行追加してみました。 v

                                                              Google BigQuery: データセットの一覧情報を取得 | DevelopersIO
                                                            • Google BigQueryの凄さの理由を解説! 料金や連携できるサービスも紹介

                                                              ビッグデータ分析サービスとして知られる「Google BigQuery(グーグル・ビッグクエリ)」。使ってみたいなとは思っていても、「ビッグデータ解析ができるなんて高そう…」「扱いが難しそう…」というイメージを持ち、利用を躊躇していないでしょうか? とっつきにくいというイメージを持たれがちですが、実は Google BigQuery はシンプルで簡単に扱えるビッグデータ解析サービスなのです。 本稿では、そんな Google BigQuery の特長についてご紹介します。 Google BigQueryとは? 改めて、Google BigQuery とは Google Cloud™(旧 GCP:Google Cloud Platform) で提供されるビッグデータプロダクトの一つです。2012年の Google I/O(年次で開発された開発者向けカンファレンス)にて公式サービスとしてリリース

                                                                Google BigQueryの凄さの理由を解説! 料金や連携できるサービスも紹介
                                                              • Migrate terabytes of data quickly from Google Cloud to Amazon S3 with AWS Glue Connector for Google BigQuery | Amazon Web Services

                                                                AWS Big Data Blog Migrate terabytes of data quickly from Google Cloud to Amazon S3 with AWS Glue Connector for Google BigQuery This blog post was last updated July, 2022 to update the new version of the connector and details on how to push down queries to Google BigQuery. The cloud is often seen as advantageous for data lakes because of better security, faster time to deployment, better availabili

                                                                  Migrate terabytes of data quickly from Google Cloud to Amazon S3 with AWS Glue Connector for Google BigQuery | Amazon Web Services
                                                                • IICSのGoogle BigQuery V2コネクタのpre SQLでDELETE INSERTを試してみた | DevelopersIO

                                                                  データアナリティクス事業本部の鈴木です。 今回はGoogle BigQuery V2コネクタでBigQueryのテーブルにデータを格納する際、pre SQLに設定したSQL文を使い、事前にDELETE文を実行し、DELETE INSERTができるか検証しました。 やりたいこと Informatica Cloud Data Integrationでマッピングを作成し、ターゲットの接続でGoogle BigQuery V2コネクタを使った際、pre SQLにSQL文を設定することで操作を実行する前に事前にSQLを実行することができます。 Google BigQuery V2コネクタでは操作としてInsert以外にもUpsertのような冪等性が担保されるものを選択できますが、なにかしらの理由でDELETE INSERTを行いたい場合にpre SQLで実現できそうか試してみました。 データセットと

                                                                    IICSのGoogle BigQuery V2コネクタのpre SQLでDELETE INSERTを試してみた | DevelopersIO
                                                                  1

                                                                  新着記事