BigQuery の仕組みを深掘りします。BigQuery をどう使うのがベストなのか?クラウドのメリットを生かしたマネージド DWH としての魅力と運用におけるベストプラクティスを説明します。
Co-authored by Ryan McDowell, fellow Googler and data analysis ninja Visualize GCP Billing using BigQuery and Data StudioOne of the most common questions we get from customers is “how can I see what I’m spending over time” and, up until recently, your only option was the Billing tab in your Google Cloud Console. But now, by combining Google Cloud’s billing-export-to-BigQuery functionality with Goo
Googleは2018年4月18日、Google Cloud PlatformでデータウェアハウスサービスBigQueryの東京リージョンにおける提供を開始した。今回の発表で、世界で初めてユーザーがデータを置くBigQueryのリージョンを指定できるようになった。 Googleは2018年4月18日、Google Cloud Platform(GCP)でデータウェアハウスサービスBigQueryの東京リージョンにおける提供を開始した。今回の発表で、世界で初めてユーザーがデータを置くBigQueryのリージョンを指定できるようになった。Googleは2019年にかけて、同様なローカルリージョンの指定を世界の他の地域でもできるようにしていく。 BigQueryはこれまで、基本的にはリージョン(データセンターの場所)と無関係なサービスとして提供されてきた。同サービスではこれまで、データのロケーシ
こんにちは! なんでもディープラーニングでやりたがる癖が抜けず、3ヶ月のディープラーニング禁止令を言い渡されていた後藤です。 本記事ではVASILYで利用しているデータ分析の環境について紹介します。 VASILYではデータ分析が必要な場面で、BigQueryとTableauを組み合わせて利用することが多いため、これらの実際の活用例とTableauの選定理由について紹介したいと思います。 以前、CTOがデータ周りの環境の全体像を紹介しました。 tech.vasily.jp 社内ではBigQueryを中心にデータ周りの環境が構築されており、そこからデータ活用のあらゆる業務へつながります。 データの可視化と社内への共有は主にTableauを使っています。 まずは、BigQueryとTableauの説明から始めます。 BigQuery とは BigQueryとは、Googleが提供しているデータウ
前編(「ビッグデータは“リアルタイム”でこそ価値がある」)では、リアルタイムなビッグデータ解析プロジェクト「CET(Capture EveryThing)」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手/構成/編集/写真:小川楓太(NEWPEACE Inc.) AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
「BigQueryは120億行を5秒でフルスキャン可能」は本当か? 先日、kaheiさんがGoogle BigQuery(Googleクラウドの大規模クエリサービス)について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。(Fluentd Meetupでの)プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる(これ、記憶がちょっとあいまい。もう少しかかったかも)。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く