Cloud Datalabを試してみた
Google CloudDatalabとは Cloud DatalabとはJupyterをベースとしたデータ分析を対話形式でかつWeb上で行うことが出来るシェル環境です。また、ソースコードやSQL、実行結果、テキスト、画像等を「１つのノートブック」としてまとめて扱えることが特徴です。 Datalabの環境はAppEngine+Flexible Environment上(machine typeはn1-standard-1)で動作する為、Flexible Environmentと同様の費用が課せられることになります。 ※現在、Flexible EnvironmentはBeta版である為、今後改定されると思いますが現在はVMごとにGCEと同様の費用感になっているようです。 Jupyterとは 上記にもある通り、Jupyterを使うことによってデータの分析、可視化、共有等を１つのノードブックの上
Google DatalabコンテナにElixirを入れてTensorflexを動かそう - Qiita
（この記事は、「fukuoka.ex(その2) Elixir Advent Calendar 2017」の24日目、および「ディープラーニングのエンジニアリング Advent Calendar 2017」の6日目です） 昨日は、@tuchiroさんのElixirでSI開発入門 #9 Railsからのモデルの移行2(DDLをパースする)でした 前回までElixirからRustlerを経由して外部言語インターフェースのさまざまな可能性を探ってきました。 今回はGCPの公式コンテナである「Cloud Datalab」にElixirをインストールして、ElixirのTensorFlowバインディングである「Tensorflex」を試してみます。 前回までの記事は、以下になります ElixirのGenStageに入門する #1 |> ElixirのGenStageに入門する#2 バックプレッシャーを
費用の見積もりと管理 | BigQuery | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 費用の見積もりと管理 このページでは、BigQuery での費用の見積りと管理のベスト プラクティスについて説明します。 BigQuery の主な費用は、クエリ処理に使用されるコンピューティングと、BigQuery に保存されるデータのストレージです。BigQuery には、クエリ処理用のオンデマンドと容量ベースの 2 種類の料金モデルがあります。各モデルで、費用管理に関するベスト プラクティスは異なります。BigQuery に保存されているデータの場合、費用は各データセットに構成されたストレージ課金モデルによって異なります。 BigQuery のコンピューティング料金について BigQuery のコンピューティング料金には、容量計画と費用管理に影響する微妙な違いがあります。 料金モデル
ユーザー定義関数 | BigQuery | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ユーザー定義の関数 ユーザー定義関数（UDF）を使用すると、SQL 式または JavaScript コードを使用して関数を作成できます。UDF は入力列を受け取って入力に対するアクションを実行し、それらのアクションの結果を値として返します。 UDF は永続的または一時的として定義できます。永続的な UDF は複数のクエリで再利用できるのに対し、一時的な UDF は 1 つのクエリのスコープ内にのみ存在します。 UDF を作成するには、CREATE FUNCTION ステートメントを使用します。永続的なユーザー定義関数を削除するには、DROP FUNCTION ステートメントを使用します。一時的な UDF は、クエリが終了するとすぐに期限切れになります。DROP FUNCTION ステート
BigQuery の概要 | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery は、ML、検索、地理空間分析、ビジネス インテリジェンスなどの組み込み機能を使用してデータの管理と分析を支援する、フルマネージドの AI 対応データ プラットフォームです。BigQuery のサーバーレス アーキテクチャを使用すると、SQL や Python などの言語を使用して、インフラストラクチャ管理なしで組織の最も大きな課題に対応できます。 BigQuery は、構造化データと非構造化データの両方を使用するための統一的な方法を提供するものであり、Apache Iceberg、Delta、Hudi などのオープン テーブル形式をサポートしています。BigQuery ストリーミングは、継続的なデータ取り込みと分析をサポートしています。BigQuery のスケーラブルな
ワイルドカード テーブルを使用した複数テーブルに対するクエリ | BigQuery | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ワイルドカード テーブルを使用した複数テーブルに対するクエリ ワイルドカード テーブルを使用すると、簡潔な SQL ステートメントを使用して複数のテーブルをクエリできます。ワイルドカード テーブルは GoogleSQL でのみ使用できます。レガシー SQL でのこれに相当する機能については、テーブル ワイルドカード関数をご覧ください。 ワイルドカード テーブルは、ワイルドカード式に一致するすべてのテーブルが結合されたものを表します。たとえば次の FROM 句は、ワイルドカード式 gsod* を使用しており、noaa_gsod データセット内の gsod という文字列で始まるすべてのテーブルに一致します。 FROM `bigquery-public-data.noaa_gsod.gsod*
Running parameterized queries | BigQuery | Google Cloud Documentation
Send feedback Stay organized with collections Save and categorize content based on your preferences. Running parameterized queries BigQuery supports query parameters to help prevent SQL injection when queries are constructed using user input. This feature is only available with GoogleSQL syntax. Query parameters can be used as substitutes for arbitrary expressions. Parameters cannot be used as sub
クエリを実行する | BigQuery | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 クエリの実行 このドキュメントでは、BigQuery でクエリを実行する方法と、ドライランを実行して、クエリの実行前に処理されるデータの量を把握する方法について説明します。 クエリの種類 次のいずれかの種類のクエリジョブを使用して、BigQuery データをクエリできます。 インタラクティブ クエリジョブ。デフォルトでは、BigQuery はクエリをインタラクティブ クエリジョブとして実行します。このジョブは、できるだけ早く実行を開始することを目的としています。 バッチ クエリジョブ。バッチクエリは、インタラクティブ クエリよりも優先度が低くなります。プロジェクトまたは予約で利用可能なコンピューティング リソースがすべて使用されている場合、バッチクエリはキューに追加され、キュー内に残る可
Using schema auto-detection | BigQuery | Google Cloud Documentation
Send feedback Stay organized with collections Save and categorize content based on your preferences. Using schema auto-detection Schema auto-detection Schema auto-detection enables BigQuery to infer the schema for CSV, JSON, or Google Sheets data. Schema auto-detection is available when you load data into BigQuery and when you query an external data source. When auto-detection is enabled, BigQuery
パーティション分割テーブルに対するクエリ | BigQuery | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 パーティション分割テーブルに対するクエリ このドキュメントでは、BigQuery でパーティション分割テーブルに対してクエリを実行するための具体的な考慮事項について説明します。 BigQuery でのクエリの実行に関する一般的なことについては、インタラクティブ クエリとバッチクエリの実行をご覧ください。 概要 クエリで、パーティショニング列の値に対する限定フィルタを使用すると、BigQuery では、フィルタに一致するパーティションがスキャンされ、残りのパーティションはスキップされます。この処理は「パーティションのプルーニング」と呼ばれます。 パーティションのプルーニングは、BigQuery で入力スキャンから不要なパーティションを削除するために使用する仕組みです。除かれたパーティション
スロットについて | BigQuery | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 スロットについて BigQuery スロットは、BigQuery で SQL クエリやその他のジョブタイプの実行に使用される仮想コンピューティング ユニットです。あるクエリで使用されるスロット数は、クエリ実行中に BigQuery によって自動的に決定され、このとき処理データ量、クエリの複雑さ、利用可能なスロット数が考慮されます。一般に、スロットが多いほど同時実行可能なクエリの数が増え、複雑なクエリをより高速に実行できます。 スロットはすべてのクエリで使用されますが、使用量の課金方法には、オンデマンド料金モデルと容量ベースの料金モデルの 2 種類があります。 デフォルトではオンデマンド モデルが適用され、各クエリによって処理されたデータの量（TiB 単位）に基づいて課金されます。オンデマ
Colab ノートブックを使用して地理空間分析データを可視化する | BigQuery | Google Cloud Documentation
フィードバックを送信 Colab ノートブックを使用して地理空間分析データを可視化する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このチュートリアルでは、Colab ノートブックを使用して、BigQuery の地理空間分析データを可視化します。 このチュートリアルでは、次の BigQuery 一般公開データセットを使用します。 サンフランシスコの Ford GoBike Share サンフランシスコのエリア サンフランシスコ警察署（SFPD）の報告 これらの一般公開データセットにアクセスする方法については、 Google Cloud コンソールで一般公開データセットにアクセスするをご覧ください。 一般公開データセットを使用して、次の可視化を作成します。 Ford GoBike Share データセットのすべてのシェアサイクル ステーションの散布図 サ
Data definition language (DDL) statements in GoogleSQL | BigQuery | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. Data definition language (DDL) statements in GoogleSQL Data definition language (DDL) statements let you create and modify BigQuery resources using GoogleSQL query syntax. You can use DDL commands to create, alter, and delete resources, such as the following: Datasets Tables Table schemas Table clones Table snap
Google Cloud コンソールを確認する | BigQuery
Google Cloud コンソールの詳細を見る Google Cloud コンソールには、BigQuery リソースの作成と管理、SQL クエリの実行に使用できるグラフィカル インターフェースが用意されています。 Google Cloud コンソールで BigQuery を試すには、クイックスタートの Google Cloud コンソールで一般公開データセットにクエリを実行するをご覧ください。 始める前に Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits t
BigQuery クライアント ライブラリを使用して一般公開データセットに対してクエリを実行する | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery クライアント ライブラリを使用して一般公開データセットに対してクエリを実行する BigQuery クライアント ライブラリを使用して一般公開データセットに対してクエリを実行する方法を確認します。 このタスクをGoogle Cloud コンソールで直接行う手順のガイダンスを見ることができます。使用するプログラミング言語を選択してください。 始める前に Create or select a Google Cloud project. Roles required to select or create a project Select a project: Selecting a project doesn't require a specific IAM role—you
クエリプランとタイムライン | BigQuery | Google Cloud Documentation
フィードバックを送信 クエリプランとタイムライン コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery のクエリジョブには、診断で使用できるクエリプランとタイミング情報が埋め込まれます。これは、他のデータベースや分析システムの EXPLAIN ステートメントなどで提供される情報に似ています。この情報は、jobs.get などのメソッドで API レスポンスから取得できます。 長期実行されるクエリの場合、BigQuery はこの統計情報を定期的に更新します。この更新は、ジョブ ステータスのポーリング間隔とは関係なく実行されますが、通常、更新間隔が 30 秒よりも短くなることはありません。また、実行リソースを使用しないクエリジョブ（ドライラン リクエストや、キャッシュに保存された結果が提供される場合など）の場合、追加の診断情報はありませんが、他の統
Query syntax | BigQuery | Google Cloud Documentation
Send feedback Query syntax Stay organized with collections Save and categorize content based on your preferences. Query statements scan one or more tables or expressions and return the computed result rows. This topic describes the syntax for SQL queries in GoogleSQL for BigQuery. SQL syntax notation rules The GoogleSQL documentation commonly uses the following syntax notation rules: Square bracke
Optimize query computation | BigQuery | Google Cloud Documentation
Send feedback Stay organized with collections Save and categorize content based on your preferences. Optimize query computation This document provides the best practices for optimizing your query performance. When you run a query, you can view the query plan in the Google Cloud console. You can also request execution details by using the INFORMATION_SCHEMA.JOBS* views or the jobs.get REST API meth
BigQuery での SQL の概要 | Google Cloud Documentation
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery での SQL の概要 このドキュメントでは、BigQuery でサポートされているステートメントと SQL 言語の概要について説明します。 GoogleSQL は ANSI 準拠の構造化クエリ言語（SQL）であり、サポートされている次のタイプのステートメントが含まれています。 クエリ ステートメント（Data Query Language（DQL）ステートメントとも呼ばれます）は、BigQuery でデータを分析する主要な方法です。1 つ以上のテーブルや式をスキャンして、計算結果の行を返します。クエリ ステートメントには、パイプ構文を含めることができます。 プロシージャル言語ステートメントは、GoogleSQL のプロシージャルの拡張であり、1 回のリクエストで複数の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
All BigQuery code samples | Google Cloud Documentation