ストーリーで学ぶ Google BigQuery を読んだ - public note
読書感想文です。 読んだ本 どんな本か 読んだ感想 読んだ本 Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery 著者: 株式会社トップゲート 出版社: 秀和システム ISBN-10: 4798059560 www.amazon.co.jp どんな本か 紹介文より引用 Google BigQuery(ビッグクエリ)は、Googleが自社で保有している膨大なデータを効率的かつ高速に分析するために構築した社内データ分析基盤を一般提供したサービスです。その内部ではBorg、Colossus、Jupiter、DremelなどのGoogle独自のコアテクノロジーが活用されており、実行されたクエリはGoogleの保有する膨大なインフラリソース上で瞬時に並列・分散処理されます。 その処理速度は1000億行のデータセットに対してインタラク
BigQueryで協調フィルタリングを使って使用食材が似たレシピを探す話 - おいしい健康 開発者ブログ
こんにちは。おいしい健康エンジニアの花井です。 今年の8月に入社しまして、iOS(クライアント)、API(サーバーサイド)、データ分析など幅広くやっています。 言語で言うと、Ruby(Ruby on Rails), Swift, Pythonですね。 今回は、食材が似たレシピを探す話、と題しておいしい健康のデータ分析の話をします。 概要 おいしい健康のデータ分析まわり 使用食材が似ているレシピを探す 定義 協調フィルタリング BigQueryのメリット コード 類似度1位を見てみよう レシピ類似度のデータビジュアリゼーション 可視化対象 データ取り出し 可視化したネットワーク 概要 おいしい健康で最も人気がある下記レシピに対して、使用食材が似ているレシピを探します。 oishi-kenko.com BigQueryはクエリを気軽に実行して試行錯誤できるので最適化問題のソルバーとしてとても優
Reddit - Dive into anything
Datasets publicly available on Google BigQuery Post more at http://www.reddit.com/r/bigquery Ask questions at http://stackoverflow.com/questions/tagged/google-bigquery Metadata Get started now (5 minutes, no credit card needed). Even more datasets: The official public datasets program https://cloud.google.com/bigquery/public-data/ Even more: https://console.cloud.google.com/launcher/browse?filter=
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
Google BigQueryの新機能 Standard SQLまとめ - ZOZO TECH BLOG
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
Kumano RyoCloud Engineer at Groovenauts, Inc. / GCPUG Fukuoka
５分でわかる！BigQuery Tips集 - Gunosyデータ分析ブログ
こんにちは。データ分析部の阿部です。 今回はBigQueryについてです。 GunosyではもともとRedshiftで運用していましたが、 クエリによっては時間がかかり処理しきれない 同時にクエリを投げると詰まる などの課題を解決するためにBigQueryを一部で導入しました。 今回はBigQuery導入するときのTipsを紹介したいと思います。 Standard SQL テーブルワイルドカード関数 Partitioned Table Re:dashに接続する方法 Google Apps Script を使ってクエリ結果をSlackに通知する方法 まとめ Standard SQL 現時点でベータ版ですが、ついにBigQueryでも標準SQLを使ってクエリを書けるようになりました。 これまでの SQL (Legacy SQL) は癖が強く、 distinct を使って重複を取り除くこともでき
BigQueryで待望のUDF(user-defined function)がリリースされたので早速試してみた | feedforce Engineers' blog
ゆきやんです！ ついに出ました！！ UDF！！！ 前回の私の投稿では弊社でのBigQueryの導入事例をご紹介いたしました。 今回は、今朝リリースされたBigQueryの新機能であるUDFについて書きたいと思います。 UDFとは UDFとは、BigQueryで実行するクエリ内にJavaScriptを書いて任意のロジックが実行できるようになる機能です。 この機能によって、BigQueryのクエリでは表現しづらかったことも表現しやすくなります。 UDFはすぐに試せる UDFを用いたクエリの実行は、以下のようにBigQueryのWebUIからすぐに試すことができます。 Query Editorでは、クエリを入力します。 UDF Editorでは、UDFを入力します。 実際に使ってみる では、実際に使ってみながら説明していきます。 ある数値をカンマ区切りの金額表示形式に変換してみましょう。 (例:
BigQuery Updates@2015-08-25 - Qiita
https://cloud.google.com/bigquery/release-notes#08252015 の速報。 詳細は後日追記予定。 UDFs(user-defined functions) のサポート 多分、今回の目玉機能。JavaScript でユーザ定義関数(UDFs)が書けるようになりました。 これは機能がデカイので、別エントリーで。 https://cloud.google.com/bigquery/user-defined-functions http://googledevelopers.blogspot.jp/2015/08/breaking-sql-barrier-google-bigquery.html サンプルで雰囲気を感じ取ってください。 こんな感じで JavaScript で関数を定義、登録して、 // The UDF function urlDeco
なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm
ログ分析サービスはアプリケーションのインフラであり、サービス開発/運用の中で重要な位置を占めます。グラニでは、今年に入って利用しているログ分析サービスを、 Sumo Logic から Google BigQuery に完全移行しました、 本記事は、グラニで議論された「ログ分析サービスとしての SumoLogic と BigQuery」のまとめを推敲、転載したものです。これからログ分析サービスを検討される方々にとって、議論の内容が少しでも参考になることを願い公開します。 アジェンダ まずは文脈を整えるためにアジェンダから。 アジェンダ 日常的なアプリケーション監視フロー APM として盤石な New Relic ログ分析サービスによるアドホックなログ分析 ログ分析サービスに求めること Sumo Logic の利用と課題 Sumo Logic の利点 Sumo Logicで発生した課題 ログ収
BigQuery enterprise data warehouse
Google is named a leader in The Forrester Wave™: Data Lakehouses Q2 2024 report. BigQuery is a fully managed, AI-ready data analytics platform that helps you maximize value from your data and is designed to be multi-engine, multi-format, and multi-cloud. Store 10 GiB of data and run up to 1 TiB of queries for free per month. New customers also get $300 in free credits to try BigQuery and other Goo
Syntax
Regular expressions are a notation for describing sets of character strings. When a particular string is in the set described by a regular expression, we often say that the regular expression matches the string. The simplest regular expression is a single literal character. Except for the metacharacters like *+?()|, characters match themselves. To match a metacharacter, escape it with a backslash:
BigQueryのハマらないためのメモ - Qiita
datasetIdは、数字から始めてはならない 2015/03時点 ドキュメントには書いておらずAPIも通ってしまうが、例えばTABLE_QUERY関数で認識しなくなる。 こんなエラー。 Error: Encountered "" at line 51, column 22. Was expecting one of: TABLE_QUERY関数では、STRING関数もCAST関数も認識しない。 datasetごと作り直すハメになる。 BigQuery APIはテストしづらい GAE SDKに用意されているようなstubがない。 クライアントの言語にPythonを選択するのは、間違い。 実行時に、やっとエラーを検出するような言語は向いていない。 JavaかGoで。 Output field used as input HttpError: <HttpError 400 when reque
BigQueryの課金について考えた（前編） - Qiita
2015/02/15 書き直しました！サーセン！ 安すぎて今までその考えはなかったわwww さて、BigQueryの課金について。 今まで1テーブルあたりのデータ量も数十GBレベル、レコード数も億に届くかどうかぐらいのデータなんでクソクエリ回したところで1回1円未満とかそんなだったので、あんまり気にしなかった。（まぁ、使い始めた頃は5倍ぐらいの値段だったので気にするレベルだったのですが） あと、GoogleAnalyticsPremiumも入っているし、毎月$500が免除されるためもっと気にしてなかった。w でも、普通に契約するとお金がかかるわけで。なので、ちょっと考えてみましたと。 そもそもどこに課金されるんだっけ？ BigQueryの課金は主に3つあります。 入れているデータ量（ストレージ） StreamingInsert使っている場合はその行数 クエリするデータ量 詳しくはこちらに書
ニコニコデータビューアー・改
ニコニコ学会β第五回データ分析研究会で発表した。 今まで、２１分かかった物が、10秒で集計が出来る。Read less
BigQuery で COUNT(DISTINCT(X)) を使わない方が良い理由 - Qiita
簡潔に言うと、BigQuery の COUNT(DISCTINCT(X)) は正しい値を返さないことがあるので使わない方が良い。（ちゃんと仕様を理解して使おう） 2015/5/28 追記 「GROUP BY して COUNT()」が面倒だという人は、EXACT_COUNT_DISTINCT(X) を使おう。 BigQuery では COUNT(DISTINCT(X)) ではなく EXACT_COUNT_DISTINCT(X) を使おう BigQuery の DISTINCT の仕様 https://cloud.google.com/bigquery/query-reference?hl=ja#aggfunctions より引用 Returns the total number of non-NULL values in the scope of the function. If you u
neue cc - LINQ to BigQuery - C#による型付きDSLとLINQPadによるDumpと可視化
と、いうものを作りました。BigQueryはGoogleのビッグデータサービスで、最近非常に脚光を浴びていて、何度もほってんとりやTwitterに上がってきたりしてますね。詳細はGoogle BigQuery の話とかGoogleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由あたりがいいかな、超でかいデータをGoogleパワーで数千台のサーバー並べてフルスキャンするから、超速くて最強ね、という話。で、実際凄い。超凄い。しかも嬉しいのが手間いらずなところで、最初Amazon RedShiftを検討して試していたのですが、列圧縮エンコードとか考えるのすっごく大変だし、容量やパワーもインスタンスタイプと睨めっこする必要がある。それがBigQueryだと容量は格安だから大量に格納できる、チューニング設定もなし、この手軽さ！おまけにウェブインターフェイスが中々優れ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery ML を使ってみた話 - Speaker Deck
GitHubのすべてのオープンソースプロジェクトがGoogle BigQueryで検索可能に
https://atnd.org/events/64511
