BigQueryの新しい料金体系High Compute Queryは廃止されました。 - Qiita
High Compute Queryは2017年11月に廃止になったので、この記事は過去の思い出です。 https://cloud.google.com/bigquery/docs/release-notes?hl=en#november_14_2017 今後はBillingTierが100を超えない限りは、特に料金が変わることはありません。 BillingTier100超えはかなりの無茶をしないと出てこないので、滅多に気にすることはありません。 ただ、単純なパフォーマンスチューニングとして、以下のノウハウはまだ役に立ちます。 High Compute Queryに備える！Dremelの気持ちになって考えるパフォーマンスチューニング 以下、過去の思い出話となった内容 BigQueryのQuery料金は今までどんな複雑なクエリを書いても、データを読み込んだ容量に対して料金が決定されていました
BigQueryのハマらないためのメモ - Qiita
datasetIdは、数字から始めてはならない 2015/03時点 ドキュメントには書いておらずAPIも通ってしまうが、例えばTABLE_QUERY関数で認識しなくなる。 こんなエラー。 Error: Encountered "" at line 51, column 22. Was expecting one of: TABLE_QUERY関数では、STRING関数もCAST関数も認識しない。 datasetごと作り直すハメになる。 BigQuery APIはテストしづらい GAE SDKに用意されているようなstubがない。 クライアントの言語にPythonを選択するのは、間違い。 実行時に、やっとエラーを検出するような言語は向いていない。 JavaかGoで。 Output field used as input HttpError: <HttpError 400 when reque
BigQueryでデータロード時に欠損値の読み込みルールまとめ - Qiita
最近、bigqueryの評価を行っている。本番向けのデータではよくあることだが、本来データが入る場所にnullが入っていたり、要素が無かったり、逆に要素が多かったりする。 bigqueryはTreasureDataの様にスキーマレスではなくきちんとスキーマを定義しなければならない。 bigqueryでは、スキーマの定義にjsonを使い、データのロードにもjsonを使うため、要素にミスマッチが発生する場合が考えられる。 スキーマとjsonで要素のミスマッチがあった場合は、データにnullが入っていた場合のbigqueryの挙動に関してまとめた。 最初に結果だけ書き、後半に実際にデータロードで試したサンプルを乗せる。 データロード時のBigQueryスキーマと、jsonの対応 送信jsonにスキーマがある。 送信jsonにスキーマが無い
Preparing Data for BigQuery - Google BigQuery — Google Cloud Platform
What is BigQuery?Pricing and QuotasPricingQuotasGetting StartedSign UpBigQuery Browser Tool Quickstartbq Command-Line Tool QuickstartBigQuery API QuickstartLoading Data Into BigQueryPreparing Data for BigQueryTransforming DataLoading Data with a POST RequestStreaming Data Into BigQueryQuerying DataQuery ReferenceTable DecoratorsSample DatasetsDealing with DataExporting Data From BigQueryManaging Y
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
neue cc - LINQ to BigQuery - C#による型付きDSLとLINQPadによるDumpと可視化
と、いうものを作りました。BigQueryはGoogleのビッグデータサービスで、最近非常に脚光を浴びていて、何度もほってんとりやTwitterに上がってきたりしてますね。詳細はGoogle BigQuery の話とかGoogleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由あたりがいいかな、超でかいデータをGoogleパワーで数千台のサーバー並べてフルスキャンするから、超速くて最強ね、という話。で、実際凄い。超凄い。しかも嬉しいのが手間いらずなところで、最初Amazon RedShiftを検討して試していたのですが、列圧縮エンコードとか考えるのすっごく大変だし、容量やパワーもインスタンスタイプと睨めっこする必要がある。それがBigQueryだと容量は格安だから大量に格納できる、チューニング設定もなし、この手軽さ！おまけにウェブインターフェイスが中々優れ
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
gcp ja night #28 が終わりました - スティルハウスの書庫の書庫
gcp ja night #28 、今回はフリークアウトさんのおしゃれ会場をお借りして開催、200名ほどの参加がありました。これまでで最大規模ですね。。GCP来てる感あります。 皆さんのまとめ 当日のようすを知るにはyukotanさんが速攻upされてたtogetterまとめがベストですね〜。 togetterまとめ gcp ja night #28 #gcpja by @yukotanさん gcp ja night #28 Hangout on Air動画 gcp ja night #28 に参加してきたので色々まとめるよ by @a_knowさん # @a_knowさん、BQの一時テーブルにはコストはかからないはずですが、確認しますー！ →かかりませんでした。 今回のおしながき Managed VMのDocker対応とKubernetes最新動向 by Brian Dorsey, Dev
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
Google Compute Engineのココがイケてるイケてない - Qiita
仕事柄、GoogleのIaaSであるGoogle Compute Engine (GCE)を使ったり、またはガッツリ使っている人の話を聞いたりすることが多いので、これまで感じたり耳にしたりしたGCEの良い所・そうでもない所をまとめておく。 まずは、あんまりイケてない点。 ここがイケてない！ データセンターが東京ではなさそう Googleは今年4月にアジア地域にGoogle Cloud Platform (GCP)のデータセンターを開設しており、ここが日本からは最寄りのDCということになる。実際、ゾーンとして「asia-east1-a」等を指定して作成したインスタンスを作成し、pingを打ってみると、おおよそ40msくらいの距離にあることが分かる。東京ではなさそうだ。なので、この遅延がユーザー・エクスペリエンスに影響するようなシビアなリアルタイム性の要求される用途には向いていない。 GCEの
Fluentd Meetup に参加しました #fluentd #fluentdmeetup - へろへろもへじ
今日はhttp://eventdots.jp/event/49560 に参加してきました。 会場のフリークアウトさんがとにかくシャレオツでビックリ!! せっかくなので興奮が冷めないうちに、ざっくりですが、発表の内容をまとめました。 登壇者の方のスライドは公開され次第リンクさせて頂きます 情報に誤りがあればご指摘ください 誤字脱字もご指摘頂けると幸いです Fluentd v.1に関するアップデートと今後のロードマップ（仮） トレジャーデータ シニアソフトウェアエンジニア 中川真宏さん (@repeatedly) Fluentd v1 and Roadmap from Treasure Data, Inc. v10(現在)のFluentd logのフォワーディングを安全に ハイパフォーマンスに 任天堂他、著名な企業で使われている 公開されているプラグイン数250以上 CRuby想定で書かれてい
参加レポート: Fluentd Meetup – 新しい応用事例とv1に関する発表 – | DevelopersIO
5/13(火)に開催されたfluentdのイベント「Fluentd Meetup - 新しい応用事例とv1に関する発表 -」に参加してきました！ 会場は六本木ヒルズクロスポイントの5階、株式会社フリークアウト様の本社「Hills-Garage」。超オシャレなスペースでした。ライブハウスみたいですね。 本イベントはトレジャーデータ様と.dotsというサービスを提供している株式会社インテリジェンス様の共催でした。主催者様、会場提供者様、ありがとうございました。 レポート Fluentd v1 and Roadmap by 中川 真宏氏 (@repeatedly) ・v1をどうするかについてはgithubのissueに全て書いてある。 →そこに書いたものをまとめたのが今日のスライド。 ・fluentd概要 →MxNをM+Nにする、ログの収集・配送を一本化することを目標にしているのがfluentd
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
Google Cloud Platform の機能拡張・価格低減と日本市場での本格展開について
Google の企業向けソリューションに関する公式な情報やユーザーの事例などを、いち早く皆さんにお届けします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
String to date time conversion Bigquery
BigQuery Enterprise Data Warehouse
Big Queryの使い方を10分で試してみる - Qiita
サービス改善はログデータ分析から
http://blog.yoslab.com/entry/2014/07/09/202304
