Python: pandas と Google BigQuery を連携させる - CUBE SUGAR CONTAINER
ぶっちゃけ pandas は大規模なデータセットを扱うのが苦手だ。 だいたい一桁 GB なら我慢と工夫で何とかなるけど、二桁 GB を超えると現実的な処理時間で捌けなくなってくる。 そこで、今回は pandas を Google BigQuery と連携させることで重たい処理をオフロードする方法を試してみる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i pandas pandas 0.23.3 pandas-gbq 0.5.0 Google BigQuery を使う下準備 ここから BigQuery を使うための下準備が結構長いので、既
Firebase Analyticsの新しいBigQueryスキーマを試す
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 さて、GoogleさんからFirebase Analyticsについて突然メールが来まして、超テキトーに意訳するとこんな内容です。 “Firebase AnalyticsのBigQueryエクスポートは、従来Android/iOSのデータを別々のデータセットとして生成してました。 しかし、今後はひとつのデータセットになります。 また、スキーマも新しくなります。 そう、数週間以内にね。” なかなかサラっとすごい事を言ってきますね。。 とりいそぎ、新しいスキーマがどんなものか見てました。 BigQue
【BigQuery】特定テーブル以外のテーブルを全削除する | 丸ノ内テックブログ
フロントエンド front end バックエンド back end アプリ開発 app インフラ infra その他 other データドリブン data driven タグ一覧 Ajax（1） Android（20） Apache（2） AR（2） benchmark（1） BigQuery（2） browsersync（1） C4（1） CakePHP（1） CentOS7（1） CI（1） CMS（3） CoreNFC（1） CraftAR（1） CSS（1） DeepLab（2） Dmitry Stogov（1） ECMAScript（1） ECMAScript6（1） ElePHPant（1） Facebook（3） FFmpeg（1） firebase（1） fluentd（1） Framework（1） GD（2） gif（2） Git（1） GLSL（5） Google A
fluent-plugin-bigquery v0.3.x で遭遇したエラーについて - ymyzk’s blog
fluent-plugin-bigquery を v0.2.x から v0.3.x にアップデートしたところ, insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDataResponse::InsertError のようなエラーが出て, BigQuery に insert 出来なくなってしまったエラーについてのまとめです. 問題 fluent-plugin-bigquery を v0.3.x にアップデートしたところ, fluentd が次のようなエラーを発生するようになりました. 2016-11-12 17:19:45 +0000 [warn]: insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDat
fluent-plugin-bigqueryを使ってログをbigqueryに流してみる - tjinjin's blog
About ログをfluentdを通してbigqueryに投げるところを試してみました。今回は適当なログで試してますが、nginxのログとかをやってみたいところです！ 事前準備 gcpのアカウントを作成 projectを作成する サービスアカウントを発行する（今回はjson） datasetを作成する（データベースのようなもの） 設定 fluentdの設定 前提として下記のpluginが必要です。 tagomoris/fluent-plugin-forest kaizenplatform/fluent-plugin-bigquery · GitHub chefを使っており、templateになっています。/etc/td-agent/conf.d以下に配置します。 <source> @type tail format none path /var/log/messages tag os.me
ネストされたJSONデータをFluentdでGoogle BigQueryに投入してクエリを実行する
ネストされたJSONデータ（https://cloud.google.com/bigquery/docs/personsData.json）を、fluentdを使ってGoogle BigQueryに投入します。 BigQueryは、こういった構造化されたデータに対応する WITHIN、FLATTEN といったSQL関数が準備されています。 これらを利用したSQLクエリを構築してデータを取り出してみます。 プロジェクトを作成 https://console.developers.google.com/project Google Developers Consoleを開き、プロジェクトを作成して、『プロジェクト ID』『メールアドレス』をメモしておいてください。 また、P12キーファイルを保存しておいてください。 認証で必要になります。 サーバ AMI: CentOS 6 (x86_64)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://codeday.me/jp/qa/20190309/382499.html
auto increment variable in bigquery