タグ

BigQueryに関するtmsanrinshaのブックマーク (3)

  • Google BigQueryで今期アニメに関するツイートを分析するぞい! - Qiita

    BigQueryでアニメに関するツイートを分析する アニメツイートを記録したCSVをBigQueryに上げる データ形式を選択する CSV/JSON/AppEngine Backupが選べますが今回はCSVとします。 File Uploadでブラウザからファイルアップロード・・・といきたい所ですがファイルブラウザからのアップロードは10Mバイトに制限されています。 10Mバイト以上のファイルはGoogleのクラウドストレージにファイルをアップロードする必要があります。 Google Cloud Storage にデータを上げる Cloud StorageにBucketsを作成しファイルをアップロードします。 こちらではブラウザから10M以上のファイルのもアップロードできますが、数百Gバイトなどのでかいファイルはブラウザがタイムアウトなどを起こすのでGoogleの用意するツール(gsutil

    Google BigQueryで今期アニメに関するツイートを分析するぞい! - Qiita
  • BigQueryにTwitterのタイムラインを入れる [Ruby]

    Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら 4 年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDBMySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery に TL を保存するとできること TL の全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ を TL から検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより「某 CA 社では 5000 台の MongoDB クラスタで BigQuery に対抗している」という

    BigQueryにTwitterのタイムラインを入れる [Ruby]
  • Google、ビッグデータ分析サービス「BigQuery」の正式版をリリース

    Googleは5月1日(現地時間)、昨年11月にプレビュー版を公開した企業向けビッグデータ分析サービス「Google BigQuery」の正式版をリリースしたと発表した。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。クラウドデータベース「Google Cloud SQL」と異なり、大容量のCSVデータの分析に向いていおり、テラバイト級の、数兆件のデータを含むファイルを数秒で分析できるとしている。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。プレビュー版は無料だったが、正式版は1カ月当たりのデータ処理量が100Gバイトを超えると有料になる。料金は月額制で、2Tバイトまでのデータを1Gバイト当たり12セ

    Google、ビッグデータ分析サービス「BigQuery」の正式版をリリース
  • 1