野良ビッグデータへのお誘いmeet.ml #1 - Applied Big Data and Machine Learning Poznań Data Science Meetup Poznań Univeristy of Technology; April 28th, 2016
（83億レコード移行の続編）BigQueryを導入して改善サイクルがスピードアップした話 - Money Forward Developers Blog
みなさん、こんにちは。 PFM本部（家計簿アプリのマネーフォワードをつくってる組織）の伊藤です。 先日、当ブログでこんな記事をアップしました。 83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） ありがたいことに良い反響を多くいただき、沢山のブクマを頂戴しました。 そんな中で、 83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） | Money Forward Engineers' Blog 次回はこのビッグデータを何に使ってんのか書いてほしい 2016/08/03 19:00 というコメントをいただいているので、導入してどのように活用しているかの記事を書いてみたいと思います。 まとめ なぜBigQueryを推進したのか 詳細な分析をするのに便利なツール RにBigQue
DatastoreのデータをBigQueryに入れてSELECTする方法 - Qiita
何が楽しいか DataStoreのデータはGQLを使って検索できるけど、自由度が低い。わざわざプログラム組むのも面倒。BigQueryに入れれば高速で自由なSQLで検索が出来る！ 手順 bucketを用意する GAEコンソール(https://console.developers.google.com/)(新GAEコンソール)からStorage Browserを選択する。 初めての場合はCreate a bucketをする。 bucket名がDatastoreを入れる場所になる。 DatastoreAdminでBackup GAEコンソール(https://appengine.google.com/)から、Datastore Adminを選ぶ。 旧コンソールのみでしかDatastore Adminは存在しないので注意してください(2015/03/24現在) 初めての場合はEnable Da
Google BigQueryにMySQLのデータを入れる | Ore no homepage
肋骨が折れたかもしれん。痛え。それは置いといて…BigQuery。処理能力を体感したかったのでとりあえずMySQLの本番データをつっこんだ。fluentdでログも突っ込んでるんだけど、そっちはデータが溜まってないからまだおもしろくないかな。それについてはまた別途。まあ、fluentdでデータ突っ込むのはいろんな人がqiitaとかブログに上げてるし書くまでもないかもしれないけどね。 0. 作業の流れ MySQLからダンプを抜く ダンプをCloud Storageにuploadする Cloud Storage からbigqueryにインポートする クエリ投げる という流れになる。この記事では深く言及しないが、Google Compute Platformのコンソールでプロジェクトの作成やら課金の登録やらが済んでいて、作業を行うマシンにはコマンドラインツールがインストール済みであるとする。 コマ
5分で試せる、10億件×8.5億件をBigQueryで1分でJOINする方法 - Qiita
Google BigQueryは普通の検索もそこそこ速いけど、大規模なテーブル同士のJOINも同様に速い。その実力をお金をかけずに誰でも5分で試せる手順をまとめてみた。 BigQueryを初めて使う BigQueryには無償枠があって、Googleアカウントさえあれば誰でも毎月1TB分までタダでサンプルテーブルに対するクエリを試せる（ただしテーブル作成やデータのインポートはできない）。初めて使うまでの手順は以下のとおりで、所要時間は1〜2分くらい。 Google Developer Consoleで新規プロジェクト作成 Googleアカウントにログインした状態でGoogle Developer Consoleを開き、Create Projectボタンをクリック。プロジェクト名とIDはそのままでCreateをクリック。30秒ほどでプロジェクトが作成される。つづいて、左側のナビゲーションメニュ
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google BigQuery ハンズオン.日本語版(BigQuery Browser Tool チュートリアル)
GitHub - r-dbi/bigrquery: An interface to Google's BigQuery from R.