Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita

From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億

[round_tea]

タイトルが「使わなくなった理由」と思い込んで読んでた

[nankichi]

ここにプラットホーム依存していいのかね？機密情報のせるのかなぁ。

[kossie89]

タイトルが紛らわしすぎて一瞬だけどう読むのか分からなくなった。

[umisora2]

“ちなみに、10万行／秒というインポート性能は1テーブルあたりの値であり、テーブルを分割することで実用上は速度上限を気にする必要はなくなる。”

[Gesaku_G]

“私はつねづね、こういうのが本来の意味でのクラウド（＝データや計算をデータセンター全体に薄く広く分散させるアーキテクチャ）なんだなと思う。”

[legoboku]

すごい "ひとつひとつのクエリを実行するたびに数百台〜数千台のマシンが同時並列に検索を実行している"“インデックスは一切作らず、すべてディスクのフルスキャン（テーブルスキャン）で処理する。”

[tvsk]

価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億行なら2円だ（2014年5月現在）。]

[crist18]

BigQuery速さの秘密

[kouzukek]

Googleさんはすごいという話。大規模は正義

[nishidy]

速すぎる列指向データベースBigTable、のFluentdプラグイン

[aryuaryu]

うちも、BigQuery使ってみることにしました。これはすごいな。Googleすごすぎる。価格も安すぎる。

[bopperjp]

importをリアルタイムにやっても使えるレベル。

[naka-06_18]

「こんな速度でインポートしながらも並行してまったく普通にクエリできる点」とか Hadoop から利用可能とかやばいわ

[zonu_exe]

“ここで述べられていることは私の個人的な意見に基づくものであり､私の雇用者には関係はありません”

[stumsky]

「Hadoopとは何だったのか」 hadoop - Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja by @kazunori_279 on @Qiita

[anoworl]

狂気っぽい

[seikoudoku2000]

未来すぎる。/ “ひとつひとつのクエリを実行するたびに数百台〜数千台のマシンが同時並列に検索を実行している”

[easy-breezy]

ノーインデクシングでフルスキャンなのに120億行を5秒で返すとか

[kgrock]

Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja

[nyop]

すげー。

[inurota]

「1TBのデータを1秒でフルスキャンするには、いったい何台のディスクドライブを並列に回せばよいのか？という実験をし、その結果得られた答えが5,000台」それを素直に横展開するのがとてもGoogle的。

[YuichiTanaka]

これやばいっすね

[mano-junki]

hadoop bigquery fluentd google nosql

[quanon]

「120億行の正規表現マッチ付き集計が5秒」ってすごすぎる！！！

[rx7]

"1TBのデータを1秒でフルスキャンにするには5,000台のディスクが必要"

[buzztaiki]

120億行の正規表現マッチ付き集計が5秒で完了したってすげぇな。。。

[igrep]

しゅごい。。。

[kasajei]

面白そう！

[csouls]

未来を感じる

[Hash]

「これは速すぎる 何かのインチキである」

[eagleyama]

“「1TBのデータを1秒でフルスキャンするには、いったい何台のディスクドライブを並列に回せばよいのか？」という実験をし、その結果得られた答えが5,000台”

[sgtakeru]

BigQueryのパフォーマンスが桁違いすぎる。120億行を正規表現のフルスキャンで7秒程度。恐ろしい。

[tmatsuu]

ようやく読んだ。なんつーか、そこまで追いつきたいけども遠い世界。