Dremel made simple with Parquet
Columnar storage is a popular technique to optimize analytical workloads in parallel RDBMs. The performance and compression benefits for storing and processing large amounts of data are well documented in academic literature as well as several commercial analytical databases. The goal is to keep I/O to a minimum by reading from a disk only the data required for the query. Using Parquet at Twitter,
'An Inside Look at Google BigQuery'を読んだ - blue_field
Google BigQueryを使ってみようと思って、最近少し勉強している。Googleがホワイトペーパーを出していたので、読んでみた。（※2012年の文献） BigQuery についてのホワイトペーパーを公開しました - Google Developer Relations Japan Blog 以下、内容の簡単なメモ。 もともとGoogle社内で利用されていた Google社内で利用されてきた'Dremel'というサービスがある。巨大なデータに対してSQLライクなクエリを実行すると、数秒で結果が返ってくる。Googleでは、エンジニアだけでなくアナリストなど非エンジニアの人も利用している。 Dremelがベースとなり、外部に公開されたのがBig Query。フルマネージドなクラウドサービス。サードパーティの開発者は、REST APIやCLI, Web UIなどを利用してこのサービスにア
Developer's Summit 2013 参加メモ（１）
★受講中に書いていたメモを、推敲無しでそのまま上げています。 ★誤字脱字、内容の漏れなどあるかと思いますがご了承下さい。。 600億件を数十秒で検索するクラウド検索クエリサービスBigQuery / 佐藤一憲氏@google 導入 BigQueryのプレゼン 自己紹介 @kazunori_279/#gaeja/#gcloudja クラウドソリューションチーム ソリューションズアーキテクト appengine ja night管理人(23回くらい) AppEngine技術者のための情報交換イベント Agenda ビッグデータをGoogleスピードで 「Googleスピード」は社内用語、すごく早い デモ＆事例紹介 WhitePaper なぜ早い？ MapReduceとGoogleBigQueryの適材適所 ビッグデータをGoogleスピードで Googleではコードを書く時に最初にスケーラビリ
ビッグデータをドリルする
Hadoop関連のあらゆる技術が注目を集める現在、Hadoopのエコシステムの中から新しいプロジェクト/実装が生まれ続けているのは驚くべきことではない。Apache Drillは大規模なデータセットをインタラクティブに分析できる分散システムを開発するプロジェクトであり、GoogleのDremelから着想を得ている。Hadoop MapReduceのような既存のビッグデータバッチ処理フレームワークやS4やStormのようなストリームプロセスフレームワークの代替ではなく、大規模データのリアルタイムでインタラクティブな分析を実現する、今までなかった製品だ。 Dremelと同じようにDrillの実装は入れ子になっているツリー構造に似たデータの処理を基本にしている。Dremelでは、データは入れ子のスキーマベースデータモデルであるプロトコルバッファが基本になっている。Drillはこのデータモデルを拡
IBM Cloudant
The data layer for hyperscale, resilient and globally available applications—based on open-source Apache CouchDB A fully managed, distributed database optimized for heavy workloads and fast-growing web and mobile apps, IBM® Cloudant® is available as an IBM Cloud® service with a 99.99% SLA. Cloudant elastically scales throughput and storage, and its API and replication protocols are compatible with
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Drill Links
Dremel: Interactive Analysis of Web-Scale Datasets
Drill at the Chug 9-19-12