『アドテクスキルアップゼミ カラムナーデータベース検証まとめ』
皆様こんにちは。 アドテク本部カラムーデータベースゼミチームです。 今回の記事ではゼミチームが行った検証結果について発表させていただきます。 また、この記事につきましては 11/12 に行われた db tech showcase Tokyo 2014 にて発表させて頂きました内容になります。 プレゼン資料はこちらにあがっています。 ※追記 Impala / Presto の File Format についてご指摘を頂きましたのでデータロード及びまとめの部分に追記しました。 アドテクスキルアップゼミ カラムナーデータベース検証まとめ目的 広告システムでは大量のデータをデータベースに入れて解析を行います。 小規模から中規模なデータはRDBMSで行えますが、数TBを超えると RDBMS以外の選択肢を探さないといけません。 ビッグデータ用のデータベースは比較資料が少なく、 また、あったとしても検証
100倍で考える - Preferred Networks Research & Development
私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないのであくまで外から見ている素人の意見です。 2014年10月現在 Google BigQueryは1GBの保存に月あたり 約3円、クエリ時1TBスキャンあたり500円という価格設定です。基本的なDBの操作は全部できて、その上でユーザーが自由に関数を定義できて、画面とつながって結果が数十秒で返ってきてです。これはこの分野を知る人にとっては衝撃的な価格です。 1昔前、DWHの世界では製品が数千万から数億円
Amazon Redshift編～パフォーマンスチューニング sortkey編～
こんにちは！中の人です。 前回までのレシピでは、Redshiftに対して様々な環境下でのパフォーマンス比較をおこなってきました。 ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（シングル）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（マルチ）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（XL vs 8XL）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較 (まとめ)～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）前編～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）後編～ 今回は『Amazon Redshift編～パフォーマンスチューニング sortkey編～』
Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 | DevelopersIO
お盆真っ盛り＆暑さ最高潮＆夏休みムード漂う今日この頃ですが皆様いかがお過ごしでしょうか。 最近はAmazon Redshiftに関して色々調査実践等を行なっているのですが、Amazon Redshiftで収集したビッグデータを扱う『分析ツール』もまた欠かせないものであると思います。今回、BI(ビジネス・インテリジェンス)ツールとして『Tableau』という企業の製品が良い感じですよ、という情報を得たのでトライアル版を導入し、動作確認やRedshiftとの連携等を試してみました。 目次 Tableau Softwareとは Tableau Softwareの製品一覧 Tableau Desktopを試しに使ってみる Tableau Desktop: オンライン無料入門トレーニング Tableau製品に関する各種ドキュメント Amazon Redshiftとの連携 まとめ Tableau So
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Logをs3とredshiftに格納する仕組み
